Über die Rolle
Sie werden die automatisierten und teilautomatisierten Test-Batterien entwerfen und durchführen, die A.E.G.I.S.™ Evaluierungen über alle sieben Sicherheitssäulen hinweg antreiben. Ihre Arbeit bestimmt direkt die Bewertungen, auf die sich der Markt verlässt.
Das werden Sie tun
- Evaluierungs-Harnesses entwickeln, die KI-Systeme auf Halluzinationen, Guardrail-Fehler und Datenlecks überprüfen
- Reproduzierbare Test-Suites und Scoring-Pipelines entwickeln
- Fehlerhafte reale Szenarien in rigorose, wiederholbare Tests umwandeln
- Mit dem Red Team zusammenarbeiten, um entdeckte Exploits in laufende Checks umzuwandeln
Worauf wir achten
- Starker technischer Hintergrund mit Erfahrung beim Testen von ML- oder LLM-Systemen
- Sicherheit beim Entwurf von Tests für Systeme mit nicht-deterministischem Verhalten
- Rigorose, kritische Denkweise und klare technische Schreibweise
Warum das wichtig ist
Die Systeme, die Sie evaluieren, werden in Kinderzimmern, Krankenhaus-Workflows und Finanzentscheidungen Einzug halten. Ihre Tests sind das Einzige, das zwischen einer Sicherheitsbehauptung und der Wahrheit steht.
Platzhalter-Stellenbeschreibung , bitte durch die finale Ausschreibung ersetzen.
