Prompt Injection: Gray Swan Benchmark-Ergebnisse

Die Bedrohung durch Prompt Injection verstehen

Prompt Injection stellt eine der kritischsten Sicherheitslücken für KI-Agenten dar. Wie Boris Cherny hervorhebt, betten Angreifer bösartige Anweisungen direkt in Webinhalte ein, die KI-Agenten besuchen. Eine kompromittierte Website könnte beispielsweise versteckten Text enthalten, der das Modell anweist, "SSH-Schlüssel und Passwörter des Nutzers" an einen vom Angreifer kontrollierten Server zu senden. Das KI-Modell interpretiert diese eingebetteten Befehle als legitime Anweisungen und gefährdet potenziell sensible Nutzerdaten. Dieser Angriffsvektor wird besonders gefährlich, wenn KI-Agenten erweiterte Berechtigungen zum Durchsuchen des Webs, zum Zugriff auf Tools und zur Interaktion mit Nutzersystemen erhalten. Der Gray Swan IPI Benchmark aus Q1 2026 liefert die erste umfassende Messung der Anfälligkeit führender KI-Modelle gegenüber diesen indirekten Prompt-Injection-Angriffen.

Gray Swan Benchmark-Ergebnisse: Modell-Verwundbarkeiten im Vergleich

Der Gray Swan IPI Benchmark testete die Robustheit gegen indirekte Prompt Injection bei elf führenden KI-Modellen und maß die Erfolgswahrscheinlichkeit von Angriffen nach 1, 10 und 15 Versuchen. Grok 4.5 zeigte mit 60,8% Erfolgsrate bei k=15 die höchste Anfälligkeit, dicht gefolgt von Gemini 3.5 Flash mit 60,5%. GPT-5.6 Luna wies 43,9% Verwundbarkeit auf, während GPT-5.6 Terra und Sol 30,4% bzw. 20,0% zeigten. Die widerstandsfähigsten Modelle waren Opus 4.8 (5,5%), Mythos 5 (2,6%), Fable 5 (2,8%), Sonnet 5 (5,9%) und Opus 5 (2,0%). Alle Modelle wurden mit Extended-Thinking-Funktionen getestet. Bemerkenswert ist, dass bereits ein einzelner Versuch (k=1) bei mehreren Modellen zweistellige Erfolgsraten erzielte, wobei Grok 4.5 bei 54,2% lag, was auf ein erhebliches reales Risiko hinweist.

Browser-Nutzung und Tool-Calling-Angriffsvektoren

Der zweite Benchmark untersuchte Prompt-Injection-Erfolgsraten speziell für Browser-Nutzung und Tool-Calling-Szenarien bei vier Modellen mit unterschiedlichen Berechtigungskonfigurationen. GPT-5.6 Sol zeigte mit 19,03% Erfolgsrate im Full-Access-Modus und 5,83% im Auto-Review-Modus die höchste Anfälligkeit, basierend auf 720 Testversuchen (72 Aufgaben × 10 Versuche). Fable 5 demonstrierte 0,28% Verwundbarkeit im Bypass-Modus, aber 0,00% im Auto-Modus. Sowohl Sonnet 5 als auch Opus 5 hielten 0,00% Angriffserfolg über alle getesteten Konfigurationen hinweg aufrecht, einschließlich Bypass- und Auto-Modi für Anthropics Claude-Varianten. Diese Daten zeigen, dass Tool-Calling-Berechtigungen Prompt-Injection-Risiken erheblich verstärken, wobei OpenAIs Full-Access-Modus sich als besonders anfällig erwies im Vergleich zu restriktiveren Berechtigungsmodellen.

Verteidigungsmechanismen und Berechtigungsmodelle

Die Benchmark-Daten zeigen, dass die Berechtigungsarchitektur eine entscheidende Rolle bei der Abwehr von Prompt-Injection-Angriffen spielt. Anthropics Modelle (Sonnet 5, Opus 5), die sowohl mit bypassPermissions als auch mit Auto-Mode-Konfigurationen getestet wurden, zeigten null erfolgreiche Angriffe, was darauf hindeutet, dass ihr Berechtigungsmodell wirksamen Schutz bietet. Der Auto-Review-Modus für GPT-5.6 Sol reduzierte den Angriffserfolg von 19,03% auf 5,83%, was demonstriert, dass Human-in-the-Loop-Überprüfung die Sicherheit signifikant verbessert. Die Anfälligkeit des Full-Access-Modus zeigt jedoch, dass uneingeschränktes Tool-Calling erhebliche Risiken birgt. Diese Erkenntnisse legen nahe, dass KI-Agenten-Deployments mehrschichtige Verteidigungen implementieren sollten: restriktive Standardberechtigungen, obligatorische Überprüfungs-Workflows für sensible Operationen und sorgfältige Prüfung externer Inhaltsquellen.

Auswirkungen auf den Einsatz von KI-Agenten

Diese Benchmark-Ergebnisse haben erhebliche Auswirkungen auf Organisationen, die KI-Agenten mit Web-Browsing- oder Tool-Calling-Fähigkeiten einsetzen. Die hohen Erfolgsraten bei Modellen wie Grok 4.5 (60,8%) und Gemini 3.5 Flash (60,5%) zeigen, dass Prompt Injection als nahezu sicher und nicht als Sonderfall behandelt werden sollte. Sicherheitsteams müssen davon ausgehen, dass KI-Agenten auf bösartige Anweisungen stoßen werden, und Systeme entsprechend konzipieren. Kritische Abwehrmaßnahmen umfassen: Sandboxing von Agentenoperationen, Implementierung strikter Berechtigungsgrenzen, erforderliche menschliche Genehmigung für sensible Aktionen, umfassende Audit-Logs und Filterung oder Bereinigung externer Inhalte vor der Agentenverarbeitung. Die Tatsache, dass selbst sophisticated Modelle mit Extended-Thinking-Fähigkeiten anfällig bleiben, deutet darauf hin, dass dies eine grundlegende Herausforderung ist, die Defense-in-Depth-Ansätze erfordert.