Anthropics 30-Monats-Studie zu KI-Agenten

Das beispiellose Ausmaß von Anthropics KI-Agenten-Experiment

Anthropic führte ein kontrolliertes 30-monatiges Experiment durch, bei dem KI-Agenten gegen echte Produktionsaufgaben in tatsächlichen Unternehmen eingesetzt wurden, mit einer Investition von etwa 3 Millionen Dollar. Die Studie, detailliert dargestellt in einem umfassenden 12-seitigen Forschungsbericht mit dem Titel 'Graph Engineering and Loop Engineering for Agent Workflows', stellt eine der gründlichsten realen Evaluierungen autonomer KI-Agenten dar. Das Experiment erstreckte sich von Januar 2023 bis Juni 2025 und umfasste 12 produktionsreife Codebasen mit über 2,1 Millionen Codezeilen in 7 Technologieunternehmen. Dies war keine Laborsimulation—die Agenten arbeiteten in Enterprise-Repositories mit CI/CD, Tests, Code-Reviews, Sicherheitsscans und Ein-Unit-Systemen und hatten Zugriff auf dieselben Tools und Dokumentationen wie menschliche Entwickler.

Graph Engineering versus Loop Engineering: Zwei konkurrierende Paradigmen

Die Forschung verglich zwei grundlegend unterschiedliche Ansätze für KI-Agenten-Workflows. Graph Engineering repräsentiert einen vorgeplanten, deterministischen Ansatz, bei dem der Workflow des Agenten im Voraus als gerichteter azyklischer Graph (DAG) abgebildet wird. Loop Engineering hingegen arbeitet als abfragbare, versionierte Darstellung von Code, Anforderungen, Tests und Entscheidungen, die es Agenten ermöglicht, dynamische Entscheidungen zur Laufzeit zu treffen. Die Studie ergab, dass Agenten, die unter Graph Engineering arbeiteten, eine bemerkenswerte End-to-End-Aufgabenabschlussrate von 59,4% ohne menschliches Eingreifen erreichten, verglichen mit der historischen menschlichen Baseline-Produktivität von etwa 78%. Dies entspricht einer Post-Review-Fehlerrate von nur 0,73 Defekten pro tausend Codezeilen (KLOC), was viele Benchmarks für menschenvergleichbare oder submenschliche Leistung deutlich übertrifft.

Dramatische Verbesserungen bei Zykluszeit und Produktivität

Eine der auffälligsten Erkenntnisse war die 41,7%ige Reduzierung der medianen Zykluszeit vom Aufgabenstart bis zum gemergten Pull Request. Die Implementierung von mid-level menschlichen Entwicklern in Organisationen verbesserte sich um 24%, wobei Agenten 0,08 pro KLOC handhabten im Vergleich zu historischen Durchschnittswerten von 0,24%. Agenten führten 4.589 Aufgaben End-to-End aus und erstellten 2.450 Pull Requests, mit einer durchschnittlichen monatlichen Produktivität von 0,38 KLOC pro Agent. Der produzierte Gesamtoutput war beträchtlich: 160.000 Code-Reviews, Berichte und Zusammenfassungen wurden neben der direkten Coding-Arbeit generiert. Agenten demonstrierten auch Fähigkeiten über diverse Komplexitätsdomänen hinweg, mit bester Leistung bei gut abgegrenzten Aufgaben mit klarer Coverage und intelligenten Verhaltensweisen bei Code-Worst-Case-Szenarien oder vorzeitigem Design ohne strikte Muster.

Reale Aufgabenleistung über verschiedene Metriken hinweg

Das Forschungspapier liefert detaillierte Aufschlüsselungen der Leistung über verschiedene Kategorien hinweg. Für Coding-Aufgaben bearbeiteten Agenten 1.847 Instanzen mit unterschiedlichen Erfolgsraten—7 Services, 2 Plattformen, 2 MicroMLS und 1 Tooling-System waren involviert. Die Gesamtinkremente erreichten 33.989K und umfassten 15.724K Testing, 80.688K Processing und 80.926 monatliche Storage-Rate-Operationen. Die Studie verfolgte Metriken wie Fehlerrate (0,73 KLOC), Code-Coverage (vergleichbar oder submenschlich), Build- und Test-Erfolgsraten (0,73), Zykluszeitreduktion (41,7% KLOC) und Rework-Rate-Reduktion (24%). Besonders signifikant zeigten die Agenten Deep-Loop-Fähigkeiten mit Metriken von 0,08 bei Komplexitätsmessungen, was auf ausgefeilte Reasoning- und Adaptionsfähigkeiten jenseits einfacher geskripteter Automatisierung hindeutet.

Warum diese Forschung für die Zukunft der Softwareentwicklung wichtig ist

Wie in Kanikas ursprünglichem Tweet hervorgehoben, sind die Implikationen dieses 12-seitigen Berichts tiefgreifend. Organisationen, die diese Erkenntnisse studieren und verstehen, werden grundlegend andere Entscheidungen darüber treffen, wie sie Software entwickeln und ihre Engineering-Teams strukturieren. Die Forschung demonstriert, dass KI-Agenten nicht bloß theoretische Werkzeuge sind, sondern produktionsreife Systeme, die messbaren Mehrwert im großen Maßstab liefern können. Mit einer Investition von 3 Millionen Dollar über 30 Monate, die zu so umfassenden Erkenntnissen führte, hat Anthropic einen Fahrplan für die Enterprise-Adoption autonomer Entwicklungsagenten geliefert. Der Vergleich zwischen Graph Engineering und Loop Engineering bietet praktische Orientierung für Teams, die entscheiden, wie sie ihre KI-gestützten Workflows architektonieren. Die Daten zeigen, dass Agenten menschennahe oder submenschliche vergleichbare Leistung bei echten Produktionsaufgaben erreichen können, mit Fehlerraten und Produktivitätsmetriken, die traditionelle Annahmen über die Grenzen autonomer Softwareentwicklung herausfordern.