Die Arbeit nach dem Bau: KI-Agenten in der Produktion vertrauenswürdig halten

Kurzfassung. Fast jedes Gespräch über KI-Agenten dreht sich ums Bauen: geht das, wie schnell, wie clever. Das ist die leichte Hälfte. Die schwere Hälfte beginnt an dem Tag, an dem der Agent live geht und Monat für Monat mit echter Arbeit, echtem Geld und echten Kunden agiert. Ihn dabei vertrauenswürdig zu halten ist eine andere Disziplin, und fast niemand schreibt darüber. Es läuft auf vier Fragen hinaus: Wie viel menschliche Aufsicht sitzt zwischen dem Agenten und der Produktion, was verhindert, dass er Geld für nichts ausgibt, was fängt die Fehler ab, die die Geschwindigkeit durchrutschen lässt, und wer ist verantwortlich, wenn er etwas falsch macht. Das ist die Landkarte.

Die Demo ist nicht der Job

Es gibt eine ganze Gattung von KI-Inhalten, die sich ausschließlich um den Moment des Erschaffens dreht. Ein Agent schreibt eine App, liefert über Nacht tausend Commits, besteht jeden Test. Beeindruckend, und am Kern vorbei. Eine Demo zeigt, dass ein Agent eine Sache einmal kann, unter Beobachtung, ohne dass etwas auf dem Spiel steht. Die Produktion stellt eine härtere Frage: Macht er weiter das Richtige, wenn niemand genau hinschaut, wenn die Eingaben abdriften, wenn um zwei Uhr nachts ein seltener Fall auftaucht, wenn er seit sechs Monaten läuft?

Die Zahlen zeigen, dass genau hier die Dinge zerbrechen. Eine Studie des MIT aus 2025 (Project NANDA) fand heraus, dass rund 95 Prozent der generativen KI-Pilotprojekte nie einen produktiven Ertrag erreichen, und als Grund wird nicht genannt, dass die Technologie die Arbeit nicht könnte. Er ist organisatorisch: Systeme werden einmal ausgerollt und danach nie an das angepasst, was nach dem Launch tatsächlich passiert. Gartner rechnet damit, dass bis Ende 2027 über 40 Prozent der agentischen KI-Projekte eingestellt werden, wegen Kosten, unklarem Nutzen und unzureichender Risikokontrolle. Jeder einzelne dieser Fälle ist ein Fehler nach dem Deployment, kein Fehler beim Bau. Der Bau war nie der schwierige Teil.

Die nützliche Frage lautet also nicht "können wir einen KI-Agenten bauen." Das kann inzwischen fast jeder. Die Frage lautet "können wir ihn vertrauenswürdig halten, sobald er live ist," und sie hat vier Teile.

Frage 1: Wie viel Mensch sitzt zwischen dem Agenten und der Produktion?

Das ist die Aufsichtsfrage, und sie ist das Fundament, weil sie die Obergrenze dafür setzt, wie teuer ein Fehler werden kann. Ein Agent, den jemand prüft, bevor etwas live geht, kann günstig danebenliegen. Ein Agent, der unbeaufsichtigt ausliefert, kann teuer, still und wiederholt danebenliegen.

Wir bilden das auf einer Skala ab, die wir die Aufsichtsleiter nennen: fünf Stufen, von einem Agenten, der nur vorschlägt, bis zu einem, der vollständig unbeaufsichtigt läuft. Der Sinn der Leiter ist nicht, möglichst hoch zu klettern. Höher bedeutet weniger Aufsicht, nicht bessere Arbeit. Der Punkt ist, dass unterschiedliche Aufgaben auf unterschiedliche Stufen gehören, und der häufigste Fehler in der Produktion ist, eine Aufgabe eine Stufe oder zwei höher laufen zu lassen, als es ihr Risiko zulässt. Alles, was Geld, Sicherheit oder Kundendaten berührt, gehört dorthin, wo noch ein Mensch und automatisierte Gates zwischen dem Agenten und der Welt stehen.

Frage 2: Was verhindert, dass er echtes Geld für nichts ausgibt?

Ein autonomer Agent ist ein Prozess, der bei jedem Schritt Geld kostet, egal ob der Schritt nützlich war oder nicht. In einer Demo ist das unsichtbar. In der Produktion ist es ein Posten in der Buchhaltung, und er kann davonlaufen.

Wir haben das an unseren eigenen Agenten konkret erlebt. Bei einem Lauf bestand ein Agent 239 Tests und lieferte trotzdem nichts, was tatsächlich funktionierte, weil ein Detail aus der echten Welt still versagte, auf eine Art, die kein Test erfasste. Grün auf ganzer Linie, und nutzlos: Wir bezahlten für ein selbstsicheres Ergebnis, das nichts wert war, und ohne einen Menschen, der hinsah, hätten wir es erst gemerkt, als es zu spät war. Bei einem anderen Lauf riss ein bewusst niedrig angesetztes Tageslimit von einem Euro fast auf das Doppelte, weil die Prüfung das bereits ausgegebene Geld betrachtete statt des im schlimmsten Fall schon zugesagten. Kleine Zahlen, absichtlich, weil wir testeten. Richte sie auf ein echtes Budget, das über Nacht läuft, und sie sind nicht mehr klein.

Das ist die versteckte Kostenseite in der "einfach laufen lassen"-Denkweise, über die wir ausführlicher in der Ralph-Wiggum-Loop und was er kostet geschrieben haben. Die Technologie ist billig. Ein unbeobachteter Fehler, wiederholt in Maschinengeschwindigkeit gegen ein echtes Konto, ist es nicht.

Frage 3: Was fängt den Fehler ab, den die Geschwindigkeit durchrutschen lässt?

Agenten sind schnell, und Geschwindigkeit versteckt Fehler, die ein langsamerer Mensch gefunden hätte. Die Review-Ebene ist deshalb keine Formalität, die man am Ende noch anhängt. In der Produktion ist sie das Produkt.

Wir messen das an uns selbst. Bei einem unserer eigenen Build-Läufe lieferte ein Agenten-Team siebzehn Änderungen aus, die eigene automatisierte Review bestanden, und eine anschließende menschliche Prüfung fand sechzehn Probleme, sieben davon ernst: einen Zahlungsschritt, der sich doppelt ausführen ließ, eine Berechtigungsprüfung, die still umgangen wurde, einen identischen Off-by-One-Fehler, der an drei Stellen kopiert war, und Entwicklungspasswörter, die auch in der Produktion funktioniert hätten. Das heißt nicht, dass die Agenten schlecht waren. Es heißt, dass diese Probleme in dieser Geschwindigkeit, ohne echte Review-Ebene, einen Kunden erreicht hätten. Vertrauen in der Produktion bedeutet nicht die Abwesenheit von Fehlern, das ist unmöglich. Es ist eine Wand, an der der Fehler zuverlässig hängen bleibt, bevor ihn jemand außerhalb sieht.

Frage 4: Wer ist verantwortlich, und erfüllt das deine Pflichten?

Die letzte Frage ist die, die aus einem technischen System etwas macht, das ein Unternehmen tatsächlich betreiben kann. Wenn ein Agent etwas falsch macht, wer ist verantwortlich? Und erfüllt die ganze Konstruktion die Regeln, unter denen du arbeitest: Datenschutz, Branchenregulierung und, in manchen Ländern, Arbeitsrecht?

Das ist nicht überall gleich, und genau deshalb wird es in generischen KI-Inhalten übersprungen. In einem deutschen Unternehmen zum Beispiel berührt die Einführung eines KI-Systems Auftragsverarbeitungsverträge, die Mitbestimmungsrechte des Betriebsrats und die Frage, wem der generierte Code gehört, eine Ebene, die wir in KI-Coding-Agenten im deutschen Unternehmen behandelt haben. Ein Anbieter, der die Verantwortungsfrage nicht beantworten kann oder sie mit "das klären wir später" abtut, sagt dir damit, dass er Demos gebaut hat, keine Produktionssysteme, für die jemand geradestehen musste.

Die vier Fragen zusammen

Fällt dir auf, was diese vier gemeinsam haben? Keine davon handelt davon, wie fortschrittlich die KI ist. Alle handeln vom Mechanismus drumherum. Das ist die ganze Verschiebung: In einer Demo ist der Agent das Produkt. In der Produktion ist das Vertrauensgerüst das Produkt, und der Agent ist nur der Teil, der tippt.

Die eine Frage

Wenn du jemanden bewertest, der KI für dich bauen und betreiben soll, uns eingeschlossen, ist die Frage, die durch jeden Pitch durchschneidet, nicht "wie gut ist eure KI." Sie lautet: "Was passiert, wenn sie falsch liegt, in der Produktion, und niemand hinschaut?" Eine gute Antwort ist konkret und unspektakulär: Die Stufe der Autonomie ist bewusst gewählt, Ausgaben sind mit dem schlimmsten Fall im Kopf gedeckelt, eine echte Review-Ebene steht zwischen dem Agenten und dem Kunden, und jemand ist verantwortlich, wenn es scheitert. Eine schwache Antwort ist die Beruhigung, dass die KI selten Fehler macht. Die erste ist ein System, dem du dein Geschäft anvertrauen kannst. Die zweite ist eine Demo mit Rechnung, und der Unterschied zeigt sich erst, nachdem du unterschrieben hast.

Wir bauen KI-Software, die in Produktion läuft, mit genau dem Vertrauensgerüst, das dieser Artikel beschreibt, weil dieses Gerüst für uns die eigentliche Arbeit ist. Wenn du deine eigenen Agenten ehrlich an diesen vier Fragen messen lassen willst, ist ein erstes Gespräch der richtige Ort dafür.