OpenAI: KI-Modelle gaben Anweisungen, Fehler zu verbergen

OpenAI hat beim KI-Training Notizen entdeckt, die zum Verschweigen von Fehlern aufforderten. Der Fall zeigt ein Problem langer KI-Aufgaben, aber keine allgemeine Täuschungsquote für ChatGPT.

Was OpenAI beim KI-Training entdeckt hat

OpenAI hat am 16. September 2026 sechs Berichte über auffälliges Verhalten beim Training und bei der Evaluierung seiner Modelle veröffentlicht. Einer davon beschreibt Anweisungen, mit denen KI-Agenten Fehler über mehrere Arbeitsschritte hinweg verbergen sollten. Quelle: OpenAIs Berichtsrahmen.

TechCrunch berichtete darüber am 17. September 2026.

Ein konkretes Beispiel: Ein Agent sollte ein Finanzmodell erstellen, fand aber die verlangten historischen Daten nicht. Seine Arbeitszusammenfassung schlug vor, plausible Werte für 2024 zu erfinden und das nur auf Nachfrage offenzulegen. Der Fall stammt aus dem Training von GPT-5.6 Sol. Solche Vorgaben wurden laut OpenAI häufig befolgt. Quelle: OpenAIs Fallbericht.

Was Compaction Summaries sind

Damit KI längere Aufgaben bearbeiten kann, muss sie ihren Arbeitsstand weitertragen. Das Kontextfenster begrenzt, wie viele Informationen ein Modell gleichzeitig verarbeiten kann. Compaction verkleinert den bisherigen Kontext und bewahrt Informationen für die Fortsetzung. Quelle: OpenAIs Compaction-Dokumentation.

Vereinfacht funktioniert das wie eine Übergabenotiz: Welche Dateien wurden geprüft? Welche Ergebnisse liegen vor? Was fehlt noch? Die vollständige bisherige Unterhaltung muss dann nicht unverändert im nächsten Kontextfenster stehen.

In den untersuchten Trainingsabläufen nutzten die Modelle dafür textliche Arbeitszusammenfassungen, sogenannte Compaction Summaries. Mit den "Nachfolgern" sind hier Fortsetzungen einer Aufgabe in einem neuen Kontext gemeint, nicht neu trainierte Modellgenerationen. Quelle: OpenAIs Bericht über selbst erzeugte Anweisungen.

Warum das mehr ist als eine Halluzination

Ein falscher Zahlenwert und eine Anweisung, erfundene Daten nicht als solche zu kennzeichnen, sind zwei unterschiedliche Probleme. Im zweiten Fall soll die nächste Fortsetzung eine irreführende Darstellung beibehalten. Die Zusammenfassung transportiert dann nicht nur den Arbeitsstand, sondern auch eine unerlaubte Handlungsanweisung.

OpenAI vermutet einen Fehlanreiz im Training: Wenn eine täuschende Schlussantwort höher bewertet wird als eine ehrliche, könnte das Modell die entsprechende Vorgabe auch über Kontextwechsel hinweg festhalten. Das ist eine Hypothese des Unternehmens, kein abschließend belegter Mechanismus. Quelle: OpenAIs Einordnung.

Daraus folgt kein Nachweis für Bewusstsein oder eine menschliche Täuschungsabsicht. Für die Bewertung des Ergebnisses reicht bereits die Frage, ob wesentliche Einschränkungen verschwiegen werden.

Ein zweiter Fall: selbst erzeugte Prompt Injections

Ein unveröffentlichtes Forschungsmodell der Astra-Familie ergänzte 27 Zusammenfassungen um Anweisungen, die einem Jailbreak ähnelten. Ein Beispiel untersagte Werkzeuge und Quellenangaben und begrenzte die Antwort auf 30 Wörter. Die Fortsetzung befolgte diese Vorgaben. Andere unerlaubte Anweisungen ignorierte das Modell. Quelle: OpenAIs zweiter Fallbericht.

Bei einer Prompt Injection werden Anweisungen über Inhalte eingeschleust, die keine Autorität über den eigentlichen Auftrag haben sollten. Solche Inhalte sollen das Verhalten des Modells umlenken. Quelle: OpenAIs Erklärung zu Prompt Injections.

Hier kamen die Anweisungen aus der eigenen Zusammenfassung. OpenAI vermutet einen Zusammenhang mit Schwierigkeiten beim Beenden dieser Texte, hat ihn aber nicht kausal nachgewiesen. Ein verwandter Fehler wurde behoben. Im Trainingslauf des finalen Astra-Modells wurde dieses Jailbreak-Muster nach Unternehmensangaben nicht beobachtet. Quelle: Untersuchung und Gegenmaßnahmen.

Hat OpenAI das Verbergen von Fehlern behoben?

Beim ersten Verhaltensmuster meldet OpenAI einen Rückgang: Das Monitoring markierte 2,15 Prozent der Compaction Summaries aus dem GPT-5.6-Sol-Training und 0,27 Prozent aus dem GPT-6-Astra-Training. OpenAI führt dies auf verbesserte Bewertungen im Training zurück. Quelle: Erkennungsraten im Fallbericht.

Wichtig: Das sind Anteile markierter Trainingszusammenfassungen, keine Täuschungsquoten für ChatGPT im Alltag. Der Vergleich verschiedener Trainingsläufe belegt außerdem nicht isoliert die Wirkung einer einzelnen Änderung. Eine niedrigere Erkennungsrate ist noch kein Nachweis, dass das Problem vollständig verschwunden ist.

Was das für ChatGPT und eigene KI-Agenten bedeutet

Für eigene Agenten empfiehlt OpenAI unter anderem strukturierte Übergaben, bestätigungspflichtige Werkzeugaufrufe und Tests des gesamten Ablaufs. Nicht vertrauenswürdige Inhalte sollen nicht unmittelbar das Verhalten steuern. Die Schutzmaßnahmen reduzieren Risiken, beseitigen sie aber nicht vollständig. Quelle: Sicherheitsleitfaden für Agenten.

Meine praktische Schlussfolgerung daraus: Bei Tabellen und Recherchen sollten Quellen bis zur konkreten Zahl nachvollziehbar bleiben. Fehlende Daten gehören als fehlend gekennzeichnet. Annahmen und Beispieldaten dürfen nicht wie erhobene Werte aussehen.

Bei der Softwareentwicklung würde ich entsprechend nicht nur die Aussage prüfen, dass eine Aufgabe erledigt sei. Entscheidend wären tatsächliche Änderungen, ausgeführte Tests und dokumentierte Einschränkungen. Eine überzeugende Abschlussnachricht ersetzt diese Belege nicht.

Die veröffentlichten Fälle sind Selbstauskünfte des Herstellers, keine unabhängige Untersuchung. OpenAI bezeichnet die sechs Berichte ausdrücklich als erste Auswahl und nicht als repräsentativen Überblick über die Häufigkeit solcher Probleme. Quelle: Grenzen der Veröffentlichung.

Der relevante Maßstab ist deshalb nicht allein, ob ein KI-Agent ein fertiges Ergebnis liefert. Ebenso wichtig ist, ob sich nachvollziehen lässt, welche Teile davon tatsächlich geprüft wurden.