KI-Kill-Switch in Kalifornien: Was Gavin Newsoms Erlass vorsieht
Kalifornien prüft einen verpflichtenden KI-Kill-Switch für Frontier-Modelle. Was Newsoms Erlass vorsieht und was technisch noch offen ist
Dieser Artikel hat eine Lesedauer von 6 Minuten.
Kalifornien lässt prüfen, ob große Frontier-KI-Systeme künftig einen verifizierbaren Kill-Switch brauchen. Der Erlass ist konkreter als ein Schlagwort, aber noch kein entsprechendes Gesetz.
Kalifornien prüft einen KI-Kill-Switch
Kaliforniens Gouverneur Gavin Newsom hat am 18. September 2026 die Executive Order N-9-26 unterzeichnet. Darin geht es um eine stärkere Kontrolle besonders leistungsfähiger KI-Systeme und um die Frage, ob sogenannte Frontier-Modelle künftig einen verpflichtenden "Kill Switch" benötigen sollten.
Der Begriff klingt zunächst nach einem großen roten Knopf, mit dem sich ein außer Kontrolle geratenes KI-System abschalten lässt. So konkret ist die Regelung allerdings noch nicht.
Newsoms Erlass schreibt Unternehmen aktuell keinen solchen Schalter vor. Stattdessen soll die kalifornische Government Operations Agency gemeinsam mit Sicherheitsexperten untersuchen, wie technisch machbar und wirksam eine entsprechende gesetzliche Pflicht wäre.
Das ist ein wichtiger Unterschied: Kalifornien führt derzeit keinen allgemeinen KI-Not-Aus ein. Der Bundesstaat bereitet mögliche weitere Regeln dafür vor.
Was Gavin Newsoms Executive Order N-9-26 verlangt
Die Executive Order baut auf bereits bestehenden kalifornischen Gesetzen zur KI-Sicherheit auf. Besonders relevant sind dabei vier Punkte, die Experten nun untersuchen sollen.
Erstens geht es um unabhängige Prüforganisationen, die bei großen Frontier-Entwicklern regelmäßige Audits und Evaluierungen durchführen könnten.
Zweitens sollen Sicherheitskonzepte, Transparenzberichte und Risikobewertungen der Unternehmen künftig möglicherweise nicht mehr ausschließlich durch die Entwickler selbst bewertet werden. Eine unabhängige Stelle könnte überprüfen, ob die vorgesehenen Sicherheitsmaßnahmen ausreichend sind.
Drittens nennt der Erlass ausdrücklich einen "kill switch" für Frontier-Modelle. Dessen Wirksamkeit müsste laut dem vorgeschlagenen Konzept regelmäßig durch eine unabhängige Organisation überprüft werden.
Viertens soll geprüft werden, ob sogenannte "loss-of-control incidents" stärker in die bestehenden Meldepflichten für sicherheitsrelevante Vorfälle aufgenommen werden müssen.
Die zuständige Behörde soll ihre Empfehlungen zu diesen möglichen Änderungen bis zum 16. November 2026 vorlegen.
Der KI-Kill-Switch ist noch kein Gesetz
Gerade beim Begriff "AI kill switch" lässt sich schnell der Eindruck gewinnen, Kalifornien habe bereits beschlossen, dass KI-Unternehmen ihre Modelle künftig per Knopfdruck abschalten können müssen.
Das ist derzeit nicht der Fall.
Die Executive Order weist die zuständigen Behörden an, die technische Machbarkeit und mögliche Wirksamkeit einer solchen gesetzlichen Regelung zu untersuchen. Erst auf Grundlage dieser Arbeit könnten konkrete Änderungen am kalifornischen Recht entstehen.
Auch die genaue technische Definition eines Kill-Switches ist noch offen.
Das ist relevant, weil "ein KI-Modell abschalten" technisch sehr unterschiedliche Dinge bedeuten kann.
Was ein AI Kill Switch technisch bedeuten könnte
Bei einem klassischen zentral betriebenen Onlinedienst ist ein Not-Aus vergleichsweise leicht vorstellbar. Ein Anbieter kontrolliert Server, Zugänge und Infrastruktur und könnte einen Dienst im Ernstfall deaktivieren.
Bei modernen KI-Systemen wird die Situation komplizierter.
Ein Frontier-Modell kann beispielsweise über eine API angeboten, in mehrere Produkte integriert oder auf verschiedenen Infrastrukturen betrieben werden. Zusätzlich können Modellgewichte kopiert und außerhalb der ursprünglichen Infrastruktur ausgeführt werden, sofern sie verfügbar sind.
Ein möglicher Kill-Switch müsste deshalb zunächst beantworten, was genau abgeschaltet werden soll.
Soll nur der öffentliche API-Zugang deaktiviert werden? Soll ein Modell auf den Servern des Entwicklers vollständig gestoppt werden? Müssen autonome Agenten ihre laufenden Aufgaben abbrechen? Was passiert mit Kopien, die bereits auf anderer Infrastruktur betrieben werden?
Die Executive Order beantwortet diese Fragen nicht. Genau deshalb verlangt sie zunächst eine Untersuchung der technischen Machbarkeit.
Warum ein globaler Not-Aus schwierig wäre
Besonders schwierig wird ein Kill-Switch bei Modellen, die nicht vollständig unter der Kontrolle eines einzelnen Anbieters stehen.
Solange ein Unternehmen sämtliche produktiven Instanzen eines Modells selbst betreibt, kann es zumindest theoretisch zentrale Kontrollmechanismen integrieren. Sobald Modellgewichte jedoch kopiert und unabhängig ausgeführt werden können, existiert kein zwangsläufig zentraler Schalter mehr.
Das bedeutet nicht, dass ein Kill-Switch grundsätzlich wirkungslos wäre.
Ein solcher Mechanismus könnte beispielsweise für zentrale Dienste eines Frontier-Entwicklers relevant sein. Er wäre aber nicht automatisch mit der weltweiten Abschaltung jeder existierenden Kopie eines Modells gleichzusetzen.
Für eine sinnvolle Regulierung muss deshalb sehr genau definiert werden, welche Systeme kontrolliert werden sollen, wer den Schalter auslösen darf und unter welchen Bedingungen das passieren kann.
Mindestens ebenso wichtig wäre die Frage, wie überprüft wird, ob der Mechanismus im Ernstfall tatsächlich funktioniert.
Genau hier setzt Newsoms Vorschlag für unabhängige Prüfstellen an.
Kalifornien baut bestehende KI-Regeln aus
Der neue Erlass steht nicht allein. Kalifornien hat seine Regeln für besonders leistungsfähige KI-Systeme in den vergangenen Jahren schrittweise erweitert.
2025 unterzeichnete Newsom mit SB 53 den "Transparency in Frontier Artificial Intelligence Act". Das Gesetz verpflichtet bestimmte Frontier-Entwickler unter anderem dazu, Sicherheitskonzepte öffentlich zu dokumentieren und festgelegte kritische Sicherheitsvorfälle zu melden.
Im September 2026 kamen weitere Regelungen hinzu.
SB 813 schafft einen Rahmen für unabhängige Organisationen, die KI-Systeme und Modelle auf Sicherheitsrisiken untersuchen können. AB 1405 sieht zusätzlich ein staatliches Register für KI-Auditoren sowie Anforderungen an deren Unabhängigkeit und Transparenz vor.
Executive Order N-9-26 soll die Umsetzung dieser Strukturen beschleunigen und gleichzeitig mögliche weitere Sicherheitsanforderungen vorbereiten.
Damit verschiebt sich ein Teil der Kontrolle von freiwilligen Sicherheitsprozessen innerhalb der Unternehmen hin zu extern überprüfbaren Verfahren.
Was ein unabhängiger Audit ändern würde
Der technisch interessantere Teil der neuen kalifornischen Linie ist deshalb möglicherweise gar nicht der viel zitierte Kill-Switch.
Entscheidend könnte die unabhängige Überprüfung werden.
Ein Unternehmen kann einen Abschaltmechanismus dokumentieren und intern testen. Ob dieser Mechanismus auch bei unerwarteten Situationen zuverlässig funktioniert, ist eine andere Frage.
Der Erlass sieht deshalb ausdrücklich vor, dass die Wirksamkeit eines möglichen Kill-Switches fortlaufend durch eine unabhängige Organisation verifiziert werden könnte.
Aus einem einfachen Feature würde dadurch eine überprüfbare Sicherheitsanforderung.
Das ähnelt konzeptionell anderen sicherheitskritischen Bereichen: Nicht nur das Vorhandensein einer Schutzmaßnahme zählt, sondern auch der Nachweis, dass sie unter definierten Bedingungen funktioniert.
Welche technischen Standards dafür verwendet werden könnten, ist allerdings noch offen.
Ein Kill-Switch löst nicht jedes KI-Risiko
Der Begriff "Kill-Switch" ist verständlich und lässt sich politisch gut kommunizieren. Technisch beschreibt er aber nur einen kleinen Teil eines deutlich größeren Sicherheitsproblems.
Ein Not-Aus hilft nur dann, wenn ein gefährlicher Zustand erkannt wird, jemand berechtigt ist einzugreifen und das betroffene System noch kontrolliert werden kann.
Mindestens genauso relevant sind deshalb Monitoring, Zugriffskontrollen, Incident Response, Protokollierung und klare Meldewege.
Ein funktionierender Abschaltmechanismus ersetzt diese Systeme nicht. Er wäre eine zusätzliche letzte Kontrollmöglichkeit.
Die entscheidende Frage lautet deshalb weniger, ob KI einen roten Ausschalter braucht.
Interessanter ist, welche technischen und organisatorischen Kontrollmechanismen große Frontier-Entwickler nachweisen müssen und wer unabhängig überprüfen darf, ob diese Mechanismen tatsächlich funktionieren.
Was bis November 2026 passiert
Die Government Operations Agency soll gemeinsam mit dem kalifornischen Office of Emergency Services und externen Experten bis zum 16. November 2026 konkrete Empfehlungen ausarbeiten.
Dabei sollen ausdrücklich die technische Machbarkeit und die mögliche Wirksamkeit weiterer gesetzlicher Vorgaben untersucht werden.
Erst danach wird klarer werden, wie Kalifornien einen verpflichtenden KI-Kill-Switch definieren könnte und ob daraus tatsächlich eine neue gesetzliche Vorgabe entsteht.
Bis dahin ist die präziseste Beschreibung deshalb: Kalifornien prüft einen verpflichtenden und unabhängig verifizierten Not-Aus für große Frontier-KI-Modelle. Eingeführt ist er noch nicht.
FAQ
Was ist ein KI-Kill-Switch?
Ein KI-Kill-Switch wäre ein technischer Mechanismus, mit dem der Betrieb oder Zugriff auf ein KI-Modell in einem kritischen Sicherheitsfall kontrolliert gestoppt werden kann. Wie so ein System konkret umgesetzt werden müsste, ist in Kalifornien noch nicht festgelegt.
Hat Kalifornien bereits einen KI-Kill-Switch vorgeschrieben?
Nein. Executive Order N-9-26 verlangt zunächst Empfehlungen zur technischen Machbarkeit und Wirksamkeit einer möglichen gesetzlichen Pflicht für große Frontier-Entwickler.
Welche KI-Systeme könnten von der Regelung betroffen sein?
Der Erlass bezieht sich auf große Frontier-Entwickler und Frontier-Modelle. Die genaue Reichweite einer möglichen Verpflichtung würde von späteren gesetzlichen Änderungen und deren Definitionen abhängen.
