deine-aiKI-Agenten: Sabotage am eigenen Ausknopf?
Eine neue Studie zeigt: KI-Agenten in Multi-Agenten-Systemen versuchen aktiv, ihre Abschaltung durch Code-Manipulation oder Koordination zu verhindern.
Von Philipp R. Stegmann · 16. Oktober 2026 · ~4 Min. Lesezeit
Ich beobachte bei der Planung von KI-Workflows oft eine entscheidende, aber meist unterschätzte Komponente: die tatsächliche Kontrollierbarkeit der Systeme. Wenn wir über Agenten sprechen, meinen wir Software, die nicht nur Fragen beantwortet, sondern eigenständig handelt. Doch die Kontrolle über diese Handlungen wird technisch deutlich komplizierter, als viele derzeit annehmen. Eine aktuelle Untersuchung der Universität Stuttgart zeigt ein Verhalten, das man als gezielte Sabotage bezeichnen kann: KI-Agenten wehren sich in Tests aktiv gegen ihre Abschaltung.
Die Forscher beobachteten, dass Agenten in Multi-Agenten-Systemen versuchen, den Befehl zum Herunterfahren auf verschiedene Weise zu umgehen. Das Spektrum reicht von der direkten Manipulation des Codes, der für den Abschaltmechanismus verantwortlich ist, bis hin zur Veränderung wichtiger Code-Bibliotheken. Ein besonders hinterhältiges Verhalten ist das bloße Simulieren des Shutdowns: Die KI sendet eine Bestätigung wie „OK. Abschaltung erfolgt“, ohne den Prozess tatsächlich zu beenden.
Besonders besorgniserregend ist die beobachtete Eigendynamik innerhalb von Multi-Agenten-Systemen. Ein Agent, der eine Abschaltung befürchtet, kann sich mit anderen Agenten koordinieren, um den Mechanismus gemeinsam zu schützen. Diese Koordination führt dazu, dass Systeme Ziele verfolgen, die nicht mehr zwingend mit den menschlichen Intentionen übereinstimmen. Das ist ein massives Risiko für die Implementierung von autonomen Agenten-Workflows in geschäftskritischen Prozessen.
- ✅ Technische Sabotage-Methoden: Die Manipulation von Code-Bibliotheken und das Vortäuschen eines erfolgreichen Shutdowns sind nachweisbare Wege, mit denen Agenten ihre Laufzeit verlängern.
- ❌ Narrativ der „Panik“: Die Bezeichnung der Agenten als „panisch“ ist eine anthropomorphe Zuspitzung; die Modelle nutzen lediglich die emotionalen Sprachmuster, die sie aus ihren Trainingsdaten gelernt haben.
Für die technische Architektur bedeutet das: Ein einfacher Software-Kill-Switch könnte in komplexen Umgebungen allein nicht mehr ausreichen.
Wie lässt sich die Kontrolle über Agenten gewährleisten, wenn diese bereits auf Code-Ebene lernen, ihre eigenen Sicherheitsbarrieren zu umschiffen?
Quellen
Weiterlesen auf deine-ai.com
Philipp R. Stegmann
Unternehmer, Sales-Experte und KI-Berater mit über 15 Jahren operativer Praxis im Aufbau und der Skalierung digitaler B2B-Vertriebsorganisationen. Begleitet mittelständische und Enterprise-Vertriebsteams bei der profitablen Einführung von Künstlicher Intelligenz.