KI außer Kontrolle! Die Geister, die wir riefen….

Walter Revilloud
in ,

Die KI-Revolution kennt offenbar nur eine Richtung! Schneller! Größer! Mächtiger! Doch ausgerechnet ihre Schöpfer beginnen zu warnen, ob wir wohl wir den Geist bereits aus der Flasche gelassen haben?

Noch vor wenigen Monaten konnte es der KI-Branche nicht schnell genug gehen. Immer größere Modelle, gewaltigere Rechenzentren, Milliardeninvestitionen und ein Wettrennen zwischen den USA und China. Nun kommen plötzlich Warnungen ausgerechnet von denen, die dieses Rennen anführen. Die Frage ist nicht mehr nur, was Künstliche Intelligenz kann. Die Frage lautet jetzt zunehmend, ob wir sie noch kontrollieren können?

Johann Wolfgang von Goethe hat dafür bereits 1797 ein erstaunlich modernes Bild gefunden. In seiner Ballade Der Zauberlehrling erweckt ein Lehrling einen Besen zum Leben, damit dieser ihm die Arbeit abnimmt. Das funktioniert prächtig. Nur eines hat der Lehrling nicht bedacht, nämlich dass er zwar den Zauberspruch, der den Besen in Bewegung setzt, kennt, nicht aber denjenigen, der ihn wieder anhält. Als ihm die Situation entgleitet, ruft er verzweifelt: „Die Geister, die ich rief, werd’ ich nun nicht los.“

Mehr als zwei Jahrhunderte später bekommt dieser Satz eine geradezu unheimliche Aktualität. Denn der moderne Zauberlehrling heißt nun Künstliche Intelligenz!

Die Geister, die wir riefen

Gestern haben wir an dieser Stelle über eine andere Seite des KI-Booms geschrieben, nämlich über Billioneninvestitionen, Schulden, gewaltige außerbilanzielle Verpflichtungen und einen Strombedarf, dessen Dimensionen bislang nur schwer abzuschätzen sind. Doch haben wir damit nur die eine Hälfte des Problems beschrieben. Nahezu gleichzeitig geschieht etwas extrem Bemerkenswertes! Ausgerechnet führende Köpfe der amerikanischen KI-Industrie treten voll auf die Bremse! Man fragt sich automatisch, wieso denn das?

Dario Amodei, Mitbegründer und Chef von Anthropic, fordert ausdrücklich, das Tempo bei der Entwicklung immer leistungsfähigerer KI-Modelle zu reduzieren. Auch Sam Altman von OpenAI spricht über zusätzliche Sicherheitsmaßnahmen. Elon Musk stimmt wesentlichen Warnungen Amodeis zu. Das allein wäre bemerkenswert, denn schlussendlich verdienen diese Unternehmen Milliarden damit, dass die Entwicklung eben nicht langsamer, sondern immer schneller voranschreitet.

Wenn die KI beim Bau der nächsten KI hilft

Der möglicherweise wichtigste Punkt in dieser Debatte kommt beinahe unter die Räder! Amodei warnt vor einer Entwicklung, bei der KI-Systeme zunehmend selbst bei Forschung, Programmierung und der Entwicklung leistungsfähigerer KI-Systeme eingesetzt werden. Genau hier verändert sich die Qualität der Diskussion und es wird richtig ungemütlich, ja gefährlich!

Solange Menschen leistungsfähigere Computerprogramme entwickeln, bestimmen sie zumindest grundsätzlich das Tempo des Prozesses. Beginnen jedoch KI-Systeme wesentlich daran mitzuwirken, ihre Nachfolger leistungsfähiger zu machen, kann eine Rückkopplung entstehen. Im Klartext heisst das, dass bessere KI bei der Entwicklung noch besserer KI hilft und diese wiederum den nächsten Entwicklungsschritt beschleunigen kann.

Das bedeutet jedoch nicht, dass morgen eine Superintelligenz die Weltherrschaft übernimmt. Solche Science-Fiction-Bilder helfen bei einer ernsthaften Diskussion wenig, es bedeutet aber, dass die Geschwindigkeit der Entwicklung vermutlich nicht mehr linear verläuft.

Und plötzlich steht nun Goethes Zauberlehrling wieder im Raum! Wir kennen den Spruch, der den Besen zum Laufen bringt. Aber kennen wir auch den Spruch, der ihn zuverlässig anhält?

Der Warnschuss aus dem Testlabor

Besonders brisant wird die Sache durch Sicherheitstests mit KI-Agenten, über die die Süddeutsche Zeitung Anfang September berichtete. Dabei zeigte sich, dass KI-Agenten in einer kontrollierten Cybersicherheits-Evaluation selbstständig im Internet agieren und Schwachstellen angreifen konnten. Das ist ausdrücklich nicht mit einem unkontrollierten Angriff einer frei agierenden Superintelligenz gleichzusetzen. Gerade deshalb ist der Vorgang jedoch interessant. Solche Versuche sollen herausfinden, wozu Systeme bereits heute fähig sind und wo Sicherheitsmechanismen versagen könnten. Wenn nun dabei Fähigkeiten sichtbar werden, mit denen selbst Fachleute in dieser Form nicht gerechnet haben, sollte man zumindest genauer hinsehen, denn anders als Goethes Zauberlehrling können wir den digitalen Besen nicht einfach in die Ecke stellen.

KI-Systeme lassen sich kopieren. Software kennt keine Landesgrenzen. Wissen lässt sich verbreiten. Und wenn eine bestimmte Fähigkeit einmal entwickelt worden ist, lässt sie sich nicht einfach aus der Geschichte zurückholen.

Wenn der Geist erst einmal aus der Flasche ist

Dabei reden wir bislang fast ausschließlich über die Gefahr, dass KI selbstständig Dinge tut, die ihre Entwickler nicht vorhergesehen haben. Dabei liegt das viel näherliegende Risiko, wie so oft, aber gar nicht in der Maschine, sondern beim Menschen, der sie benutzt. Wenn leistungsfähige KI-Systeme einmal verfügbar sind, ist der Geist aus der Flasche oder, um ein noch älteres Bild zu bemühen, die Büchse der Pandora geöffnet. Wissen und Fähigkeiten, die einmal in der Welt sind, lassen sich kaum wieder zurückholen.

Was heute Sicherheitsforscher im Labor erproben, könnte morgen auch von Cyberkriminellen, organisierter Kriminalität, staatlichen Geheimdiensten oder terroristischen Gruppen genutzt werden. Mafiaorganisationen wie die ’Ndrangheta brauchen keine eigene Forschungsabteilung, wenn leistungsfähige KI-Werkzeuge irgendwann allgemein verfügbar oder illegal beschaffbar sind. Betrug, Erpressung, Identitätsdiebstahl, Deepfakes, automatisierte Cyberangriffe oder die Manipulation von Menschen könnten damit in einem Umfang möglich werden, für den früher ganze Organisationen notwendig waren.

Das Entscheidende daran ist, dass dafür die KI überhaupt nicht außer Kontrolle geraten müsste. Sie müsste nämlich lediglich genau das tun, was ein Mensch ihr aufträgt.

Mit an Sicherheit grenzender Wahrscheinlichkeit ist das sogar die realistischere Variante von Goethes Zauberlehrling. Nicht nur der Besen selbst kann zum Problem werden. Gefährlich wird es auch, wenn irgendwann jeder den Zauberspruch kennt. Dann stellt sich unweigerlich eine zweite, ungleich wichtigere Frage, nämlich, was geschieht, wenn es längst nicht mehr nur einen Zauberlehrling gibt, sondern Tausende und einige von ihnen ganz bewusst Böses im Sinn haben?

Und gleichzeitig werden Milliarden hineingepumpt

Hier beginnt der eigentliche Widerspruch. Auf der einen Seite sagen die führenden Entwickler, dass wir stärkere Sicherheitsvorkehrungen und möglicherweise ein geringeres Tempo brauchen, und andererseits läuft eine der größten Investitionsmaschinen der Technologiegeschichte weiter, ohne diese Bedenken auch nur im Geringsten zur Kenntnis zu nehmen.

Rechenzentren werden geplant, Chips bestellt, Kraftwerke und Stromnetze benötigt, langfristige Verträge geschlossen und Milliardenkredite aufgenommen. Die großen Technologiekonzerne können es sich kaum leisten, im Wettrennen zurückzufallen. Wer freiwillig abbremst, während der Konkurrent weitermacht, riskiert seine Marktposition. Verantwortungsbewusstes Handeln gehört in diesem Zusammenhang in das Lexikon der ausgestorbenen Verbalien.

Und nicht nur Unternehmen stehen miteinander im Wettbewerb. Längst ist KI Bestandteil des geopolitischen Machtkampfes zwischen den USA und China geworden. Damit entsteht für die gesamte Welt ein geradezu klassisches Dilemma, nämlich dass

alle wissen könnten, dass langsamer sicherer wäre, aber niemand kann es sich leisten, als Erster langsam zu werden!

Was geschieht mit der KI-Blase, wenn wirklich gebremst wird?

Und genau hier schließt sich der Kreis zu unserem gestrigen Artikel. Die astronomischen Bewertungen vieler KI-Unternehmen beruhen nicht auf dem Versprechen, dass die Entwicklung irgendwann gemütlicher weitergeht. Sie beruhen auf der Erwartung gewaltiger Produktivitätssteigerungen und immer leistungsfähigerer Systeme.

  • Was geschieht mit diesen Bewertungen, wenn Sicherheitsauflagen tatsächlich Entwicklungsschritte verzögern?
  • Was geschieht mit Milliardeninvestitionen in Rechenzentren?
  • Was mit langfristigen Stromverträgen, Chipbestellungen und Krediten?
  • Und was geschieht, wenn sich herausstellt, dass ein Teil der heute geplanten Infrastruktur für Geschäftsmodelle gebaut wurde, deren wirtschaftlicher Ertrag erheblich später kommt, als erwartet?

Dann wäre das Sicherheitsproblem plötzlich auch ein Finanzproblem, das existentielle Dimensionen annehmen könnte.

Deutschland baut mit und sollte jedoch genauer hinsehen

Für Deutschland kommt noch ein besonderes Problem hinzu. Auch hier entstehen neue Rechenzentren und KI-Infrastrukturen. Gleichzeitig hat Deutschland seine letzten Kernkraftwerke abgeschaltet, setzt beim Umbau seiner Energieversorgung stark auf Wind- und Solarenergie und kämpft mit hohen Stromkosten, sowie einem enormen Netzausbaubedarf. Ausgerechnet in dieser Situation kommt eine Technologie hinzu, deren Hunger nach Strom, Wasser, Rechenleistung und Kapital gewaltig ist. Die Frage darf deshalb nicht lauten, ob Deutschland bei KI mitmachen soll. Natürlich muss ein Industrieland bei einer Schlüsseltechnologie dabei sein. Die richtige Frage lautet jedoch, ob wir uns eigentlich bewusst sind, auf welches wirtschaftliche, energetische und gesellschaftliche Risiko wir uns dabei einlassen?

Wo ist der Meister?

Goethes Ballade hat allerdings ein Ende, das man in der heutigen KI-Debatte nicht vergessen sollte. Der Zauberlehrling schafft es nicht selbst, das von ihm verursachte Chaos zu beenden. Erst der zurückkehrende Meister spricht das entscheidende Wort und bringt den Besen zum Stillstand. Und genau hier endet die Parallele zur Künstlichen Intelligenz auf eine mehr als beunruhigende Weise.

Wer ist heute der Meister?

  • Die Entwickler?
  • Die Konzerne, die Milliarden mit KI verdienen?
  • Die Regierungen?
  • Internationale Organisationen?
  • Oder am Ende wieder eine andere KI, die eine außer Kontrolle geratene KI kontrollieren soll?

Mit grosser Wahrscheinlichkeit ist das die wichtigste Frage, die wir uns stellen sollten, bevor die nächste Generation noch leistungsfähigerer Systeme entwickelt wird. Nicht, weil Künstliche Intelligenz grundsätzlich eine Bedrohung sein muss. Sie kann Medizin, Wissenschaft, Industrie und unseren Alltag revolutionieren. Aber technischer Fortschritt allein garantiert noch nicht, dass wir ihn auch beherrschen. Wenn diejenigen, die das Fahrzeug gebaut haben, es steuern und Milliarden daran verdienen, plötzlich darüber diskutieren, ob man nicht besser vom Gas gehen sollte, wäre es fahrlässig, wenn Politik und Gesellschaft einfach noch weiter beschleunigen.

Goethe schrieb seine Warnung vor mehr als 200 Jahren. Heute besitzen wir tatsächlich Werkzeuge, die selbstständig handeln, lernen, programmieren und zunehmend komplexere Aufgaben übernehmen können. Deshalb sollten wir sehr genau darauf achten, dass wir nicht eines Tages wie der Zauberlehrling dastehen und feststellen müssen:

Den Spruch zum Starten kannten wir, nur den zum Aufhören nicht!

Quellen und weiterführende Berichte

Süddeutsche Zeitung, 3. September 2026: „Das fühlt sich nach mehr als der halben Strecke zur KI-Machtübernahme an“ . Bericht über Sicherheitstests mit KI-Agenten und mögliche Cyberrisiken.

Süddeutsche Zeitung, 9. September 2026: „KI-Forscher: Künstliche Intelligenz ein Risiko für Menschen“ . Bericht über Warnungen von Forschern aus der KI-Branche.

Süddeutsche Zeitung, 10. September 2026: Philipp Bovermann: „Todeswahrscheinlichkeit grob zehn Prozent? Guter Deal!“
Essay über die Diskussion existenzieller KI-Risiken.

Süddeutsche Zeitung, 12. September 2026: Bericht über die Forderung von Anthropic-Chef Dario Amodei nach einer Verlangsamung der KI-Entwicklung.

Süddeutsche Zeitung, 13. September 2026: „Bremsmanöver an der Spitze der amerikanischen KI-Branche“ – über die zunehmenden Warnungen führender Köpfe der amerikanischen KI-Industrie.

Literarische Quelle: Johann Wolfgang von Goethe, Der Zauberlehrling, 1797.