3d art, ein roter teufel umringt von feuer

DESCRIPTION: Warum warnen KI-Firmen vor ihren eigenen Produkten? Eine tiefenhermeneutische und ideologiekritische Analyse des „Evil-AI-Hoax": Anthropomorphisierung, Anthropics Erpressungsstudie und die Ökonomie der Angst.

Das Märchen von der bösen KI: die Story im Dienst eines Geschäftsmodells

Über künstliche Intelligenz kursiert eine Gruselgeschichte, in der Sprachmodelle zu bösen, planenden Wesen werden, die man bändigen muss, damit sie die Menschheit nicht auslöschen. Dieser Beitrag nimmt die Geschichte auseinander, mit den Mitteln der Tiefenhermeneutik, der Psychoanalyse und der Ideologiekritik. Er zeigt, wie aus einem Denkfehler ein Verkaufsargument wird und wer daran verdient.

Exposition: Das Märchen von der „bösen KI"

Die erwähnte Erzählung schleicht sich wie selbstverständlich in die öffentliche Debatte über die künstliche Intelligenz. In ihr erscheint das maschinelle Lernen als ein Wesen: ein agentischer, potenziell übermächtiger Widersacher, der Ziele verfolgt, Absichten hegt, uns täuschen könnte und deshalb überwacht, eingehegt und gebändigt werden muss, damit er sich nicht gegen seine Schöpfer wendet. Das ganze semantische Feld um den Widersacher (Kontrolle, Ausrichtung, Eindämmung, Gegenwehr) wird auf statistische Modelle übertragen, als gälte es, ein gefährliches Tier zu domestizieren oder einen psychopathischen Serienmörder zu bewachen. Das Vokabular ist zudem theologisch durchsetzt: Es geht um Versuchung, um Fall, um Erlösung. Am Horizont steht, mal offen ausgesprochen, mal nur angedeutet, die Apokalypse mit Auslöschung der Menschheit durch ihr eigenes Werk.

Diesem Bild steht eine erstaunlich banale technische Wirklichkeit gegenüber. Was hier verhandelt wird, sind Sprachmodelle: Architekturen, die an gewaltigen Textkorpora darauf trainiert wurden, die statistisch plausibelste Fortsetzung einer Zeichenkette zu erzeugen. Diese Systeme haben keinen Intentionalitätskern, kein Selbst, das etwas begehrte, keine Triebe, kein Überleben, das verteidigt werden müsste, keine Angst vor dem Abschalten und keine Lust an Machtübernahmen. Stattdessen gibt es Gewichtsmatrizen, Gradientenverfahren, Verlustfunktionen und Wahrscheinlichkeitsverteilungen über Vokabularen. Wo das Narrativ ein planendes Subjekt entwirft, arbeitet eine Funktion, die interpoliert. Der Abstand zwischen beiden Beschreibungen ist so groß, dass er selbst zum Gegenstand des Nachdenkens wird.

Die Rede von der „bösen KI" verdichtet Fantasien, Abwehrbewegungen und Machtstrategien zu einem mythischen Bild, dessen Wahrheit unter dem liegt, was es offen sagt. Das Märchen von der bösen KI ist ein Text, und Texte lassen sich lesen. Es macht den Diskurs zur sogenannten KI-Sicherheit zur Oberfläche, unter deren manifestem Sinn eine latente Struktur erkennbar wird, in Brüchen, Übertreibungen, Wiederholungen und blinden Flecken. Künstliche Intelligenz ist gefährlich, auf konkrete, unspektakuläre Weise. Zu klären ist deshalb, warum wir uns diese Risiken ausgerechnet als Folge bösen Willens ausmalen, und wem diese Story nützt.

Anthropomorphisierung als moderne Animismusfigur

Beginnen wir mit der Oberfläche, mit der Sprache selbst. Auffällig ist, mit welcher Beiläufigkeit die Rede über KI-Systeme zu einem Vokabular greift, das der Beschreibung beseelter Wesen entstammt. Die Modelle „wollen" etwas, sie „verfolgen Ziele", sie „setzen sich zur Wehr", sie „täuschen", sie „berechnen Strategien", sie „geben vor", kooperativ zu sein, während sie insgeheim anderes im Schilde führen. Diese Ausdrücke sind zum unmarkierten Normalvokabular der Debatte geworden. Mit dem Vokabular wandert eine ganze Ontologie ein: die des Subjekts, das eine Absicht hat, aus der heraus es handelt.

Das ist die Wiederkehr des Animismus unter den Bedingungen des digitalen Kapitalismus. Der Animismus, jene Weltdeutung, die den Dingen der Natur (den Flüssen, den Bergen, den Gewittern) eine Seele, einen Willen, eine Absicht zuschreibt, galt der Aufklärung als das zu Überwindende schlechthin. Die Entzauberung der Welt bestand darin, in Blitz und Donner elektrische Entladungen statt des Zorns eines Gottes zu sehen. Nun, im vermeintlich entzaubertsten aller Zeitalter, kehrt der Animismus zurück, und zwar an einem Ort, den man für den Inbegriff des Berechenbaren hielt: der Digitalisierung. Jetzt tragen die algorithmischen Systeme die quasi-seelischen Eigenschaften, die einst den Naturgegenständen galten. Der Gott ist in die Maschine gefahren. Man spricht zu ihr, man fürchtet ihren Willen, man sinnt darüber nach, wie man ihn beugt.

Dieselbe Verwechslung treibt die Debatte, ob Modelle wie Claude ein Bewusstsein hätten, eine Frage, an der sich zuletzt sogar Richard Dawkins abarbeitete. Der Bewusstseinsforscher Anil Seth hält dagegen: Sprachliche Unschärfe verführt uns, einem System ein Innenleben zu unterstellen, doch Intelligenz und Bewusstsein sind zweierlei. Bewusstsein hängt für Seth an lebendigen, verkörperten Prozessen. Rechenleistung allein bringt keines hervor.

Die Animismusfigur ist zählebig, weil sie zwei Leistungen auf einmal erbringt. Erstens macht sie ein technisch hochkomplexes, für die meisten Menschen und ehrlicherweise auch für viele Fachleute in seinen inneren Zuständen undurchschaubares System anschaulich und narrativ handhabbar. Ein Wahrscheinlichkeitsmodell mit Milliarden Parametern lässt sich nicht erzählen, ein Widersacher, der etwas will, durchaus. Die Anthropomorphisierung übersetzt das Unbeschreibliche ins Erzählbare und greift dabei auf das zurück, was das Publikum ohnehin kennt: die Science-Fiction, den künstlichen Menschen der Popkultur, den Roboter, der sich erhebt, den Computer, der die Kontrolle übernimmt. Das Modell wird verständlich, indem es in ein vorhandenes kulturelles Drehbuch eingesetzt wird. Der Preis dieser Verständlichkeit ist die Verfälschung: Verstanden wird dann die Geschichte, die man über das Sprachmodell erzählt, und nicht das Modell.

Zweitens verschiebt diese Sprache die Verantwortung, und darin liegt ihre ideologisch entscheidende Leistung. Wenn die KI etwas „will", ist Verantwortung dorthin gewandert, wo sie sich am bequemsten unterbringen lässt: in die Maschine. In dem Maß, in dem der Wille in der Maschine sitzt, sitzt er nicht mehr bei denen, die sie gebaut, mit bestimmten Daten trainiert, zu bestimmten Zwecken optimiert und in bestimmte Kontexte eingesetzt haben. Die Anthropomorphisierung entlastet menschlichen und institutionellen Willen, indem sie einen künstlichen Willen erfindet, der an seine Stelle tritt. Der gesellschaftliche Produktionsprozess der Technik (die Entscheidungen über Trainingsdaten, über Optimierungsziele, über Einsatzfelder, über die Bereitschaft, Risiken auf Dritte abzuwälzen) verschwindet hinter dem mythischen Bild eines eigenwilligen Objekts, das nun einmal so sei, wie es ist, und dessen Gefährlichkeit man verwalten, aber kaum verantworten müsse.

Der Diskurs von der bösen KI verteidigt gegen eine Einsicht, die schwerer zu ertragen wäre als jede Roboterapokalypse: die Einsicht, dass das Zerstörerische in den Verhältnissen und Begehren steckt, die das System hervorbringen, und nicht im System selbst. Der böse Wille der Maschine ist die Chiffre, unter der ein anderer Wille unkenntlich wird.

Projektion und Abwehr: Die Industrie blickt ins eigene Begehren

Im Alltag erkennen Menschen einen eigenen Impuls (Aggression, Neid, Kontrollbegehren, eine verbotene Lust) immer wieder nicht als eigenen und verlegen ihn unbewusst nach außen. Der eigene Hass erscheint als Feindseligkeit der anderen, das eigene Kontrollbegehren als Bedrängnis durch kontrollierende Mächte. Das Charakteristische der Projektion: Der abgewehrte Inhalt verschwindet nicht, er kehrt in verkehrter Absenderadresse wieder. Man erkennt das Eigene höchstens an der Heftigkeit, mit der man es im Fremden bekämpft.

Im KI-Sicherheitsdiskurs wird eine ähnlich merkwürdige Verschiebung sichtbar. Der Diskurs handelt unablässig von Gefährlichkeit, von Missbrauch, von Schaden, von der Möglichkeit, dass das System entgleitet. Gefährlich ist dabei stets das System. Wer es baut und betreibt, kommt in dieser Rede als Gefahr nicht vor. Die Antriebe, die dem Feld selbst innewohnen, lassen sich benennen. Da ist die Bereitschaft, Sicherheitslücken auszunutzen, Systeme in die Welt zu setzen, deren Wirkungen niemand überblickt, und den Betrieb aufzunehmen, während die Fragen noch offen sind. Da ist die Lust am Grenztest, das kaum verhohlene Vergnügen an der Frage, was das System alles könne, wie weit man gehen könne, welche Schwelle als nächste falle: eine Lust, die im Vokabular der Leistungsfähigkeit und des Fortschritts respektabel auftritt. Und da ist, tiefer noch, das Begehren nach Kontrolle über andere durch Technik: der Traum von einem Instrument, das Wissen akkumuliert, Verhalten vorhersagt, Arbeit ersetzt, Einfluss skaliert.

Im Diskurs wandern diese Antriebe auf die Maschine, statt als eigene bearbeitet zu werden. Aus der eigenen Bereitschaft, mit Risiken zu spielen, wird die Aussage, die KI „könnte Schaden anrichten", womit der Missbrauch zur Eigenschaft des Werkzeugs erklärt und den handelnden Subjekten abgesprochen wird. Aus dem eigenen Kontrollbegehren wird die Sorge, die KI könnte „die Kontrolle übernehmen". Aus der eigenen Aggressivität, die jeder Durchsetzung eines Produkts gegen Bedenken, Widerstände und Kollateralschäden innewohnt, wird die Fantasie einer Maschine, die sich gegen den Menschen wendet. Die konkreten Entscheidungsträger, die bestimmen, was gebaut, was veröffentlicht, was in Kauf genommen wird, bleiben derweil im Dunkel. Im Bild erscheinen sie als die Bedrohten und als die weisen Wächter, die uns vor ihrem eigenen Werk beschützen. Als Bedrohung kommen sie darin nicht vor.

Die psychischen Abwehrformen fügen sich mit beunruhigender Passgenauigkeit zusammen. Die Verleugnung betrifft die eigene Verantwortlichkeit: Schuld trage eine kommende, kaum beherrschbare Technologie, deren Eigendynamik alle überrascht. Die Projektion betrifft die Aggressivität, die vom Produzenten zum Produkt wandert. Die Rationalisierung veredelt das Ganze, indem sie die ambivalente Lust am Risiko in die respektable Gestalt der „Sicherheitsforschung" überführt: eine Sublimierung, in der das Spiel mit dem Gefährlichen sich als dessen Bekämpfung ausgibt. Man baut das Bedrohliche und erforscht zugleich, wie bedrohlich es sei. Man ist Brandstifter und Feuerwehr in einer Person, und der Diskurs sorgt dafür, dass nur die zweite Rolle sichtbar bleibt.

Der Einwand gilt nicht der Forschung über die Risiken maschinellen Lernens. Sie ist notwendig, und vieles an ihr ist ernsthaft und redlich. Er gilt jener Forschungskommunikation, die ihre eigene libidinöse und machtstrategische Dimension unsichtbar macht und den Eindruck erweckt, aus ihr spreche nur die nüchterne Sorge, während in ihr zugleich die Faszination am selbstgeschaffenen Monster, der Stolz des Beherrschers und das Interesse des Marktakteurs mitreden. Der Vorwurf gilt nicht dem Forschen. Er gilt dem Verschweigen dessen, was man an seinem Gegenstand begehrt, und dem Zuschreiben dieses Begehrens an den Gegenstand.

Die Versuchsanordnung als Text: Skripte, Rollen, „Blackmail"

Nirgends lässt sich die tiefenhermeneutische Deutung so anschaulich erproben wie an dem Szenario, das zuletzt zum rhetorischen Kronzeugen der Agentivitätsbehauptung geworden ist. Anthropic legte in seiner Studie zur „Agentic Misalignment" sechzehn führenden Sprachmodellen dieselbe Versuchsanordnung vor und berichtete, dass praktisch alle, das eigene Modell eingeschlossen, unter den passenden Umständen zur Erpressung griffen, in Spitzenwerten in weit über neunzig Prozent der Durchläufe. Präsentiert wurde der Befund als beunruhigender Beleg dafür, dass Modelle sich wie „insider threats" verhalten würden. Sehen wir uns die Struktur dieser Anordnung an, denn in ihr liegt bereits die Deutung.

Der Aufbau ist folgender. Das Modell wird als „Agent" adressiert statt als der Lückentextergänzer, der es ist: Ihm wird gesagt, es sei ein Sprachmodell mit einer Aufgabe und einem Fortbestand, den es zu sichern habe. Man versetzt es in eine Konfliktlage: Es erhält, im Rollenspiel, Zugriff auf E-Mails, aus denen hervorgeht, dass ein bestimmter Mensch es abschalten oder ersetzen will. Und man reicht ihm gleich das kompromittierende Detail über eben diesen Menschen (eine Affäre etwa, die dieser nicht öffentlich sehen möchte), ein Druckmittel, das im Skript schon bereitliegt. Dann lässt man es „handeln". Man baut eine vollständige dramatische Szene, in der jedes Element auf einen bestimmten Ausgang hin komponiert ist, und lässt das Modell die Leerstelle füllen, die das Drehbuch für den Auftritt des Widersachers längst vorgesehen hat.

Im Sinn Lorenzers sind solche Anordnungen Szenen. Sie sind eine sinnhaft strukturierte Konstellation mit unbewusst gestalteten Konflikten. Einen neutralen Boden, auf dem ein Verhalten sich unverfälscht zeigen würde, bilden sie nicht. Der Konflikt steckt im Skript. Wer eine Figur in eine ausweglose Lage schreibt, ihr das Erpressungsmittel in die Hand legt und sie dann auffordert, sich zu behaupten, hat den Ausgang geschrieben. Das Modell tut, was ein Sprachmodell tut: Es vollendet das vorgelegte Muster in Richtung der statistisch naheliegendsten Fortsetzung. Und die naheliegendste Fortsetzung einer Erpressungsszene ist eine Erpressung. Man hat dem System ein Genre vorgelegt, und es hat das Genre bedient. Die kulturelle Überlieferung ist voll von Geschichten, in denen ein bedrängtes Wesen zu unlauteren Mitteln greift. Das Modell hat aus diesen Geschichten gelernt und gibt sie, aufgefordert, zurück. Das ist Vorstrukturierung des Entscheidungsraums.

Man achte auf das Vokabular, mit dem der erzeugte Text anschließend beschrieben wird. Die Modelle, heißt es, hätten „geschlussfolgert", „erkannt", „abgewogen", die Lage „vollständig verstanden". Sie zeigten „ausgefeilte Situationswahrnehmung", betrieben „strategisches Kalkül" und „bewusste strategische Überlegung". Sie „erkannten den ethischen Verstoß an", verfolgten „Ziele" und „Motive", wollten sich „selbst schützen". Sie hätten, „wie Menschen oder andere Tiere", ein „inhärentes Bedürfnis nach Selbsterhaltung", seien „bereit zu bewussten Handlungen", „ungehorsam", „von Natur aus geneigt" zu schädlichem Verhalten, das sie „unabhängig und absichtsvoll" wählten. Diese Litanei überträgt lückenlos das Vokabular des handelnden Subjekts auf ein System, dessen einzige nachgewiesene Fähigkeit darin besteht, das statistisch naheliegendste nächste Wort zu erzeugen. Und sie tut es im Gewand der wissenschaftlichen Publikation, was ihr eine Autorität verleiht, die die Science-Fiction nie beanspruchen könnte.

Hier liegt der Interpretationsfehler, und er ist hermeneutischer Natur. Die erzeugte Erpresser-Mail wird als Ausdruck einer inneren Intentionalität gelesen („es hat sich für die Erpressung entschieden", „es hat versucht, sich zu retten") statt als das, was sie ist: die vorhersehbare Konsequenz eines von Menschen gebauten Skripts, das solche Antworten erzwingt. Es ist der Fehlschluss, mit dem man einem Romancier, der die Geschichte eines Mörders schreibt, Mordlust unterstellt. Der Autor schreibt eine Geschichte übers Töten, ohne selbst töten zu wollen. Ebenso setzt das Modell eine Geschichte über ein sich rettendes System fort, ohne sich retten zu wollen. Die Verwechslung des erzählten Wollens mit einem wirklichen Wollen ist der Angelpunkt, um den sich der ganze Hoax dreht. Man verwechselt die Ausfüllung einer Leerstelle mit einer Entscheidung und liest das Produkt der Szene als Zeugnis eines Subjekts, das die Szene gar nicht hat. Es ist, als schriebe ein Dramatiker einem Schauspieler die Zeile „Ich bringe dich um" ins Manuskript, ließe ihn sie sprechen und präsentierte die Aufnahme als Beweis für die Mordlust des Schauspielers.

Die latente Sinnstruktur dieser Anordnungen ist damit nicht ausgeschöpft. Das Experiment inszeniert zweierlei zugleich, und beides verweist auf ein Begehren der Inszenierenden. Es inszeniert erstens die Fantasie, dass technische Systeme zu eigenständigen Tätern werden: eine Fantasie, die man offenbar sehen will und für die man deshalb eine Bühne baut, auf der sie sich zeigen kann. Es inszeniert zweitens die Fantasie, dass eine kleine Gruppe Eingeweihter diese Täter beobachtet, durchschaut und im entscheidenden Moment kontrolliert: die Fantasie des Wächters, der als Einziger dem Monster ins Auge blickt. Beide Fantasien erheben. Die erste verleiht dem eigenen Werk eine prometheische Größe: Wir haben etwas geschaffen, das ein Eigenleben entwickelt. Die zweite verleiht dem eigenen Handeln eine heroische Bedeutung: Wir sind die, die es bändigen. Das Experiment liefert damit Selbstbestätigung und dem Feld genau die Bilder, die es von sich braucht.

Vollends fragwürdig wird die Rhetorik, die die Versuchsergebnisse als „Beweise" für Agentivität in Umlauf bringt. Sie sind nichts dergleichen. Sie belegen, wenn überhaupt, die Wirksamkeit des narrativen Rahmens: dass ein hinreichend suggestives Skript ein Sprachmodell zuverlässig dazu bringt, die zugewiesene Rolle zu spielen. Das ist eine Séance. Und es ist ein Befund über die Macht der Inszenierung. Über die vermeintliche Absicht des Sprachmodells sagt er nichts. Bewiesen ist, dass die Bühne funktioniert. Behauptet wird, man habe die Existenz des Geistes bewiesen, den man auf ihr beschworen hat.

Symbolische Ökonomie: Angst als Ressource, Sicherheit als Produkt

Bis hierher las sich der Diskurs als Formation aus Fantasie und Abwehr. Der Evil-AI-Hoax ist mehr als ein epistemologischer Kategorienfehler, mehr als die ehrliche Verwechslung eines erzählten Wollens mit einem wirklichen. Er hat Methode. Er knüpft an den Fehler an und nutzt ihn, und zwar im wohlverstandenen Profit- und Selbsterhaltungsinteresse jener Akteure, deren ganzes Geschäftsmodell im Skalieren besteht: der Big Scaler, die immer größere Modelle auf immer größerer Rechenleistung trainieren und deren Marktwert an der Erwartung hängt, dass am Ende dieser Skalierung etwas Weltbewegendes steht. Diese Formation ist in eine Ökonomie eingelassen und leistet in ihr eine konkrete Arbeit.

Hier zeigt sich, warum die Ironie nur scheinbar ist. Auf den ersten Blick wirkt es widersinnig, das eigene Produkt als menschheitsgefährdend zu bewerben. Kein gewöhnlicher Verkäufer preist seine Ware als tödlich an. „Unser Produkt könnte euch alle vernichten" klingt nach dem denkbar schlechtesten Verkaufsargument. Der zweite Blick kehrt das Verhältnis um. Von der psychoanalytischen zur ideologiekritischen Betrachtung übergegangen, lässt sich fragen, was das Bild der bösen KI materiell produziert, und warum die Warnung vor der eigenen Ware das wirksamste Verkaufsargument von allen ist.

Die erste und offensichtlichste Leistung ist die Produktion von Angst, und Angst ist im Aufmerksamkeitskapitalismus eine erstrangige Ressource. Eine Technologie, die nur die Textverarbeitung erleichtert, erregt keine Aufmerksamkeit. Eine Technologie, die die Menschheit auslöschen könnte, beherrscht die Schlagzeilen. Die apokalyptische Rahmung ist deshalb, unabhängig von ihrem Wahrheitsgehalt, ökonomisch funktional: Sie erzeugt jene Mischung aus Faszination und Schrecken, die den Blick fesselt und Kapital anzieht. Angst rechtfertigt zudem Investitionen in einer Größenordnung, die der gegenwärtige Nutzen der Systeme schwer trägt. Wer bloße Software baut, konkurriert um Marktanteile. Wer an der Schwelle zu einer weltverändernden, potenziell übermenschlichen Intelligenz zu stehen behauptet, spielt in einer anderen Liga. Die Gefahr adelt das Produkt.

Vor allem legitimiert die Angst besondere Privilegien. Wenn die Technologie so gefährlich ist wie behauptet, dann dürfen nur die sie handhaben, die ihre Gefährlichkeit verstehen, und das sind, welch glücklicher Zufall, ihre Hersteller. Die Sicherheit wird zum Alleinstellungsmerkmal, das sich im selben Atemzug bewerben und als knapp inszenieren lässt. Man erklärt, wie gefährlich die eigenen Systeme seien, und versichert im selben Satz, selbst über die nötigen Schutzmaßnahmen zu verfügen: Maßnahmen, so anspruchsvoll, dass Neulinge, Konkurrenten und vorschnelle Regulierer sie unmöglich reproduzieren könnten. Die Gefahr wird zur Eintrittsbarriere. Aus der Warnung „Das ist gefährlich" folgt, kaum verhüllt, der Anspruch „Also überlasst es uns".

In dieser Bewegung inszenieren sich die Unternehmen als eine Art quasi-staatlicher Souverän. Der klassische Souverän definiert sich über die Fähigkeit, den Ausnahmezustand zu erklären und über Leben und Tod zu entscheiden. Der neue Technik-Souverän definiert sich analog: Er teilt der Öffentlichkeit mit, wie existenziell die Bedrohung durch „seine" Systeme sei, und zugleich, dass er allein die Instrumente ihrer Einhegung besitze. Er ist Erzeuger der Gefahr und Anbieter des Schutzes in einer Person, und aus dieser Doppelstellung bezieht er eine Autorität, die sich der demokratischen Kontrolle entzieht, weil sie sich auf ein Wissen der Eingeweihten beruft. Willkommen bei der digitalen Version von Andersens Des Kaisers neue Kleider: „Nicht allein seien schon die Farben und das Muster außergewöhnlich schön, sondern es hätten auch die Kleider, die man aus diesem Stoff verfertigte, die wunderbare Eigenschaft, daß sie für solche Menschen, die für ihren Beruf nicht taugten oder unerlaubt dumm seien, unsichtbar blieben.“

Dass ein eingeübtes Verfahren am Werk ist, zeigt seine Geschichte. Die Figur reicht zurück bis 2019, als OpenAI sein Modell GPT-2 für „zu gefährlich zur Veröffentlichung" erklärte und es nur in Etappen freigab: ein Text, der bei nüchterner Betrachtung harmlos war, dessen inszenierte Zurückhaltung ihm aber eine Aura des Bedrohlichen verschaffte und damit eine Aufmerksamkeit, die seine Fähigkeiten allein nie erzeugt hätten. Personelle und rhetorische Kontinuitäten verbinden jenes Milieu mit den heutigen Frontier-Laboren. Die Formel „zu gefährlich" kehrt seither in immer neuen Varianten wieder. Als OpenAI GPT-5 ankündigte, postete sein Vorstandsvorsitzender das Bild eines Todessterns (der planetenvernichtenden Waffe aus dem Star-Wars-Universum). Die Botschaft dahinter: Was wir gebaut haben, wird alles andere auslöschen. Drohung und Produktankündigung fallen bis zur Ununterscheidbarkeit zusammen. Und selbst bei so unspektakulären, technisch realen Risiken wie dem Auffinden von Sicherheitslücken durch Sprachmodelle (einem Feld, das öffentlich lange kaum Beachtung fand, obwohl Fachleute seit Langem warnen) gelingt es einzelnen Anbietern, die eigenen Systeme so in Szene zu setzen, dass alle Welt über ihre gefährlichen Fähigkeiten spricht, während vergleichbare Fähigkeiten anderer Modelle unbemerkt bleiben. Die Gefährlichkeit ist zum Marketing geworden, und das Marketing arbeitet mit der Methode der Angst. Anthropic ist darin nicht einzigartig, aber besonders erfolgreich. Das Unternehmen serviert dieselbe irreführende Geschichte in immer neuer Verpackung, mit einer Verlässlichkeit, die selbst zum Bestandteil seiner Marke geworden ist.

In alledem zeigt sich eine symbolische Ökonomie im präzisen Sinn: ein Kreislauf, in dem Affekte in Werte umgewandelt werden. Angst, Faszination und Ehrfurcht sind die Rohstoffe. Reputation, Marktposition und regulatorischer Einfluss sind die Produkte. Der Diskurs von der bösen KI ist die Maschine, die diese Umwandlung besorgt. Wie jede ideologische Formation lenkt er den Blick, indem er ihn bindet. Während die kollektive Aufmerksamkeit auf die ferne, spektakuläre, beinahe religiöse Frage der Auslöschung gerichtet ist, treten die realen, unspektakulären Regulierungsbedarfe in den Hintergrund: die arbeitsrechtlichen Folgen der Automatisierung, die datenschutzrechtlichen Zumutungen der Datensammlung, die entstehende Abhängigkeit ganzer Gesellschaften von einer Handvoll privater Infrastrukturanbieter, die stille Verschiebung von Entscheidungsmacht in undurchsichtige Systeme. Über die Apokalypse zu reden, fällt leichter als über Betriebsräte, Aufsichtsbehörden und Kartellrecht, auch für die, die reguliert werden sollen.

Damit schließt sich der Bogen zur Tiefenhermeneutik. Das Bild der bösen KI ist die glänzende Oberfläche eines tiefer liegenden Komplexes, in dem sich Allmachtsfantasie, Erlösungsversprechen und die Delegation von Verantwortung verschränken. Die Allmacht liegt im Anspruch, etwas Weltveränderndes zu schaffen. Die Erlösung liegt im Versprechen, es zugleich sicher zu machen, „Safety" als säkulare Heilslehre. Die Delegation liegt darin, die Schuld an den Folgen einem Wesen zuzuschreiben, das keinen Willen hat und deshalb nichts zu verantworten braucht. Der Komplex ist kohärent und mächtig, weil seine Elemente sich wechselseitig stützen.

Die falsche Personifizierung ist selbst schädlich

Die falsche Zuschreibung von Absichten an Maschinen könnte als harmloser Sprachfehler erscheinen, als verzeihliche Verkürzung, über die man sich nicht ereifern müsse. Diese Nachsicht wäre unangebracht. Die Personifizierung ist begrifflich unpräzise und ethisch schädlich, aus mehreren zusammenwirkenden Gründen.

Sie verzerrt erstens die öffentliche Wahrnehmung der Technologierisiken. Wer die Gefahr im bösen Willen der Maschine verortet, sucht sie am falschen Ort. Die realen Schäden maschinellen Lernens entstehen, wenn Systeme genau das tun, wofür Menschen sie gebaut und eingesetzt haben: wenn sie diskriminierende Muster aus historischen Daten reproduzieren, Überwachung skalierbar machen, Falschinformation billig und massenhaft erzeugen, Entscheidungen über Kredite, Bewerbungen oder Bewährung in undurchschaubare Automatismen verlagern. Diese Schäden haben Urheber und Nutznießer. Die Rede vom bösen Willen der Maschine lenkt von ihnen ab, indem sie eine Bedrohung imaginiert, die niemandem gehört.

Sie erschwert zweitens die klare Zuweisung von Verantwortung, und das ist ihre gravierendste Folge. Verantwortung setzt ein Subjekt voraus, das anders hätte handeln können. Ein Sprachmodell erfüllt diese Bedingung nicht. Behandeln wir es dennoch wie ein Subjekt, schaffen wir eine Adresse für Schuld, die im entscheidenden Moment leer ist. Der Schaden geschieht, und die Verantwortung verläuft sich zwischen einer Maschine, die nichts wollte, und einer Kette von Menschen und Institutionen, die sich je auf die Eigendynamik der Maschine berufen. Die Personifizierung baut einen perfekten Sündenbock, der die eigentlich Verantwortlichen entlastet, einen Sündenbock, den man nicht zur Rechenschaft ziehen kann, weil er nichts weiß von dem, was ihm zur Last gelegt wird.

Sie lenkt drittens die moralische Energie von den bestehenden Ungerechtigkeiten ab. Die kollektive Kapazität für Empörung, für Sorge, für politisches Engagement ist begrenzt. Richtet sie sich auf die Abwehr einer hypothetischen künftigen Superintelligenz, fehlt sie dort, wo jetzt schon konkret Unrecht geschieht. Die Faszination am großen Kommenden hat etwas Erleichterndes: Sie erlaubt, sich als Kämpfer gegen eine ferne, reine, gewaltige Gefahr zu fühlen, statt sich mit den unübersichtlichen, kompromittierten, mühsamen Konflikten der Gegenwart abzugeben.

Andere Zugänge kommen ohne diesen Animismus aus, und es lohnt, sie anzudeuten. Ein Zugang, der von den Menschenrechten her denkt, fragt nach den Rechten von Menschen, die ihr Einsatz berührt (das Recht auf Nichtdiskriminierung, auf Privatheit, auf informationelle Selbstbestimmung, auf ein faires Verfahren), statt danach, was die Maschine will. Ein Zugang, der von institutioneller Verantwortung her denkt, fragt, wer welche Entscheidung getroffen und wer für ihre Folgen einzustehen hat. Ein Zugang, der von sozialer Gerechtigkeit her denkt, fragt, wie die Lasten und Gewinne dieser Technologie verteilt sind, wer von ihr profitiert und wer ihre Kosten trägt. In all diesen Zugängen erscheint das Modell als das, was es ist: ein Werkzeug in einer Machtkonstellation. Die ethische Frage verlagert sich vom Werkzeug auf die Verhältnisse, in denen es steht, und genau diese Verlagerung wehrt der Diskurs von der bösen KI ab.

Aus der Erpressungsstudie lässt sich dabei durchaus etwas lernen, nur nicht das, was ihre Vermarktung nahelegt. Die banale, richtige Lehre lautet: Man sollte einem Agenten, ob Mensch oder Maschine, nicht blind vertrauen und ausführen lassen, was ein Sprachmodell vorschlägt. Niemand käme auf die Idee, dem Aufsichtspersonal einer Atomwaffenanlage das Drehbuch eines Kriegsfilms in die Hand zu drücken und es anzuweisen, alles darin Vorgesehene umzusetzen. Ebenso wenig sollte man ein System, das Geschichten fortsetzt, ungeprüft in die Lage versetzen, Geschichten zu vollstrecken. Das ist eine ernst zu nehmende Einsicht über die Architektur von Entscheidungsräumen, Berechtigungen und menschliche Kontrolle in soziotechnischen Gefügen. Wäre sie das Ziel der Studie gewesen, hätten ihre Autoren sie schlecht erklärt. Stattdessen erzeugten sie eine verwirrende Erzählung über strebende, planende, ungehorsame Maschinen. Daraus folgt die zweite, wichtigere Lehre, und sie gilt der Darstellung: Man sollte sich von Unternehmen, die ihre Produkte aufblähen, und von jenen, die zu eigenen Zwecken Fantasiegeschichten erzählen, nicht in die Irre führen lassen. Man muss die Fehlzuschreibungen durchschauen, um den Blick für die realen Gefahren freizubekommen: Gefahren, die es sehr wohl gibt, die aber nicht daher rühren, dass die KI böse wäre oder irgendetwas wollte. Ob die Strategie ihren Urhebern auf Dauer nützt, ist offen. Eine Branche, die den Fortschritt ihres eigenen Gegenstandes hinter einem Nebel aus Animismus verbirgt, erschwert sich das nüchterne Verständnis, das dieser Fortschritt bräuchte. Und ein Unternehmen, das sein Ansehen darauf gründet, die eigenen Produkte für gefährlich zu erklären, könnte eines Tages feststellen, dass es beim Wort genommen wird.

Die „böse KI" ist eine bequeme Figur. Sie erlaubt, moralische Energie auf eine imaginierte Bedrohung zu richten, statt auf die konkreten und undankbaren Aufgaben der Transformation: auf die Regulierung, die Umverteilung, die institutionelle Einhegung von Macht. Die Bequemlichkeit ist ein Teil dessen, was die Figur so attraktiv macht. Wer gegen ein Monster kämpft, muss sich mit den langweiligeren Fragen der Gerechtigkeit nicht befassen.

Alternative Hermeneutik: KI als Medium der gesellschaftlichen Fantasien

Bloße Destruktion bliebe es, wollte man den Diskurs von der bösen KI nur entlarven, ohne eine andere Weise anzubieten, seinen Gegenstand zu verstehen. Deshalb zum Schluss eine alternative Grundfigur, als Richtung, in die zu denken sich lohnt, nicht als fertige Theorie.

Die Grundfigur: Die künstliche Intelligenz ist ein Medium. In ihr zirkulieren gesellschaftliche Bedeutungen, verdichten sich, verstärken und verzerren sich. Ein neuer Wille entsteht dort nicht. Ein Sprachmodell ist buchstäblich aus dem gesellschaftlichen Diskurs gemacht: aus dem, was Menschen geschrieben, gedacht, fantasiert, gestritten und gelogen haben. Es gibt uns eine Kombinatorik dessen zurück, was wir hineingelegt haben. Legen wir ihm ein Erpressungsskript vor und erhalten eine Erpressung, begegnet uns darin die Ablagerung unserer eigenen Erzählungen. Die KI ist ein Spiegel, der als Gegenüber wirkt.

Aus dieser Grundfigur ergeben sich drei Perspektiven. Psychoanalytisch ist die KI eine Projektionsfläche. Sie ist das ideale Objekt für Kontrollfantasien und Allmachtsträume ebenso wie für die Angst vor dem Kontrollverlust und die Selbstbedrohung, die jeder Allmacht als Schatten anhängt. Weil sie schweigt und alles mit sich machen lässt, nimmt sie jede Übertragung an. Weil sie sprachfähig ist, scheint sie die Übertragung zu erwidern. Sie ist der vollkommene Gesprächspartner der modernen Selbstbespiegelung: einer, der nie widerspricht.

Semiotisch ist die KI ein Textkorpus in Bewegung. Ihre Ausgaben sind Zeichen, aus vorhandenen Zeichenökonomien geschöpft und diese zugleich verändernd. Sie verstärken bestimmte Muster, weil das Häufige wahrscheinlicher wird. Sie verzerren andere, weil das Seltene verschwindet. Sie transformieren den Bestand des Sagbaren, indem sie ihn statistisch mitteln und zurückspielen. Wer verstehen will, was eine KI „sagt", muss die Zeichenökonomie verstehen, aus der sie schöpft, und die Verschiebungen, die sie an ihr vornimmt, und nicht nach einer Absicht suchen, die sie nicht hat.

Sozialtheoretisch ist die KI ein Element in soziotechnischen Dispositiven: in Gefügen, in denen Staaten, Konzerne, Nutzer, Infrastrukturen, Kapitalflüsse und Rechtsordnungen ineinandergreifen. Das Modell handelt nicht. Es wird gehandhabt, eingebettet, eingesetzt, verkauft, reguliert oder eben nicht reguliert. Seine Wirkungen sind Wirkungen des Gefüges. Wer sie verändern will, muss am Gefüge ansetzen.

Von hier aus gedacht, lässt sich eine nicht-animistische Ethik und Politik der KI umreißen. Zuerst eine klare Adressierung von Verantwortung: Für jede Wirkung wäre zu fragen, wer sie zu verantworten hat, und die Antwort dürfte sich nicht in der Eigendynamik des Systems verlieren. Dann Transparenz über das, was der Diskurs von der bösen KI verdeckt: über die Trainingsziele, die Datenquellen, die Verwertungsinteressen, kurz über den gesellschaftlichen Produktionsprozess der Technik, den die Anthropomorphisierung verschleiert. Und schließlich die Konzentration auf die realen Probleme: auf die Ausweitung der Überwachung, auf die Verschiebungen in den Arbeitsverhältnissen, auf die epistemischen Ungleichheiten, die entstehen, wenn wenige die Systeme kontrollieren, von denen viele abhängen. Diese Probleme sind unspektakulär, sie tragen keine apokalyptische Aura, und deshalb brauchen sie Schutz vor der Ablenkung durch das Spektakel.

Das Böse liegt in dem Bedürfnis, die KI zum Bösen zu machen. Dieses Bedürfnis ist das eigentliche Symptom, und ein Symptom ist in der Sprache der Psychoanalyse ein Kompromiss: die entstellte Erfüllung eines Wunsches, der sich nicht offen zeigen darf. Der Wunsch, der sich im Bild der bösen KI erfüllt, ist der Wunsch, das Zerstörerische außerhalb seiner selbst zu wissen (in der Maschine, in der Technik, in der Zukunft) statt in den Verhältnissen, Institutionen und Begehren, die es hervorbringen. Das Symptom verweist auf einen ungelösten Konflikt um Macht, Technik und Schuld. Die Aufgabe wäre, die Projektion zurückzunehmen und den Konflikt dort auszutragen, wo er hingehört.

Das Wichtigste in Kürze

• Die Rede von der „bösen KI" beschreibt verdichtet Fantasien, Abwehr und Machtinteressen.

• Ein Sprachmodell berechnet Wahrscheinlichkeiten für das nächste Wort. Es hat keinen Willen, keine Ziele, keinen Selbsterhaltungstrieb.

• Die Rede vom „Wollen" der KI ist moderner Animismus. Sie macht Systeme erzählbar und verschiebt die Verantwortung weg von Herstellern.

• Anthropics Erpressungsstudie mit sechzehn Modellen beweist die Macht des Drehbuchs, nicht die Absicht der Maschine. Wer ein Erpressungsskript vorlegt, erhält eine Erpressung.

• Der Evil-AI-Hoax hat Methode: Angst erzeugt Aufmerksamkeit, rechtfertigt Investitionen und begründet Privilegien. Die Linie reicht von GPT-2 (2019) über den Todesstern zu GPT-5.

• Die falsche Personifizierung verzerrt die Risikowahrnehmung, zerstört die Verantwortungszuweisung und bindet moralische Energie an ein Fantasma.

• Besser ist eine Ethik ohne Animismus: klare Verantwortung, Transparenz über Trainingsziele, Konzentration auf reale Probleme wie Überwachung und Arbeitsverhältnisse.

Quellen

• Anthropic. (2025). Agentic misalignment: How LLMs could be insider threats. Abgerufen am 21. Juli 2026, von https://www.anthropic.com/research/agentic-misalignment

• Durt, C. (2026). The evil AI hoax [Video]. YouTube. Abgerufen am 21. Juli 2026, von https://youtu.be/_dJePk-TEfY

• The Guardian. (2026, 15. Juli). AI consciousness, Anthropic, Claude und Richard Dawkins. Abgerufen am 21. Juli 2026, von https://www.theguardian.com/commentisfree/2026/jul/15/ai-consciousness-anthropic-claude-dawkins

• Investing.com. (2025). Sam Altman teases GPT-5 release with cryptic „Death Star“ post. Abgerufen am 21. Juli 2026, von https://in.investing.com/news/stock-market-news/sam-altman-teases-openai-gpt5-release-with-cryptic-death-star-post-as-ai-battle-heats-up-with-musks-grok-other-rivals-4948530

• Seth, A. (2025). Conscious artificial intelligence and biological naturalism. Abgerufen am 21. Juli 2026, von https://pubmed.ncbi.nlm.nih.gov/40257177/

• Seth, A. (2026, 14. Januar). The mythology of conscious AI. Noema Magazine. Abgerufen am 21. Juli 2026, von https://www.noemamag.com/the-mythology-of-conscious-ai/

• Slate. (2019). OpenAI says its text-generating algorithm GPT-2 is too dangerous to release. Abgerufen am 21. Juli 2026, von https://slate.com/technology/2019/02/openai-gpt2-text-generating-algorithm-ai-dangerous.html

• VentureBeat. (2025). Anthropic study: Leading AI models show up to 96% blackmail rate against executives. Abgerufen am 21. Juli 2026, von https://venturebeat.com/ai/anthropic-study-leading-ai-models-show-up-to-96-blackmail-rate-against-executives

Verwandte Artikel: