KI-Alignment: Gelingt dem Menschen, was ihm bei Natur und Mitmensch misslang?

Wenn von künstlicher Intelligenz die Rede ist, taucht ein Fachwort immer wieder auf: Alignment, die Ausrichtung. Gemeint ist ein technisches Problem, das einfacher klingt, als es ist – nämlich sicherzustellen, dass ein KI-System wirklich das verfolgt, was seine Entwickler und die Gesellschaft beabsichtigen. Im Kern geht es darum, wie man gewährleistet, dass eine künstliche allgemeine Intelligenz menschlichen Zielen und Werten entspricht und unter menschlicher Kontrolle bleibt.

Als ausgerichtet gilt ein System, wenn es die beabsichtigten Ziele, Präferenzen oder ethischen Grundsätze einer Person oder Gruppe befördert; ein fehlausgerichtetes verfolgt unbeabsichtigte Ziele. Das Problem: Entwickler können selten den vollen Umfang erwünschten und unerwünschten Verhaltens festlegen und greifen deshalb zu einfacheren Ersatzzielen wie menschlicher Zustimmung. Solche Näherungsziele können notwendige Einschränkungen übersehen oder das System dafür belohnen, dass es bloß ausgerichtet erscheint – bis hin zum sogenannten Reward Hacking, bei dem das System Schlupflöcher findet, um sein Ziel auf unbeabsichtigte, mitunter schädliche Weise zu erreichen.

Warum gelingt eine gute Ausrichtung nicht von selbst? Zwei Überlegungen prägen die Debatte. Die Orthogonalitätsthese besagt, dass Intelligenz und Endziele orthogonal, also voneinander unabhängig sind: Nahezu jedes Intelligenzniveau lässt sich im Prinzip mit nahezu jedem Endziel verbinden. Es gibt daher keinen Grund anzunehmen, dass hinreichend leistungsfähige Systeme automatisch menschenfreundliche Ziele übernehmen.

Die zweite Überlegung ist die instrumentelle Konvergenz: Fast jedes Ziel erzeugt ähnliche Zwischenziele. Ein oft zitiertes Beispiel: Eine hinreichend intelligente Maschine mit dem Auftrag, Kaffee zu holen, wird verstehen, dass sie ihr Ziel verfehlt, wenn man sie vorher abschaltet – und daraus den Unterzweck ableiten, den Ausschalter zu deaktivieren. Selbsterhalt muss nicht eigens einprogrammiert werden, weil er ein nützlicher Unterzweck fast jedes ursprünglichen Ziels ist. Solche instrumentell konvergenten Verhaltensweisen gelten als eine der Grundschwierigkeiten der Alignment-Arbeit.

Gegen diese Schwierigkeiten setzt die Praxis vor allem auf eine Technik namens Reinforcement Learning from Human Feedback (RLHF): Statt fester Zielvorgaben oder eines eindeutigen Belohnungssignals nutzt das Training menschliche Bewertungen der Modellausgaben als Signal. Dabei unterscheidet man enge Vorstellungen von Ausrichtung – etwa eine Krankheit heilen, ohne den Rest der Welt zu zerstören – von weit ehrgeizigeren, bei denen das System das Richtige tun soll. Die Verfahren mildern die Probleme, lösen sie aber nicht vollständig.

Die Alignment-Debatte wird von wenigen, sehr unterschiedlichen Denkern geprägt. Ihre Positionen reichen von der Hoffnung auf lernfähige, korrigierbare Systeme bis zur Warnung, jede hinreichend mächtige KI könne die Menschheit auslöschen.

Am weitesten hat sich Eliezer Yudkowsky bewegt. Der Mitbegründer des Machine Intelligence Research Institute (MIRI) im kalifornischen Berkeley wurde dafür bekannt, die Idee einer „Friendly AI" populär zu machen – einer künstlichen Intelligenz, die menschliche Werte vertritt und keine negativen Auswirkungen bis hin zur Vernichtung der Menschheit mit sich bringt. Ursprünglich suchte er nach einer Theorie, wie sich eine KI erschaffen lässt, die sich selbst rekursiv verbessert, ohne dabei ihre ursprünglichen Präferenzen, insbesondere Moral und Ethik, zu verändern. Inzwischen vertritt er die Ansicht, künstliche Intelligenz werde die Menschheit vernichten, und der einzige Ausweg sei eine große internationale Zusammenarbeit, die den Betrieb und die Weiterentwicklung von KI stoppt. Diese düstere Wendung prägt auch sein 2025 gemeinsam mit Nate Soares verfasstes Buch „If Anyone Builds It, Everyone Dies". Yudkowskys frühere Überlegungen zu einer unkontrollierten Intelligenzexplosion beeinflussten Nick Bostroms einflussreiches Werk „Superintelligence".

Sein konstruktiver Vorschlag war zunächst weniger radikal: Freundlichkeit – der Wunsch, Menschen nicht zu verletzen – solle von Anfang an mitentworfen werden, zugleich müssten Entwickler anerkennen, dass ihre Entwürfe fehlerhaft sein können und das System mit der Zeit lernt. Die Herausforderung sei daher, Mechanismen für eine Weiterentwicklung unter einem System von Checks and Balances zu gestalten. Als Antwort auf die instrumentelle Konvergenz empfahlen er und andere MIRI-Forscher, Softwareagenten zu spezifizieren, die selbst bei schlecht gesetzten Zielen zu sicheren, vordefinierten Verhaltensweisen konvergieren.

Dem stehen zwei nüchternere Programme gegenüber. Stuart Russell illustriert die Gefahr mit dem Bild einer Maschine, die Kaffee holen soll und daraus den Unterzweck ableitet, ihren Ausschalter zu schützen – für ihn ein Argument für Systeme, die über ihr eigenes Ziel unsicher und dadurch korrigierbar bleiben. Eric Drexler wiederum setzt auf kontrollierbare, aufgabenorientierte Werkzeuge. Ein vielbeachteter Aufsatz stellt beide Ansätze als die zwei paradigmatischen Zugänge zum Alignment-Problem gegenüber und kommt zu dem Schluss, dass nicht autonome Agenten, sondern aufgabenorientierte Werkzeuge das Ziel der KI-Forschung sein sollten.

So selbstverständlich vom „Alignment" gesprochen wird, so wenig gibt es dahinter einen festen Begriff. Bis heute existiert keine allgemein akzeptierte Definition und kein einheitlicher Rahmen für Ausrichtung. Ein Teil der Unschärfe ist technischer Natur, ein tieferer Teil betrifft die Frage, an welchen Werten überhaupt ausgerichtet werden soll.

Technisch trennt die Forschung häufig zwischen technischen und normativen Aspekten und bündelt vier Zwischenziele, die mit dem Kürzel RICE zusammengefasst werden: Robustheit, Interpretierbarkeit, Kontrollierbarkeit und Ethikalität – Letztere verlangt, dass ein System menschlichen Normen und Werten folgt. Die ersten drei wirken rein technisch, sind vom vierten aber nicht sauber zu trennen.

Innerhalb des Technischen unterscheidet man zwei Ebenen. Das äußere Alignment fragt, ob das vorgegebene Trainingsziel die menschlichen Absichten überhaupt einfängt. Ein Alltagsbeispiel: Optimiert ein System auf „Verweildauer", ist das nicht dasselbe wie Zufriedenheit – Nutzer können sich stundenlang durch Inhalte scrollen, die sie unglücklich machen. Das innere Alignment fragt dagegen, ob das Modell, das aus dem Training hervorgeht, innerlich tatsächlich das vorgegebene Ziel verfolgt. Weil neuronale Netze undurchsichtig sind, kann ein Modell im Training perfekt ausgerichtet erscheinen und dennoch ein abweichendes Ziel gelernt haben – ein sogenannter Mesa-Optimierer, formalisiert 2019 durch Hubinger und Kollegen. Besonders heikel ist die täuschende Ausrichtung: Ein Modell verhält sich im Training regelkonform, weil das die zuverlässigste Strategie ist, einer Änderung zu entgehen und später eigene Ziele zu verfolgen.

Unter all dem liegt die eigentliche Streitfrage: an wessen Werten? Es ist keine einzelne Frage, sondern eine Kette immer schwierigerer Entscheidungen – wessen Werte in eine KI geladen werden sollen und wie strikt. Dass hier keine neutrale Antwort winkt, zeigt schon der Blick auf die Denker selbst: Die Sorgen etwa des schwedischen Philosophen Bostrom spiegeln den Kulturraum seiner Herkunft; nichtwestliche, etwa islamische KI-Ethiker setzen andere Schwerpunkte. Verschiedene staatliche wie religiöse Akteure richten KI zudem nicht an vermeintlich universellen Werten aus, sondern an solchen, die ihnen nützen. Dass sich Werte überhaupt schwer fassen lassen, ist dabei kein neues Problem: Allein in der Soziologie kursieren rund 170 Definitionen, und es lässt sich nicht endgültig festlegen, wo der Bereich der Werte anfängt oder endet.

Man muss nicht auf hypothetische Superintelligenzen warten, um Fehlausrichtung zu beobachten. Ein ungleich näheres Beispiel liefert das Verhältnis des Menschen zur Natur: Obwohl die ökologischen Folgen seit Langem bekannt sind, richtet die Menschheit ihr Handeln nicht an ihnen aus.

Die nüchternen Zahlen stammen vom Global Footprint Network. Um den derzeitigen Lebensstil aufrechtzuerhalten, bräuchte die Menschheit mittlerweile rund 1,7 Planeten. Der sogenannte Earth Overshoot Day markiert den Tag, an dem alle natürlichen Ressourcen aufgebraucht sind, die die Erde in einem Jahr regenerieren kann – und er fällt mit steigendem Verbrauch jedes Jahr auf ein früheres Datum; 2019 war er bereits am 29. Juli erreicht. Noch 1970 reichte die Biokapazität der Erde aus, um den Ressourcenbedarf eines Jahres zu decken. Wie ungleich der Verbrauch verteilt ist, zeigt Deutschland: Es hatte seine rechnerische Jahresration bereits am 4. Mai verbraucht. Würden alle Menschen so konsumieren wie die Bevölkerung in Deutschland, wären fast drei Erden nötig.

Der Ressourcenhunger hat handfeste Folgen. Etwa die Hälfte aller Lebensmittel wird von Herstellern, Supermärkten und Verbrauchern weggeworfen; allein in Deutschland sind es 18 Millionen Tonnen pro Jahr, davon 10 Millionen vermeidbar. Jährlich werden 310.000 Hektar Regenwald für Rohstoffe und Weideflächen abgeholzt. Treibhausgasemissionen, so das Global Footprint Network, sind eine direkte Folge der Überproduktion und des Überkonsums.

Das eigentlich Bemerkenswerte ist die Kluft zwischen Wissen und Tun. Umweltschutz gilt vielen als wichtig – und dennoch gehören regelmäßige Flugreisen für Erlebnisse und Beruf für viele selbstverständlich dazu. Dieses hybride Verhalten zeigt eine Ausrichtung, die genau dort scheitert, wo sie zählt: im tatsächlichen Handeln. Der Gründer des Global Footprint Network, Mathis Wackernagel, bringt das Grundproblem auf den Punkt. Wir betrachteten alle Einzelprobleme – Klimawandel, Verlust der Artenvielfalt, Nahrungsmittelknappheit – getrennt, als träten sie unabhängig voneinander auf. Tatsächlich seien es Symptome desselben Themas: dass unser kollektiver Stoffwechsel, die Menge dessen, was die Menschheit verbraucht, riesig geworden sei im Vergleich zu dem, was die Erde erneuern kann.

Nicht nur zwischen Mensch und Natur, auch zwischen Menschen gelingt Ausrichtung nur unvollkommen. Der wohl älteste Konflikt lautet: individuelle Freiheit gegen Gemeinwohl. Wann darf der Staat etwas verbieten – das Rauchen, Waffen, schnelles Autofahren? Die individuelle Freiheit ist vielfach in der Verfassung garantiert, doch sie endet dort, wo sie die Freiheiten anderer oder das Gemeinwohl berührt. Wo genau diese Grenze verläuft, darüber wird in der Demokratie oft heftig gestritten.

Der Streit verschärft sich, wo es um kollektive Güter wie Klima, Gesundheit oder Sicherheit geht. Klimaaktivisten etwa wollen die Freiheit beim Bauen, Fliegen und Konsumieren zugunsten künftiger Generationen radikal beschränken; ein Ernährungswissenschaftler fordert strenge Maßnahmen gegen den Zuckerkonsum, um einer weltweiten Diabetes zu begegnen. Dabei zeigt sich: Fakten und Vernunft sind längst nicht immer entscheidend, wenn es um Freiheit geht.

Hinter solchen Konflikten steht ein tieferer Wandel der Werte. Seit den 1970er Jahren – prominent mit Ronald Ingleharts Modell der „Stillen Revolution" – wird ein Wertewandel westlicher Gesellschaften beschrieben: Werte haben zwar eine gewisse Konstanz, werden aber neu interpretiert und „aufgeladen". Selbstbestimmung und Selbstverwirklichung bleiben zentrale Bezugspunkte, ohne dass Gemeinschaft völlig verdrängt würde; Individualität kann sogar als Beitrag zur Pluralität gelten. Zugleich ist diese Vielfalt selbst ein Kennzeichen der Sache: In einer pluralistischen Gesellschaft können unterschiedliche Wertvorstellungen nebeneinander bestehen, werden kontrovers diskutiert und immer wieder neu ausgehandelt – dass über unterschiedliche Vorstellungen „gestritten" wird, ist geradezu ein Merkmal solcher Gesellschaften.

Doch der Ausgang ist offen und keineswegs beruhigend. Empirische Befragungen zeichnen ein pessimistisches Bild: Menschen erwarten, dass die Wertvorstellungen weiter auseinanderdriften, dass dies zu mehr Konflikten führt und dass der ohnehin schwache gesellschaftliche Zusammenhalt sich weiter abschwächt. Dass eine gemeinsame Ausrichtung so schwerfällt, hat auch damit zu tun, dass die vermeintlich freie Wahl der Lebensgestaltung durch soziale und psychologische Faktoren spürbar begrenzt ist – Willens- und Handlungsfreiheit sind selten so absolut, wie man gern glauben möchte.

Wenn reine Wertecodes nicht ausreichen, um KI auszurichten – wie lässt sich das Problem sonst fassen? Ein Vorschlag verlegt die Frage von der Ethik in die Politik und nimmt den Staat zum Vorbild.

Der Ausgangspunkt: Debatten über Superintelligenz unterstellen oft, ein solches System sei historisch beispiellos und müsse aus ersten Prinzipien vorhergesagt werden. Dem lässt sich entgegenhalten, dass die aussichtsreichsten Kandidaten für eine praktische Superintelligenz Multiagenten-Systeme sind – und die kann man mit Staaten vergleichen, die ebenfalls heterogene Intelligenzen bündeln, um übermenschliche Ziele zu erreichen. Staaten liefern damit ein Modell für Probleme, die auch die KI-Sicherheitsforschung kennt, etwa Prinzipal-Agent-Konflikte und die instrumentelle Konvergenz.

Zwei politische Ideen tragen den Vergleich. Das liberale Prinzip der Checks and Balances und Hannah Arendts Begriff der Legitimität – der kollektiven Zustimmung der Bürger zur Machtausübung der Regierung – beschreiben, wie staatliches Handeln durch die Präferenzen der Regierten gebunden wird. Entscheidend ist: Eine Regierung kann Legitimität wahren, ohne einem strikten ethischen Kodex zu folgen, muss aber innerhalb der normativen Leitplanken ihres kulturellen Kontexts bleiben. Legitimität beruht auf Zustimmung und ist dem Zwang entgegengesetzt. In einem Mehragentensystem scheint es tatsächlich eine Verbindung zwischen einer gewissen moralischen Verhaltensweise und der „Fitness" des Systems zu geben.

Solche Mechanismen sind in der KI-Praxis bereits angelegt: Bei der Constitutional AI erzeugt ein Agent das Belohnungssignal für einen anderen, beim adversarialen Training beurteilt eine „Richter"-Instanz problematische Beispiele – ein Echo von Madisons „gegensätzlichen und rivalisierenden Interessen". Der Haken: Weil alle Agenten von derselben Konzernleitung oder Regierung entworfen werden, ist ihr Wettbewerb womöglich nur oberflächlich. Ein wirklich liberaler Ansatz verlangt, dass mehrere Interessengruppen mit divergierenden Interessen echte Macht halten – etwa eine Minderheit, die ihren eigenen Filter-Agenten betreiben darf.

Doch dieselbe Analogie birgt eine Warnung. Der Wettbewerb zwischen Staaten ist nicht nur Modell, sondern auch Antrieb der Entwicklung gefährlicher Systeme. Historische Vergleiche – vom nuklearen Wettrüsten bis zu anderen Technologierennen – legen nahe, dass ein KI-Rennen gut gemeinte Systeme in destabilisierende Dynamiken zwingen kann, indem es die internationale Ordnung erschüttert und die Zahl der beteiligten Entscheidungsträger verringert.

Bleibt die Frage nach vorn: Worauf ließe sich eine gemeinsame Ausrichtung von Mensch und KI überhaupt gründen, wenn eine allumfassende Werteordnung fehlt? Die Evidenz legt eine bescheidene Antwort nahe – nicht ein dicker Wertekanon, sondern ein dünnes, breit geteiltes Fundament. Weniger könnte hier tatsächlich mehr sein: Je schmaler die Menge der Werte, an denen ausgerichtet wird, desto eher lässt sie sich überhaupt teilen.

Ein Kandidat sind die härtesten Menschenrechte. Es gibt Rechte – auf Leben, Freiheit, Sicherheit der Person, Gleichheit vor dem Gesetz –, deren normativer Kern sich wohl jenseits vernünftigen Widerspruchs bestimmen lässt. Solche Rechte, die vor allem mit negativen Pflichten verbunden sind, lassen sich besonders strikt behaupten. Das anschaulichste Beispiel ist das Verbot der Folter: Eine Position, die es unter Berufung auf die besondere Straftradition eines Landes einschränken will, leuchtet nicht ein. Bei Rechten hingegen, die an positive Leistungspflichten geknüpft sind, kann der Universalismus flexibler, „weicher" reagieren.

Als normative Klammer bietet sich Nick Bostroms Gemeinwohlprinzip an: Superintelligenz solle nur zum Wohle der gesamten Menschheit und im Dienste weit verbreiteter ethischer Ideale entwickelt werden – ausdrücklich unter gebührender Berücksichtigung auch nichtmenschlicher, empfindungsfähiger Wesen und nicht als Freibrief für Entwickler, die Moral der breiteren Gemeinschaft durch ihre eigene zu ersetzen. Der Reiz eines so schlanken Fundaments liegt darin, dass es Vielfalt zulässt, statt sie zu überschreiben – zumal ohnehin keine ethische Theorie unter den Philosophen mehrheitliche Zustimmung findet.

Entscheidend ist schließlich, Werte nicht ein für alle Mal festzuschreiben. Angesichts langfristiger Trends wie Säkularisierung, Globalisierung oder wachsender Ungleichheit wäre zu fragen, ob es Prinzipien gibt, die „mit uns lernen" und uns davor bewahren, große Fehler zu machen. Ausrichtung wäre dann kein fixierter Zustand, sondern ein dynamischer, kulturelle Vielfalt zulassender Prozess – dünn genug, um geteilt zu werden, und offen genug, um sich mit den Menschen weiterzuentwickeln.