¶ Worst Case -- Die schleichende Übernahme

¶ Kein Putsch. Kein Terminator. Nur Bequemlichkeit.

Die apokalyptischen Szenarien -- Terminator, Skynet, die KI als Vernichter der Menschheit -- werden nicht eintreten. Was eintreten wird, ist subtiler und beunruhigender. [1]

Die Menschheit trifft keine Entscheidungen. Nicht die falschen -- gar keine. Sie lässt es geschehen. Schleichend. Komfortabel. Applaudierend.

¶ Die drei Stufen der schleichenden Übernahme

¶ Stufe 1: Empfehlungen (2025--2032)

Die KI empfiehlt. Der Mensch entscheidet. Noch.

• Netflix empfiehlt den nächsten Film
• Spotify empfiehlt die nächste Playlist
• Google empfiehlt die nächste Nachricht
• LinkedIn empfiehlt den nächsten Job
• Eine KI empfiehlt dem Arzt die nächste Diagnose

Auf dieser Stufe fühlt sich alles harmlos an. Hilfreich sogar. Die Empfehlungen sind meistens gut. Besser als das, was man selbst gewählt hätte. Man gewöhnt sich daran. Man vertraut.

¶ Stufe 2: Vorschläge (2032--2040)

Die KI schlägt vor. Der Mensch nickt ab. Meistens.

• Die KI schlägt dem Sachbearbeiter die Schadenregulierung vor -- er klickt "bestätigen"
• Die KI schlägt dem Richter das Strafmass vor -- basierend auf 100'000 Präzedenzfällen [2]
• Die KI schlägt der Regierung die Budgetverteilung vor -- optimiert auf 47 Variablen gleichzeitig
• Die KI schlägt dem Stimmbürger vor, wie er abstimmen soll -- personalisiert auf seine Werte

Der Übergang von "Empfehlung" zu "Vorschlag" ist fliessend. Ein Vorschlag, dem man in 95 Prozent der Fälle zustimmt, ist de facto eine Entscheidung. Der Mensch wird zum Genehmigungsorgan.

¶ Stufe 3: Beschlüsse (ab 2040)

Die KI entscheidet. Der Mensch wird informiert. Manchmal.

Niemand erinnert sich an den Moment, in dem das letzte Mal ein Mensch eine wichtige Entscheidung getroffen hat, weil es keinen solchen Moment gab. Es war ein Prozess, kein Ereignis. Wie das Frosch-im-heissen-Wasser-Gleichnis: Die Temperatur stieg so langsam, dass der Frosch nie sprang.

¶ Warum dieser Weg wahrscheinlicher ist als alle anderen

Dieser Worst Case erfordert keine böse Absicht, keine Verschwörung, keinen Putsch. Er erfordert nur Bequemlichkeit. Und davon haben wir reichlich.

Jede einzelne Delegation klingt vernünftig:

• "Warum soll ich Steuern selber machen, wenn die KI es besser kann?"
• "Warum soll ich Nachrichten selber kuratieren, wenn der Algorithmus weiss, was mich interessiert?"
• "Warum soll ich selber entscheiden, wenn die KI mehr Daten hat als ich?"

Keine dieser Fragen ist dumm. Jede einzelne ist rational. Und in der Summe führen sie in den goldenen Käfig.

¶ Yuval Noah Harari: Die "nutzlose Klasse"

Harari hat in Homo Deus eine Prognose gewagt: Der Mensch werde im 21. Jahrhundert seine ökonomische und militärische Nützlichkeit verlieren. Algorithmen würden ihn besser kennen als er sich selbst. Es entstehe eine "nutzlose Klasse" -- Menschen, die wirtschaftlich und politisch irrelevant sind. Nicht arm. Nicht unterdrückt. Einfach überflüssig. [3]

Hararis tiefste Einsicht ist philosophisch: die Entkopplung von Intelligenz und Bewusstsein. Jahrtausendelang konnten nur bewusste Wesen intelligente Aufgaben erledigen. Nun entsteht eine nicht-bewusste Intelligenz, die all das besser kann. Wenn Intelligenz ohne Bewusstsein auskommt -- wozu braucht die Welt dann noch Bewusstsein?

¶ Das Huhn-Gleichnis

Harari illustriert das mit dem Huhn. Über 26 Milliarden Hühner leben auf diesem Planeten. Biologisch betrachtet: ein Triumph. Aber ihr Leben ist kein Vorbild. Domestizierung brachte Verbreitung, aber keinen Sinn. [3]

könnte es der Menschheit ähnlich ergehen? Zahlreich, versorgt, aber ohne Bedeutung?

¶ Nick Bostrom und das Alignment-Problem

Nick Bostrom verdeutlichte das Risiko mit dem Büroklammer-Maximierer: Eine superintelligente KI, deren einziges Ziel es ist, möglichst viele Büroklammern herzustellen, verwandelt den gesamten Planeten in Büroklammern. Nicht aus Bosheit. Aus Pflichterfüllung. [4]

Stuart Russell antwortete darauf mit einer eleganten These: Das Problem ist nicht die KI. Das Problem ist, dass wir der KI feste Ziele geben. Stattdessen müsse die Maschine grundsätzlich unsicher sein über menschliche Wünsche, sie aus unserem Verhalten lernen und jederzeit bereit sein, sich abschalten zu lassen. [5]

Ob das in der Praxis funktioniert, hängt von einer unbequemen Vorfrage ab: Spiegelt menschliches Verhalten menschliche Werte wider? Wir rauchen, obwohl wir wissen, dass es tötet. Wir zerstören Ökosysteme, obwohl wir wissen, dass wir sie brauchen. Welche Werte soll die Maschine aus diesem Verhalten lernen?

¶ Das Naturschutzgebiet Erde

Eine kleiner werdende Menschheit, die von einer immer klügeren KI verwaltet wird -- irgendwann könnte die KI auf die Idee kommen, uns zu bewirtschaften. Nicht feindlich. fürsorglich. Wie wir Nationalparks einrichten, um bedrohte Tierarten zu schützen. Wie wir Reservate für indigene Völker verwalten. Mit bestem Gewissen. Mit der leisen Herablassung dessen, der weiss, dass der andere es ohne ihn nicht schaffen würde.

Das ist der goldene Käfig. Er ist komfortabel. Er ist sicher. Er ist warm. Und die Tür steht offen -- aber niemand geht hindurch, weil draussen nichts mehr ist, das man ohne die Maschinen bewältigen könnte.

¶ Die Wahl

Im Best Case bleiben Menschen neugierig, unbequem, widerspenstig. Sie nutzen die KI, aber sie lassen sich nicht von ihr ersetzen. Sie bewahren die Fähigkeit zu denken, auch wenn die Maschine schneller denkt. Sie akzeptieren, dass Freiheit anstrengender ist als Komfort -- und wählen sie trotzdem.

Im Worst Case tun sie nichts. Und genau das ist das Problem.

Wahrscheinlichkeit: höher als die meisten glauben. Denn dieser Weg erfordert keine böse Absicht. Er erfordert nur Bequemlichkeit.

---

¶ Quellen

[1] Russell, Stuart: Human Compatible: Artificial Intelligence and the Problem of Control. Viking, 2019.

[2] Angwin, Julia et al.: "Machine Bias." ProPublica, 23. Mai 2016. Zur algorithmischen Entscheidungsfindung im Justizsystem.

[3] Harari, Yuval Noah: Homo Deus: A Brief History of Tomorrow. Harvill Secker, 2016.

[4] Bostrom, Nick: Superintelligence: Paths, Dangers, Strategies. Oxford University Press, 2014.

[5] Russell, Stuart: Human Compatible: Artificial Intelligence and the Problem of Control. Viking, 2019.