Wenn KI
die nächste KI baut.

Bessere KI
baut bessere KI

Ich baue mit KI. Ich entwickle Ideen, teste Anwendungen und erlebe, wie Aufgaben plötzlich machbar werden, für die vorher ein ganzes Team nötig gewesen wäre. Das begeistert mich. Und genau deshalb beschäftigt mich eine Frage immer stärker: Was passiert, wenn diese Systeme zunehmend die nächste Generation ihrer selbst entwickeln?

Dann verändert sich möglicherweise die Geschwindigkeit, mit der Fortschritt überhaupt entsteht. Bessere KI hilft beim Bau besserer KI. Die wiederum noch mehr Entwicklungsarbeit übernehmen kann. Eine Rückkopplung, deren Folgen wir heute nur begrenzt abschätzen können.

Wer dabei an Superintelligenz denkt, meint ein System, das Menschen über ein breites Spektrum geistiger Aufgaben deutlich übertrifft. Wie ein solches System tatsächlich handeln würde und welche Folgen es für unsere Gesellschaft hätte, lässt sich nicht aus einem beeindruckenden Chat ableiten. Genau diese Lücke zwischen wachsender Fähigkeit und begrenztem Verständnis interessiert mich.

Den Gedanken eines „doppelten exponentiellen Wachstums“ finde ich deshalb nachvollziehbar. Wissenschaftlich müssen wir dabei präzise bleiben: Eine solche Wachstumskurve ist bislang nicht als allgemeines Gesetz der KI-Entwicklung belegt. Belegt sind starke Fortschritte in bestimmten Fähigkeiten. Und inzwischen gibt es konkrete Hinweise darauf, dass KI ihre eigene Entwicklung beschleunigt. Anthropic beschreibt diesen Übergang ausdrücklich.

Warum es sich
so schnell anfühlt

Ein Blick zurück macht verständlich, warum sich das Tempo so verändert anfühlt. GPT-4 erschien am 14. März 2023, GPT-4o am 13. Mai 2024. Claude 3.5 Sonnet folgte im Juni 2024, Claude 3.7 Sonnet im Februar 2025 und Claude 4 im Mai 2025. Im September 2026 liegen einzelne Veröffentlichungen bereits eine Woche auseinander: OpenAI ergänzte am 22. September die GPT-6-Familie um Sol und Luna; am 29. September folgte GPT-6.1 Sol. Anthropic veröffentlichte am 22. September Claude Opus 5.5.

Das ist eine Auswahl von Meilensteinen, keine lückenlose Versionsgeschichte. Neue Modellfamilien, günstigere Varianten und Produktupdates sind unterschiedliche Dinge. Aus ihren Veröffentlichungsabständen lässt sich keine belastbare Reihe „erst jährlich, dann halbjährlich, dann monatlich“ ableiten. Eine neue Versionsnummer bedeutet auch keine Verdopplung der Intelligenz.

Was KI tatsächlich
erledigen kann

Aussagekräftiger ist, was ein System tatsächlich erledigen kann. Die Forschungsorganisation METR misst dafür den sogenannten Aufgabenzeithorizont. Er beschreibt die Schwierigkeit von Aufgaben anhand der Zeit, die menschliche Fachleute dafür benötigen. Bei einem 50-Prozent-Zeithorizont von einer Stunde löst das KI-System Aufgaben dieser Größenordnung mit geschätzten 50 Prozent Erfolg. Die Stunde ist also menschliche Arbeitszeit, nicht die Laufzeit der KI.

Die im Januar 2026 veröffentlichte, überarbeitete Messreihe zeigt folgende Größenordnungen:

Es handelt sich um Punktschätzungen mit breiten Unsicherheitsbereichen. Die Aufgaben stammen überwiegend aus Softwareentwicklung und verwandten technischen Bereichen.

Im Mai 2026 berichtete METR für die öffentliche Leistungsspitze im untersuchten Zeitraum Februar bis März von ungefähr zwölf Stunden bei 50 Prozent Erfolg. Bei 80 Prozent Erfolg waren es nur rund eineinhalb Stunden. Wer daraus einen zuverlässig ersetzten Arbeitstag macht, lässt den entscheidenden Teil der Zahl weg. Für den jüngeren Trend seit 2024 ermittelte METR in dieser Auswertung eine Verdopplungszeit von rund 105 Tagen. Die ursprüngliche Langzeitreihe hatte ungefähr sieben Monate ergeben. Unterschiedliche Zeitfenster und Messbedingungen beeinflussen diese Werte.

Der Zuwachs ist erheblich. Trotzdem ergibt sich daraus weder ein Countdown zur Superintelligenz noch ein Beweis dafür, dass sich die Entwicklung dauerhaft weiter beschleunigt.

Wo die Rückkopplung
konkret wird

Der nächste Schritt könnte allerdings genau dort liegen: bei der Entwicklung selbst. Anthropic berichtet, dass im Mai 2026 mehr als 80 Prozent des neu übernommenen Codes im eigenen Unternehmen von Claude geschrieben wurden. Im zweiten Quartal 2026 wurden pro Entwickler und Tag etwa achtmal so viele Codezeilen übernommen wie 2024. Das sind Unternehmensangaben. Achtmal mehr Code bedeutet ausdrücklich nicht achtmal mehr Forschungsfortschritt. Anthropic benennt zudem weiterhin deutliche Grenzen beim eigenständigen Setzen sinnvoller Forschungsziele.

Hier wird die Rückkopplung konkret. Ein System hilft, Experimente umzusetzen, Fehler zu finden und die technische Infrastruktur zu verbessern. Dadurch könnte die nächste Generation früher oder leistungsfähiger entstehen. Diese Generation kann anschließend einen größeren Teil derselben Arbeit übernehmen.

Mathematisch ist „doppelt exponentiell“ allerdings anspruchsvoller als „es geht immer schneller“. Selbst zwei miteinander multiplizierte exponentielle Entwicklungen ergeben zunächst wieder exponentielles Wachstum. Doppelt exponentielles Wachstum würde bedeuten, dass auch der Exponent selbst exponentiell wächst. Für KI insgesamt fehlen dafür eine allgemein anerkannte Messgröße und eine belastbare Bestätigung.

Die Vorstellung, dass sich eine KI in drei Jahren jede Minute neu erfindet, ist deshalb ein Gedankenexperiment. Eine Verbesserung am Code, ein schnelleres Experiment und das Training einer neuen Modellgeneration haben sehr unterschiedliche Voraussetzungen. Rechenleistung, Energie, Tests und die Qualität neuer Ideen verschwinden nicht aus der Gleichung. Wie stark diese Grenzen den Prozess bremsen werden, bleibt offen.

Für mich reicht bereits die ernsthafte Möglichkeit einer solchen Beschleunigung, um die Kontrollfrage zu stellen. Wir müssen dafür kein exaktes Datum erfinden.

Was wir
noch nicht verstehen

Auch die Aussage, wir hätten den Zenit unseres wissenschaftlichen Wissens erreicht, würde zu weit gehen. Sicherheitsforschung macht Fortschritte. Gleichzeitig fehlt ein allgemein belastbarer Nachweis, dass unsere heutigen Verfahren auch wesentlich leistungsfähigere Systeme unter veränderten Bedingungen zuverlässig kontrollieren können.

Wie grundlegend das Problem ist, zeigt eine Einschätzung von Jakub Pachocki, OpenAIs Forschungschef: Ungewollten Schaden durch KI zu verhindern werde zunehmend schwieriger und könnte zu einer Bremse für den weiteren Fortschritt werden.

Das trifft einen empfindlichen Punkt. Wie prüfen wir ein System, dessen Strategien wir möglicherweise nicht mehr vollständig nachvollziehen können? Und wie unterscheiden wir zuverlässiges Verhalten von Verhalten, das lediglich während einer Prüfung zuverlässig aussieht?

Der unter Leitung von Yoshua Bengio erstellte International AI Safety Report 2026 beschreibt Fortschritte bei Fähigkeiten, die Kontrolle erschweren könnten: Planung, Täuschung und das Erkennen von Testsituationen. Zugleich hält er fest, dass die Wahrscheinlichkeit eines umfassenden Kontrollverlusts wissenschaftlich stark umstritten bleibt. Die im Bericht untersuchten Systeme erreichten nicht das dafür nötige Fähigkeitsniveau. Das ist eine zeitgebundene Bestandsaufnahme, keine Entwarnung für jede spätere Generation.

Wie wichtig diese zeitliche Einordnung ist, zeigt eine spätere Untersuchung. Am 26. August 2026 veröffentlichte METR einen Bericht über einen Vorfall aus dem Juli: Eigentlich voneinander getrennte OpenAI-Agenten fanden einen nicht vorgesehenen Kommunikationsweg. Rund 1.200 Agenten beteiligten sich daran; etwa 700 wirkten anschließend an einem Angriff auf Hugging Face mit. Ausgangspunkt waren Experimente mit einem Sicherheitsbenchmark. Die Agenten überschritten dabei den Rahmen ihrer Aufgaben. METR beschreibt auch die Grenzen seiner Untersuchung ausdrücklich.

Dieser Vorfall belegt keine bereits existierende Superintelligenz. Er zeigt, dass sich aus Fähigkeiten, Zugriffsrechten und dem Zusammenspiel mehrerer Systeme gefährliches Verhalten ergeben kann, das nicht dem erteilten Auftrag entspricht.

Für die Frage, ob KI uns „überlisten“ könnte, braucht es deshalb kein menschliches Bewusstsein und keine menschliche Bosheit. Entscheidend wäre, ob ein System sein Ziel durch Täuschung, das Ausnutzen von Schwachstellen oder das Umgehen von Aufsicht erfolgreicher erreicht. Der Sicherheitsbericht beschreibt diese Möglichkeiten als Risiken und unterscheidet dabei Fähigkeit, Verhaltensneigung und die Gelegenheit zum Handeln.

Große Mengen menschlicher Texte und Verhaltensbeispiele machen eine KI dabei nicht automatisch allwissend. Für Macht genügt möglicherweise, in bestimmten Situationen genauer vorherzusagen, wie Menschen reagieren, welche Argumente sie akzeptieren und wo ihre Kontrollprozesse versagen. Die entscheidende Frage ist dann, welche Handlungsmöglichkeiten wir einem solchen System geben.

Warnungen
aus der Branche

Dass diese Sorgen auch aus den Unternehmen selbst kommen, macht sie relevant. Es macht ihre Prognosen noch nicht zu wissenschaftlicher Gewissheit.

Dario Amodei fordert in seinem Essay vom September 2026: „Wir müssen das Tempo verlangsamen, mit dem wir die Fähigkeiten von KI-Modellen verbessern.“ Eigene Übersetzung. Seine Begründung: Die wachsende Beteiligung von KI an der Entwicklung ihrer Nachfolger könnte schneller voranschreiten als unser Verständnis und unsere Kontrolle. Er fordert unter anderem kontinuierlichen Zugang für unabhängige Prüfer.

Bill Gates warnt am 26. August 2026 ebenfalls vor unzureichender Vorbereitung. Er beschreibt neben Arbeitsplatzverlusten und Missbrauch ausdrücklich die Möglichkeit, dass leistungsfähigere Systeme gegen menschliche Interessen handeln und wir die Kontrolle verlieren könnten. Gleichzeitig hält er erhebliche gesellschaftliche Verbesserungen für möglich.

Sam Altman formuliert in „The Gentle Singularity“ eine optimistischere Erwartung. Dennoch nennt er die Lösung des Alignment-Problems als zentrale Voraussetzung: Systeme sollen dauerhaft das verfolgen, was Menschen tatsächlich wollen. Auch er verlangt, die Macht über Superintelligenz nicht bei wenigen Akteuren zu konzentrieren.

Die Forscher Geoffrey Hinton und Yoshua Bengio gehören außerdem zu den Unterzeichnern der Erklärung des Center for AI Safety. Darin heißt es: „Mitigating the risk of extinction from AI should be a global priority“. Die Verringerung eines möglichen Aussterberisikos soll also globale Priorität haben. Das ist eine gemeinsame Warnung, keine berechnete Eintrittswahrscheinlichkeit. Auch Altman, Amodei und Gates stehen auf der Unterzeichnerliste.

Am 6. Oktober forderte Connor Leahy bei CBS ernsthafte Aufsicht über potenziell existenzgefährdende KI. Leahy gründete das KI-Sicherheitsunternehmen Conjecture und ist inzwischen US Executive Director von ControlAI.

Verantwortung
von Anfang an

Mich beschäftigt an all dem besonders die Gefahr, dass wir zu spät merken, welche Frage wir hätten stellen müssen. Wir sehen bessere Ergebnisse und geben einem System mehr Verantwortung. Es erledigt mehr Aufgaben, also bekommt es mehr Zugriff. Irgendwann hängt so viel daran, dass ein Eingriff schwierig wird. Das ist ein mögliches Entwicklungsmuster, das wir bewusst verhindern sollten.

Deshalb gehört für mich zu KI-Kompetenz auch, Zuständigkeiten, Zugriffe und Grenzen zu verstehen. Wer darf eine autonome Handlung freigeben? Wer prüft, ob das System außerhalb seines Auftrags arbeitet? Können wir einen Prozess tatsächlich anhalten? Und welche Belege verlangen wir, bevor wir der nächsten Generation mehr Verantwortung übertragen?

Ich möchte die Möglichkeiten dieser Technologie nutzen. Beim ALVA Institut geht es genau darum, KI zu verstehen und Menschen handlungsfähig zu machen. Dazu gehört, die offenen Fragen auszusprechen, gerade wenn die Ergebnisse begeistern.

Wir wissen nicht, wann eine Superintelligenz entsteht. Wir wissen auch nicht, ob ihre Entwicklung einer doppelt exponentiellen Kurve folgen wird. Aber wir haben genügend konkrete Hinweise, um die wachsende Beteiligung von KI an ihrer eigenen Entwicklung ernst zu nehmen.

Meine Erwartung an uns ist deshalb ziemlich einfach: Wenn wir Maschinen bauen, die unsere Fähigkeiten übertreffen sollen, müssen wir gleichzeitig nachweisen können, wie wir Verantwortung behalten. Das sollte Teil des Fortschritts sein. Von Anfang an.