Wie Maschinen lernen

Lernen heißt, Fehler zu verkleinern

Ein Modell ist eine Rechenvorschrift mit einstellbaren Zahlen, den Gewichten. Im Training bekommt es Beispiele, vergleicht seine Ausgabe mit der richtigen Antwort und berechnet daraus eine Fehlerzahl, den Verlust. Ein Rechenverfahren, der Gradientenabstieg, verschiebt dann jedes Gewicht ein kleines Stück in die Richtung, in der der Verlust sinkt. Das wiederholt sich, bis er nicht weiter fällt.5, 6

Drei Arten des Lernens werden unterschieden. Beim überwachten Lernen liegt zu jedem Beispiel die richtige Antwort vor, etwa ein Röntgenbild mit Befund. Beim unüberwachten Lernen sucht das Modell selbst nach Mustern. Beim bestärkenden Lernen probiert ein System Handlungen aus und bekommt Belohnungen; für die Grundlagen dieses Verfahrens erhielten Andrew Barto und Richard Sutton den Turing-Preis 2024. So werden auch heutige Sprachmodelle nachtrainiert.7, 8, 9, 10

Alte Ideen, späte Wirkung

Frank Rosenblatt beschrieb 1958 das Perzeptron, ein Netz aus neuronenähnlichen Einheiten. 1986 veröffentlichten David Rumelhart, Geoffrey Hinton und Ronald Williams die Rückpropagierung, mit der sich auch Netze aus mehreren Schichten trainieren lassen.1, 2 Den Durchbruch in der Bilderkennung brachte 2012 ein Netz mit 60 Millionen Gewichten, trainiert mit Grafikprozessoren auf 1,3 Millionen Bildern. In einer Fassung mit zusätzlichen Trainingsbildern gewann es den Wettbewerb ImageNet. Nur bei 15,3 % der Testbilder fehlte die richtige Antwort unter seinen fünf wahrscheinlichsten, beim Zweitplatzierten bei 26,2 %.11, 12

Für grundlegende Entdeckungen, die maschinelles Lernen mit künstlichen neuronalen Netzen ermöglichen, erhielten John Hopfield und Geoffrey Hinton 2024 den Nobelpreis für Physik. Genannt sind Hopfields Netz, das Muster speichern und wiederherstellen kann, und Hintons Boltzmann-Maschine, die aus Beispielen lernt.13 Die Hälfte des Chemie-Nobelpreises ging an Demis Hassabis und John Jumper für die Vorhersage von Proteinstrukturen mit dem KI-Modell AlphaFold, die andere Hälfte an David Baker für computergestütztes Proteindesign.14

Seit Anfang der 2010er-Jahre verdoppelte sich die Rechenmenge für das Training bemerkenswerter Modelle etwa alle sechs Monate, vorher etwa alle 20 Monate (Vorabdruck von 2022).15 Richard Sutton formulierte 2019 in einem Essay die viel zitierte „bittere Lehre“. Nach seiner These setzten sich in 70 Jahren KI-Forschung allgemeine Methoden, die mit der Rechenleistung wachsen, auf Dauer gegen eingebautes Fachwissen durch. Der Essay deutet die Forschungsgeschichte; eine empirische Prüfung enthält er nicht.16

Was ein Sprachmodell tut

Ein Sprachmodell ist ein großes neuronales Netz in der Bauweise Transformer. Es zerlegt Text in Tokens, Wortstücke von im Englischen grob vier Zeichen.17 Für jedes mögliche nächste Token berechnet es eine Wahrscheinlichkeit. Ein Token wird gezogen und angehängt, dann beginnt der Schritt von vorn; eine Antwort aus einigen Hundert Wörtern braucht entsprechend viele Durchläufe durch alle Schichten des Netzes.4, 18

Vom Textvervollständiger zum Assistenten

Im Vortraining lernt das Modell an Billionen Tokens aus Netz, Büchern und Code, Text fortzusetzen; DeepSeek-V3 etwa sah 14,8 Billionen Tokens.18, 20 Danach wird es nachtrainiert, zuerst mit Beispielantworten, dann mit bestärkendem Lernen aus menschlichen Bewertungen. Bei OpenAIs InstructGPT zogen Bewerter die Antworten eines so nachtrainierten Modells mit 1,3 Milliarden Gewichten denen des hundertmal größeren GPT-3 vor.9

Seit 2024 lernen Denkmodelle per bestärkendem Lernen, vor der Antwort einen Lösungsweg zu erzeugen, die Gedankenkette. Ihre Leistung steigt mit der Rechenzeit, die sie zum Nachdenken bekommen.10, 21 KI-Agenten gehen einen Schritt weiter und bedienen Software selbst. Im Test OSWorld, in dem Aufgaben am Computer zu erledigen sind, erreichte das beste System 2025 eine Erfolgsquote von 66,3 %, Menschen 72,4 %; in strukturierten Tests scheitern Agenten noch an etwa jedem dritten Versuch.22

Wer die Modelle baut

2025 stammten über 90 % der bemerkenswerten Modelle aus der Industrie, 59 aus den USA und 35 aus China.23 Im März 2026 lagen die besten Modelle von Anthropic, xAI, Google und OpenAI in der Nutzerbewertung der Plattform LMArena innerhalb von 25 Punkten. Das beste chinesische Modell lag 2,7 % hinter dem besten US-Modell, das beste offene Modell 3,3 % hinter dem besten geschlossenen.22

Am 15. Oktober 2026 führten in dieser Rangliste, die inzwischen Arena heißt, Gemini 4 Argon von Google (vorläufig gewertet), Muse Wonder von Meta und Claude Opus 5.5 von Anthropic. Die Abstände an der Spitze lagen innerhalb der Messunsicherheit. OpenAI hatte am 7. Oktober GPT-6 eingeführt.24, 25 Die bestplatzierten offenen Modelle kommen aus China. In Europa kündigte Mistral AI im Oktober 2026 Mistral Large 4 mit offenen Gewichten an, das EU-Projekt OpenEuroLLM hat ein erstes experimentelles Basismodell mit 9 Milliarden Gewichten veröffentlicht.26, 27

Nach Schätzungen des Forschungsinstituts Epoch AI wächst die Rechenmenge für das Training führender Modelle seit 2020 um etwa das Fünffache pro Jahr, die Kosten um das 3,5-Fache. Eine andere Schätzung kommt für 2016 bis 2024 auf einen Kostenanstieg um das 2,4-Fache pro Jahr (beide nicht begutachtet).28, 29 In den drei Jahren bis Anfang 2025 fiel der Preis, um ein festes Leistungsniveau zu erreichen, je nach Schwelle um das 9- bis 900-Fache pro Jahr.30 Die führenden Labore veröffentlichen Gewichtszahl, Datenmenge und Trainingsdauer ihrer stärksten Modelle nicht mehr.23

Wie günstig sich ein starkes Modell nachtrainieren lässt, zeigt eine Angabe von DeepSeek. Das Training des Denkmodells R1 auf seinem Grundmodell kostete nach Firmenangabe rund 294.000 US-Dollar Rechenmiete. Für das Grundmodell DeepSeek-V3 nennt die Firma 2,788 Millionen Grafikprozessor-Stunden, mit demselben Mietansatz gerechnet rund 5,6 Millionen US-Dollar (eigene Rechnung). Forschung, Personal und Hardware sind in beiden Zahlen nicht enthalten.31, 20