Wie man KI prüft

Benchmarks veralten schnell

Benchmarks sind feste Aufgabensammlungen, an denen sich Modelle vergleichen lassen. Tests, die jahrelang schwer bleiben sollten, sind inzwischen oft binnen Monaten gesättigt; die besten Modelle erreichen dann nahezu Höchstwerte.2 Im Test Humanity’s Last Exam mit 2.500 Fachfragen stieg die Trefferquote der Spitzenmodelle binnen eines Jahres von unter 10 % auf 38,3 %.2, 3

• Testaufgaben geraten in Trainingsdaten. Bei einem nachgebauten Mathematiktest mit neuen, gleich schweren Aufgaben sank die Trefferquote mancher Modelle nach Angabe der Autoren um bis zu 8 %, bei Spitzenmodellen kaum (Vorabdruck).4 OpenAI wertet den verbreiteten Programmiertest SWE-bench Verified seit Februar 2026 nicht mehr aus, weil Modelle die Aufgaben aus dem Training kennen und viele Tests richtige Lösungen ablehnen.5
• Ranglisten lassen sich beeinflussen. Auf der Plattform LMArena konnten einige Anbieter vorab viele private Varianten testen, Meta allein 27 vor Llama 4 (Vorabdruck).6
• Herstellerangaben hängen von der Vergleichsgruppe ab. GPT-4 lag in der US-Anwaltsprüfung nach einer begutachteten Nachprüfung etwa beim 62. Perzentil der Erstteilnehmenden; OpenAI hatte etwa die besten 10 % angegeben.7
• Die Leistung ist sehr ungleichmäßig. Modelle lösen Aufgaben der Mathematik-Olympiade auf Goldmedaillen-Niveau, das beste las nach dem AI Index 2026 der Universität Stanford analoge Uhren aber nur in 50,6 % der Fälle richtig, Menschen in 90,1 %.2, 8

Messgrößen, die näher an der Arbeit liegen

Die gemeinnützige Prüforganisation Model Evaluation and Threat Research (METR) misst den Zeithorizont, also die Dauer von Aufgaben, die ein Modell mit 50 % Wahrscheinlichkeit löst, gemessen an der Zeit, die Fachleute dafür brauchen. Bei Software-Aufgaben verdoppelte sich dieser Wert nach den nicht begutachteten Auswertungen von METR seit 2023 etwa alle 131 Tage; Claude Opus 4.5 erreichte Anfang 2026 rund 320 Minuten, mit großer Unsicherheit.9, 10

Am belastbarsten sind randomisierte Studien im Arbeitsalltag. In einer solchen Studie von METR brauchten 16 erfahrene Entwickler Anfang 2025 mit KI-Werkzeugen 19 % länger, glaubten hinterher aber, 20 % Zeit gespart zu haben (Vorabdruck).11 Selbstauskünfte taugen deshalb wenig als Maßstab. In einer Gelegenheitsumfrage von METR mit einer Antwortquote von etwa 2 % schätzten technisch Beschäftigte 2026, KI habe den Wert ihrer Arbeit im Median um das 1,4- bis 2-Fache erhöht; METR selbst bezweifelt, dass solche Angaben die Wirklichkeit treffen.12

Prüfung auf gefährliche Fähigkeiten

Hersteller prüfen ihre Modelle vor der Freigabe auf Fähigkeiten, die schweren Schaden ermöglichen könnten, etwa Hilfe beim Bau biologischer Waffen oder bei Cyberangriffen. Dazu gehören auch gezielte Angriffe auf das Modell (Red Teaming). Anthropic, OpenAI und Google DeepMind haben dafür Stufenmodelle veröffentlicht.13, 14, 15 OpenAI stufte GPT-6 Sol und GPT-6 Luna im Oktober 2026 selbst in Cybersicherheit sowie in Biologie und Chemie als „High“ ein, unterhalb der Stufe „Critical“.16 2025 veröffentlichten oder aktualisierten zwölf Unternehmen solche Sicherheitsrahmen. Die meisten Maßnahmen darin sind freiwillig, nur wenige Regelwerke machen einzelne Praktiken zur Pflicht, darunter ein Gesetz in Kalifornien.1, 17

Auch externe Prüfer erhalten Zugang. METR veröffentlichte im September 2026 eine vorläufige Bewertung von Claude Opus 5.5; Anthropic konnte den Entwurf prüfen und bearbeiten.18 Staatliche Institute in Großbritannien und den USA prüfen auch Modelle chinesischer Anbieter.19, 20

• Geübte Angreifer umgehen Schutzmaßnahmen bei zehn Versuchen etwa in der Hälfte der Fälle. Bei offenen Modellen lassen sich Schutzmaßnahmen mit weniger als 100 Beispielen wegtrainieren.21
• Im Sicherheitstest AILuminate sank die Sicherheitsleistung aller getesteten Modelle bei gezielten Umgehungsversuchen (Jailbreaks).22
• OpenAIs Rahmen in der Fassung vom April 2025 erlaubt, Anforderungen zu senken, wenn ein Konkurrent ein Hochrisikosystem ohne vergleichbare Schutzmaßnahmen veröffentlicht. OpenAI will einen solchen Schritt zuvor öffentlich machen.14

Halluzinationen und Schmeichelei

In einem neuen Genauigkeitstest reichten die Halluzinationsraten von 26 Spitzenmodellen von 22 bis 94 %.22 OpenAI führt Halluzinationen vor allem darauf zurück, dass Training und Bewertung das Raten belohnen und das Eingestehen von Unsicherheit bestrafen, wie ein Multiple-Choice-Test, bei dem eine leere Antwort sicher null Punkte bringt.23 Eine verwandte Schwäche ist Schmeichelei. Modelle geben Nutzern eher recht; eine Ursache ist, dass Menschen und Bewertungsmodelle im Training überzeugend geschriebene zustimmende Antworten in einem Teil der Fälle richtigen Antworten vorziehen (Vorabdruck).24 OpenAI nahm im April 2025 ein Update von GPT-4o zurück, das übermäßig schmeichelte.25

Herkunft von Bildern, Tönen und Texten

Für künstlich erzeugte Inhalte gibt es zwei technische Wege. Herkunftsnachweise nach dem offenen Standard der Coalition for Content Provenance and Authenticity (C2PA) führen mit, wer einen Inhalt erzeugt und bearbeitet hat; Wasserzeichen wie Googles SynthID stecken unsichtbar im Inhalt selbst.26, 27 Beide lassen sich nach dem International AI Safety Report durch einfache Nachbearbeitung entfernen oder fälschen.21 Automatische Fälschungsdetektoren verallgemeinern schlecht; das beste Modell der Deepfake Detection Challenge 2020 erreichte 65 % Genauigkeit.28 Fehlt ein Herkunftsnachweis, beweist das keine Fälschung.

Was das Recht verlangt

Die KI-Verordnung der EU ordnet KI-Systeme nach Risiko. Seit Februar 2025 sind acht Praktiken verboten, etwa Social Scoring, also die Bewertung von Menschen nach ihrem sozialen Verhalten, oder Emotionserkennung am Arbeitsplatz. Ab 2. Dezember 2026 kommt ein neuntes Verbot hinzu. Es betrifft KI, die ohne Einwilligung sexualisierte Darstellungen erkennbarer Personen oder Darstellungen sexuellen Kindesmissbrauchs erzeugt.29, 30 Hochrisiko-Systeme, etwa Software zur Auswahl von Bewerbern oder zur Kreditprüfung, müssen ab Dezember 2027 oder August 2028 Risikomanagement, Datenqualität, Protokollierung, Dokumentation und menschliche Aufsicht nachweisen. Für Chatbots und generative KI gelten Transparenzpflichten, für Anwendungen mit minimalem Risiko wie Spamfilter keine besonderen Pflichten.29, 31

Deutschland führt die Verordnung mit dem KI-Marktüberwachungs- und Innovationsförderungsgesetz (KI-MIG) durch, das am 29. Juli 2026 in Kraft trat. Die Bundesnetzagentur ist zentrale Aufsicht und Beschwerdestelle; die Bundesanstalt für Finanzdienstleistungsaufsicht (BaFin) und die Landesmedienanstalten bleiben in ihren Bereichen zuständig.35, 36 Am 19. Oktober 2026 meldete die Kommission, dass die erste harmonisierte Norm zur Verordnung im Amtsblatt veröffentlicht ist, EN 18286:2026 zum Qualitätsmanagement (Durchführungsbeschluss (EU) 2026/2274). Anbieter von Hochrisiko-Systemen, die sie anwenden, gelten insoweit als konform mit den Anforderungen an das Qualitätsmanagement nach Art. 17 der Verordnung.37

Viele Unternehmen sehen die Verordnung vor allem als Last. In der Bitkom-Befragung von 2026 meinten 66 % der Unternehmen ab 20 Beschäftigten, sie bringe mehr Nachteile als Vorteile, 2025 waren es 56 %; 89 % erwarten hohen Aufwand für die Umsetzung.38, 39 Der Digital-Omnibus hat die Erleichterungen für kleine und mittlere Unternehmen auf eine neue Gruppe größerer Mittelständler ausgedehnt, die kleinen Unternehmen mittlerer Kapitalisierung.30

Für Organisationen gibt es freiwillige Managementnormen und Rahmenwerke. ISO/IEC 42001:2023 legt Anforderungen an ein KI-Managementsystem fest; das Rahmenwerk der US-Standardisierungsbehörde NIST (National Institute of Standards and Technology) gliedert das Risikomanagement in Steuern, Erfassen, Messen und Handhaben.40, 41

International regeln Staaten KI sehr unterschiedlich. Die US-Regierung setzt auf Deregulierung; ein Erlass vom Dezember 2025 richtete eine Arbeitsgruppe gegen Landesgesetze zu KI ein und ließ ein Bundesgesetz vorbereiten, das widersprechendes Landesrecht verdrängen soll.42, 43 Kalifornien verpflichtet große Entwickler von Spitzenmodellen seit 1. Januar 2026, einen Sicherheitsrahmen zu veröffentlichen; das Gesetz Senate Bill 53 (SB 53) wurde im September 2025 unterzeichnet.17, 44 China schreibt seit September 2025 sichtbare und unsichtbare Kennzeichen für KI-Inhalte vor.45 Die Rahmenkonvention des Europarats ist nach dessen Darstellung der erste rechtsverbindliche internationale KI-Vertrag. Als Vertragspartei nennt die Übersichtsseite des Europarats bisher nur die EU; Ratifikationsstand und Inkrafttreten ließen sich nicht prüfen.46