Ein kurzer Überblick über KI-Halluzinationen als Problem für die KI-Anwendung und mögliche Gegenmittel. Ganz am Schluss ein Lob der Halluzination.
Die heimtückischsten Antworten, die KI gibt, sind ohne Spur von Zweifel vorgetragene falsche Aussagen, die unbedarfte Nutzer sicher narren. Dafür hat sich der Begriff „Halluzination“ eingebürgert. In einer Umfrage unter KI-Anwendern der Stanford University aus dem Jahr 2026 wird Halluzination als zweitgrößtes KI-Problem nach Daten-Sicherheit bewertet.
KI-Halluzinationen messen
Empirisch erfasst man dieses Phänomen über Halluzinationsraten. Allerdings gibt es unterschiedliche Metriken, zudem hängt das Ergebnis sehr stark von der Aufgabenstellung und einer Vielzahl weiterer Variablen ab, so dass ein Vergleich zwischen KI-Modellen nur sinnvoll ist, wenn einheitliche Bedingungen gegeben sind. Dafür verwendet man spezielle Benchmarks wie das Hughes Hallucination Evaluation Model (HHEM) oder die AA-Omniscience-Hallucination Rate.
Hughes Hallucination Evaluation Model
Vectara entwickelte das Hughes Hallucination Evaluation Model (HHEM). Wir beschränken uns auf das neue, seit Ende 2025 im Einsatz befindliche Benchmark-Modell „HHEM 2.1 / 2.3 Basis“, das die Halluzinations-Neigung bei der Zusammenfassung von langen und komplexen Fach-Dokumenten aus unterschiedlichen Wissensdisziplinen – darunter sind auch Finanzberichte – in 11 Sprachen erfasst.
Das Vorliegen einer Halluzination wird im HHEM über eine Wahrscheinlichkeitsfunktion und einen Schwellenwert errechnet (weiterführende Informationen dazu >>).
Die Werte in unserer HHEM-Grafik geben den Prozentsatz der Halluzinationen bezogen auf alle Antworten der KI an. Die Bandbreite der Halluzinationsraten bei der Aufgabe, komplexe Fachdokumente zusammenzufassen, liegt für eine lange Liste von KI-Modellen zwischen 1,8 (finix_s1_32b) und 24,2 (ministral-3b-2512) Prozent. Die Halluzinationsraten von 7 bekannten und vielgenutzten Modellen, die wir in unserer Grafik abbilden, liegen um 10 Prozent und damit im Mittelfeld der großen KI-Modelle.
Die Halluzinationsraten bei der Zusammenfassung von Finanzberichten reichen im KI-Modell-Ranking von 1,18 bis 23,4 Prozent, in der Auswahl unserer Grafik von 14 bis 22 Prozent. Die Halluzinationsrate bei Zusammenfassung von Dokumenten zu Aktien beträgt 2,68 bis 29,1 Prozent, in unserer Grafik 9 bis 17 Prozent.
Auf der Leaderbord-Plattform huggingface (oben rechts) kann man unter „Data Slice“ ein Ranking der fachbereichsspezifischen Halluzinationsraten abrufen.
AA-Omniscience
Die AA-Omniscience-Benchmark von Artificial Analysis (AA) bewertet auf Basis von 6.000 Fragen aus sechs Disziplinen Fachwissen. Die Aufgaben sind entsprechend schwierig und von Laien kaum zu beantworten.
Der Ansatz differenziert Antworten in korrekte Antworten (c) und nicht vollständig korrekte Antworten. Letztere werden in partiell korrekte Antworten (p), in falsche Antworten (i) und in verweigerte bzw. abstinente Antworten (a) unterteilt.
AA-Omniscience bildet nun drei Indizes: Den Akkuratheits-Index, den Halluzinations-Index und den Omni-Index.
Der Accuracy Index (Acc-Index) misst die klassische Trefferquote: (vollständig) richtige Antworten bezogen auf alle Antworten: c/(c+p+i+a).
Der Halluzinations-Index misst den Anteil der falschen Antworten (i) bezogen auf alle Antworten, die nicht vollständig korrekt waren: i/(p+i+a). Eine Halluzinationsrate von 50 besagt hier also, dass die Hälfte aller nicht korrekten Antworten Halluzinationen sind. Das ist anders als bei der HHEM-Rate, die die Halluzinationen als Anteil an allen Antworten berechnet.
Der Omni-Index belohnt korrekte Antworten und bestraft die falschen. Er bezieht die korrekten Antworten minus die falschen Antworten auf die Anzahl aller Antworten, d.h. 100x(c-i)/(c+p+i+a). Der Index reicht also theoretisch von -100 bis 100.
Die Bewertungsergebnisse sind auf der Plattform von AA-Omniscience einsehbar.
Bei 26 untersuchten Modelle reichten die Omni-Halluzinationsraten von 22 bis 94 Prozent. Unsere Grafik AA-Omniscience präsentiert die Omni-Werte für einige der neueren KI-Modelle.
Maßnahmen gegen Halluzinationen
Privatnutzer: Halluzinationen einfach erkennen
Die erste Maßnahme ist eine gesunde, aber aktive Skepsis gegenüber KI-Antworten: Einfache Maßnahmen sind nach einer KI-Antwort: Quellen und Links als Belege einfordern (auch bei solchen Quellen halluziniert KI gerne, man sollte sie daher prüfen); Eigenprüfung durch die KI in einem neuen Chat; Aufstellung der Gegenthese; Kontrolle einfach überprüfbarer Ergebnisse durch konventionelle Suchmaschinen.
Privatnutzer: Halluzinationen einfach reduzieren
Zu den einfacheren Maßnahmen der Reduzierung für Privatnutzer gehören verschiedenste Eingaben- bzw. Prompting-Strategien, wie etwa: auf Präzision der Formulierung und Kontext bei Eingabe achten; Quellenangabe schon bei erster Eingabe fordern; Aufforderung, dass KI bei unsicherem Wissen dies zugesteht; KI soll die Antwort Schritt für Schritt und begründet geben. Nützlich ist auch, Web-Suche-Tools zu verwenden, sofern die KI welche bereitstellt, oder auch eigene Quellen und Dokumente einzubinden.
Finanzdienstleister
Im Finanzsektor können KI-Halluzinationen zu weitreichenden Fehlentscheidungen führen, mit, auch haftungsbedingt, hohen finanziellen Verlusten. Allerdings stehen im Profibereich auch ganz andere Möglichkeiten zur Verfügung. Wesentlich ist dabei, dass KI eingebettet wird in ein umfassendes System von automatisierten Tools, proprietären Datenbanken und menschlichen Experten.
Finanzprofis: Halluzinationen komplex erkennen
Möglichkeiten der Prüfung von Antworten sind beispielsweise: technische Überwachung und automatisierter Abgleich der KI-Ergebnisse mit Datenbanken; Unabhängiger Einsatz von zwei oder mehr KI-Modellen für eine Aufgabe; Beschränkung des zulässigen Wertebereichs durch Grenzwerte; Stichprobenkontrolle durch menschliche Experten.
Finanzprofis: Halluzinationen komplex reduzieren
Um das Risiko von Halluzinationen von vornherein zu minimieren, verwenden Unternehmen eine Vielzahl von Strategien, wie etwa:
Einsatz von KI-Modellen, die speziell auf Finanzanforderungen trainiert wurden, wobei die Differenz zu den generellen KI-Modellen so groß nicht sein soll.
Nullsetzung des sogenannten Temperatur-Parameters; das unterdrückt die Kreativität bzw. Erfindungsneigung der KI (abgeschwächt geht das auch über eine entsprechende Eingabeaufforderung).
Den wichtigsten Beitrag zur Halluzinations-Reduzierung soll jedoch gerade im Finanzbereich der Einsatz „proprietärer RAG-Systeme“ leisten: Dabei greift die KI nicht auf ihr eigenes allgemeines „Weltwissen“ zurück, sondern nur auf Informationen jener Datenbanken, die das Unternehmen als zulässig definiert bzw. zur Verfügung stellt (Retrieval-Augmented Generation, RAG). Allerdings sind selbst bei korrekter Datenbank Suchfehler (Retrievel Failure) möglich.
Schluss
Die Frage ist: Wie stark kann man Halluzination reduzieren? Es ist schwierig, dies generell zu beantworten. Aber eine Kombination der angedeuteten wie auch anderer Maßnahmen kann die Halluzinationsrate des Systems, in das Large Language Models (LLMs) eingebettet sind, deutlich bis massiv senken. Das mit dem „System“ bedarf noch einer kurzen Erläuterung.
Wichtig ist: Eine vollständige Eliminierung der Halluzination (0% Fehlerquote) ist für LLM-Modelle nicht möglich. Begründet wird dies mit der Natur des für LLM bzw. generative KI fundamentalen statistischen Schließens.
Noch wichtiger ist jedoch: KI operiert im Rahmen eines soziotechnischen Systems (STS). Und das ist letztlich die entscheidende Einheit, auf deren Output es ankommt.
Das STS ist einerseits mit einer mächtigen artifiziellen Komponente, dem KI-System, ausgestattet. Dieses beinhaltet den KI-Kern (das KI-Modell) und die KI-Architektur, d.h. Tools usw. drumherum. Andrerseits enthält das STS eine menschliche Komponente (Human in the Loop), die wir hier Menschenschleife nennen wollen.
Die Halluzinationsrate ist stark abhängig von der Leistung des STS aus KI-System und Menschenschleife.
Unter bestimmten Umständen ist es wohl in einfachen Fällen möglich, dass die artifizielle Komponente, also das KI-System, die Halluzination auf null reduzieren kann, wobei der KI-Kern naturgemäß weiter halluziniert. In der Regel bauen aber Unternehmen an verschiedenen Stellen des STS auch Menschenschleifen ein, um die Halluzinationsrate des Gesamtsystems weiter zu reduzieren.
KI-Kerne halluzinieren, wie gesagt, konstruktionsbedingt. Suggeriert wird häufig, dass das beim Menschen anders sei. Aber auch der Mensch halluziniert im Standardbetrieb recht gerne. Das wird verständlicher, wenn man den Menschen als Bayesschen Lerner modelliert, denn dann unterliegt er ebenfalls Gesetzen des stochastischen Schließens.
Der KI-Denker Sebastian Barros entfaltet in dem arXiv-Papier „I Think, Therefore I Hallucinate: Minds, Machines, and the Art of Being Wrong” folgende Hypothese, die wir als Schlusssatz zur Anregung so stehen lassen wollen: „Halluzinationen sind ein inhärentes Merkmal von Intelligenz, das auf natürliche Weise in jedem System – ob biologisch oder künstlich – auftritt, das Vorhersagen trifft, verallgemeinert und aus unvollständigen Daten Bedeutung ableitet.“
