Ursprünglich von PwC am 25. Februar 2026 veröffentlicht
Warum entstehen Halluzinationen in LLMs, und warum ist der Umgang mit ihnen für die sichere Einführung von KI unerlässlich?
Einer der zentralen Begriffe in der Diskussion über generative künstliche Intelligenz (GenAI) ist die Halluzination. Formal versteht man darunter die Erzeugung von sachlich falschen, inkohärenten oder vom Kontext losgelösten Informationen, die plausibel und mit scheinbarer Gewissheit präsentiert werden. Halluzinationen sind im Alltag von Menschen und Systemen, die mit großen Sprachmodellen (Large Language Models, LLMs) arbeiten, häufig anzutreffen.
Warum treten Halluzinationen in LLMs auf?
Die grundlegende Ursache ist, dass LLMs statistische Algorithmen und keine Wahrheitsmaschinen sind. Ihr Ziel ist es, anhand statistischer Muster in großem Maßstab das wahrscheinlichste nächste Wort einer Sequenz vorherzusagen. Sie wurden nicht dafür entwickelt, Fakten anhand einer externen, dynamischen Wahrheitsgrundlage zu überprüfen. Die Plausibilität einer Halluzination bedeutet ironischerweise, dass das Modell sein Ziel erreicht, flüssigen Text zu erzeugen.
„Halluzinationen in GenAI sind keine gelegentlichen Fehlleistungen, sondern tatsächlich eine unvermeidliche Folge von LLMs. Die Herausforderung besteht nicht mehr darin, sie zu beseitigen, sondern das Risiko zu steuern und jede Antwort in überprüfbaren Fakten zu verankern.“
Ricardo Pacheco Almeida, AI Tech Lead bei PwC Portugal
Als eine der wesentlichen Einschränkungen der Technologie sind Halluzinationen ein beliebter Gegenstand wissenschaftlicher Untersuchungen. Nach heutigem Konsens ist ein ideales LLM ohne Halluzinationen unerreichbar. Das liegt an verschiedenen Faktoren: zum Beispiel an theoretischen Grenzen, an Wissenslücken, die ein endliches Modell nicht durch Lernen an sich schließen kann; daran, dass die Modellarchitektur auf Kohärenz und nicht auf Überprüfung ausgelegt ist; und daran, dass Bewertungssysteme das „Raten“ belohnen, ohne Unsicherheit zu bestrafen.
Arten von Halluzinationen in generativer KI (intrinsisch vs. extrinsisch)
Es gibt zwei Hauptarten von Halluzinationen: intrinsische und extrinsische. Diese beiden Arten zu verstehen, ist unerlässlich, um die Zuverlässigkeit der von KI-Modellen erzeugten Antworten richtig einzuschätzen.
Intrinsische Halluzination
Eine intrinsische Halluzination liegt vor, wenn die Antwort den im Kontext bereitgestellten Informationen direkt widerspricht. Wenn ein Dokument beispielsweise ein Budget von 5M€ angibt, ist die Aussage des Modells, „das Budget betrug 8M€“, eine intrinsische Halluzination.
Extrinsische Halluzination
Eine extrinsische Halluzination liegt vor, wenn das Modell neue Informationen einführt, die anhand des Kontexts nicht überprüft werden können. Im selben Beispiel wäre das die Aussage des Modells: „Das Budget betrug 5M€ und wurde am 10. Juli von der Geschäftsleitung genehmigt.“ Das Datum ist eine plausible, aber unbegründete Erfindung.
Auswirkungen von Halluzinationen auf Unternehmen und kritische Branchen
Der Vertrauensverlust ist eines der größten Hindernisse für die Einführung von GenAI in Unternehmen. Er wird besonders verstärkt, wenn die Erwartungen an das Potenzial von GenAI-Modellen auf die Herausforderung der Halluzinationen treffen. Wenn jede von KI erzeugte Zusammenfassung, jede Analyse oder jeder Entwurf von einem menschlichen Experten akribisch überprüft werden muss, werden die wesentlichen Vorteile eines automatischen und dynamischen Systems aufgehoben. In Hochrisikobereichen wie dem Gesundheitswesen, der Justiz oder dem Finanzwesen fallen diese Auswirkungen noch stärker ins Gewicht. Eine Halluzination in einem juristischen Analysebericht kann beispielsweise einen nicht existierenden rechtlichen Präzedenzfall erzeugen.
Wie lassen sich Halluzinationen in GenAI eindämmen? (RAG und Grounding)
Ausgehend von der Erkenntnis, dass Halluzinationen unvermeidlich sind, sich aber eindämmen lassen, hat sich die Debatte von ihrer Beseitigung hin zu ihrem Management verlagert. Die praktische Herausforderung besteht nun darin, die Wahrscheinlichkeit erzeugter Fehler zu verringern.
Die beliebteste Technik zur Eindämmung von Halluzinationen in GenAI ist Retrieval-Augmented Generation (RAG), also abrufgestützte Generierung. Dabei werden dem Modell faktenbasierte, relevante Dokumente als Kontext bereitgestellt und konkrete Anweisungen gegeben, ausschließlich auf Grundlage dieser Informationen zu antworten.
Dies ist zugleich das wichtigste Beispiel für kontextuelle Verankerung (Grounding). Indem das System zum Zeitpunkt der Inferenz einen externen, überprüfbaren Kontext erhält, verankert es die Antwort in einer endlichen Menge von Fakten und steuert so die unvermeidlichen Fehler falscher Verallgemeinerungen.
Fortgeschrittene Lösungen zur Verringerung von Halluzinationen in LLMs
Die fortgeschrittensten Lösungen zur Verringerung von Halluzinationen in GenAI und LLMs gehen von einem auf Misstrauen beruhenden Ansatz aus: Sie nehmen an, dass das generierende Modell fehlbar ist und immer fehlbar sein wird.
Die Strategie besteht darin, modulare Systeme mit externer Überprüfung zu schaffen, die eine höhere Genauigkeit und Sicherheit gewährleisten. Zu diesen Systemen gehören:
- Generator (LLM) + Prüfer: Ein anderes Modell oder deterministische Regeln überprüfen jede Antwort.
- Process Reward Models (PRMs): Überprüfung Schritt für Schritt, Satz für Satz.
- Multi-Agenten-Debatten: Mehrere Agenten nehmen gegensätzliche Positionen ein und diskutieren, bis sie zur zuverlässigsten Antwort gelangen; dabei simulieren sie einen demokratischen Prozess.
Diese Ansätze sind für kritische Anwendungen wie im Gesundheitswesen, in der Justiz und im Finanzwesen unerlässlich, wo die Zuverlässigkeit von KI entscheidend für die Verringerung von Risiken ist.
Halluzinationen in GenAI stellen eine der größten Herausforderungen für die sichere und effiziente Einführung dieser Technologie dar. Obwohl sie aufgrund der Natur von LLMs unvermeidlich sind, gibt es wirksame Strategien zur Verringerung der Risiken. Unternehmen müssen diese Einschränkungen verstehen und Maßnahmen zur Risikominderung ergreifen. Mit der Weiterentwicklung der KI wird der Umgang mit Halluzinationen ein entscheidender Faktor dafür sein, Potenzial in strategischen Mehrwert zu verwandeln.