Der selbstbewusste Irrtum. Warum KI-Halluzination gefährlich ist.

Jedes Unternehmen hat einen davon. Den Kollegen, der in Meetings nie zögert. Der keine Pausen macht, keine Einschränkungen formuliert, nie sagt "ich prüfe das nochmal". Der antwortet - sofort, ruhig, mit der beiläufigen Sicherheit eines Menschen, dem Zweifel fremd ist. Und weil er so klingt, als wüsste er es, nicken die meisten. Auch die, die ein leises Gefühl haben, dass irgendetwas nicht stimmt. Man widerspricht nicht jemandem, der so überzeugt klingt. Man fühlt sich fast unhöflich dabei.

Manchmal hat er recht. Manchmal erfindet er es einfach.

Das Problem ist: Man hört es nicht.

Genauso verhält sich ein Sprachmodell, das halluziniert.

Das Problem mit plausiblem Unsinn

KI-Halluzination ist in den letzten Jahren zum Schlagwort geworden, oft abgetan als Kinderkrankheit, als etwas, das mit besseren Modellen verschwindet. Das ist falsch. Halluzination ist kein Bug, der behoben wird. Sie ist ein strukturelles Merkmal großer Sprachmodelle.

Diese Modelle wurden trainiert, um sprachlich kohärente, wahrscheinliche Antworten zu erzeugen. Sie optimieren auf Plausibilität, nicht auf Wahrheit. Wenn das Modell eine Lücke in seinem Trainingswissen hat (und diese Lücken sind zahlreich, denn kein Modell kennt Ihr internes Handbuch, Ihre aktuellen Verträge, Ihre spezifischen Prozesse), dann füllt es diese Lücke mit dem, was sprachlich am wahrscheinlichsten klingt. Selbstbewusst. Ohne Zögern. Ohne Kennzeichnung.

Das Heimtückische daran: Eine halluzinierte Antwort klingt genauso wie eine richtige. Dieselbe Struktur, derselbe Ton, dieselbe Gewissheit. Wer nicht weiß, was er nicht weiß, kann den Irrtum nicht erkennen.

Der treffendste Begriff dafür kommt nicht aus der Informatik, sondern aus der Neuropsychologie: Konfabulation. So nennt man das Phänomen, wenn ein Gehirn z.B. nach bestimmten Hirnverletzungen Gedächtnislücken unbewusst mit selbst erfundenem, aber subjektiv völlig echtem Material füllt. Kein Täuschen, kein Wissen um die Lücke, kein Zweifel an der eigenen Antwort. Das Gehirn schließt einfach auf, was dort stehen müsste. Und es ist dabei vollkommen überzeugt.

Genau das tut ein Sprachmodell, wenn es halluziniert. Es lügt nicht. Es weiß nicht, dass es nicht weiß. Und das macht es gefährlicher als eine bewusste Lüge, die man zumindest erkennen kann, wenn man genau hinschaut.

Im Alltag lästig. Im Unternehmen gefährlich.

Im privaten Kontext ist Halluzination ärgerlich. Man fragt nach einer Restaurantempfehlung, bekommt ein Lokal genannt, das seit zwei Jahren geschlossen ist. Man ärgert sich, sucht selbst, fertig.

Im Unternehmenskontext ist das eine andere Kategorie von Problem.

Ein Mitarbeitender fragt den KI-Assistenten nach den aktuellen Datenschutzanforderungen für einen neuen Lieferantenvertrag. Die Antwort klingt kompetent, ist gut strukturiert, enthält Paragrafenverweise. Aber der zitierte Paragraph gilt in dieser Form seit einer Gesetzesänderung nicht mehr. Der Mitarbeitende weiß das nicht. Der Vertrag wird aufgesetzt.

Ein anderes Szenario: Der Assistent wird gefragt, welche Regelung für Überstundenvergütung im Unternehmen gilt. Er antwortet auf Basis allgemeinen Arbeitsrechts - nicht auf Basis der unternehmensinternen Betriebsvereinbarung, die abweichende Konditionen enthält. Die Antwort ist juristisch nicht falsch. Sie ist nur für dieses Unternehmen falsch.

In beiden Fällen kein Alarm, keine Fehlermeldung, kein Hinweis. Nur eine falsche Antwort, die wie eine richtige aussieht.

Was RAG daran ändert - und was es nicht ändert

Retrieval-Augmented Generation ist der technische Ansatz, der dieses strukturelle Problem adressiert. Statt aus einem vortrainierten Wissenskorpus zu antworten, greift das Modell auf einen definierten, aktuellen Datenbestand zu - in diesem Fall: die eigenen Unternehmensdaten. Dokumente, Verträge, Handbücher, Wissensdatenbanken. Was dort steht, ist die Grundlage der Antwort. Was dort nicht steht, wird nicht erfunden.

Das ist ein fundamentaler Unterschied. Kein Raten, kein Auffüllen von Lücken mit Wahrscheinlichkeiten, kein selbstbewusster Irrtum.

Aber RAG allein reicht nicht. Entscheidend ist, dass jede Antwort mit der konkreten Quelle belegt wird. Nicht als Fußnote, nicht als vager Hinweis, sondern als nachvollziehbarer Verweis: Dieses Dokument, diese Seite, dieses System. Denn nur dann kann der Mitarbeitende die Antwort einordnen - und im Zweifelsfall prüfen.

Auditsicherheit ist kein Bonus

In regulierten Branchen (Recht, Finanzen, Gesundheitswesen, öffentliche Verwaltung) ist Nachvollziehbarkeit keine Komforteigenschaft. Sie ist Pflicht. Wer auf Basis einer KI-Antwort eine Entscheidung trifft, muss diese Entscheidung begründen können. "Der Assistent hat das so gesagt" ist keine Begründung. "Der Assistent hat auf Paragraf 7 Absatz 2 unserer internen Richtlinie vom März 2024 verwiesen" ist eine.

Dasselbe gilt für interne Revisionen, für Compliance-Prüfungen, für jede Situation, in der eine Entscheidung hinterfragt wird. Ein KI-System, das Quellen nennt, schafft eine Dokumentationsspur. Ein KI-System, das das nicht tut, schafft eine Grauzone.

Die eigentliche Frage...

...ist also nicht, ob KI halluzinieren kann. Die Frage ist, ob das System so gebaut ist, dass Konfabulation strukturell gar nicht erst entstehen kann.

Der Unterschied liegt in der Architektur. Ein Sprachmodell, das auf allgemeinem Trainingswissen antwortet, hat immer Lücken - und füllt sie. Ein System, das ausschließlich auf definierten, aktuellen Unternehmensdaten arbeitet und jede Antwort mit der konkreten Quelle belegt, hat diese Lücken nicht. Es antwortet nicht, wenn es keine Grundlage gibt. Und wenn es antwortet, zeigt es, worauf es sich stützt.

Das ist kein Komfort-Feature. Es ist der Unterschied zwischen einem Werkzeug, dem man vertrauen kann - und einem, dem man jede Antwort nachprüfen muss.

Ein Kollege, der immer eine Antwort hat, ist nützlich. Ein Kollege, der immer eine belegte Antwort hat, ist unersetzlich. Silent AI ist so gebaut: Retrieval-Augmented Generation auf internen Unternehmensdaten, vollständig On-Premises, jede Antwort mit nachvollziehbarer Quellenangabe. Kein Raten, kein Auffüllen, keine Konfabulation.

_Erleben Sie im Demo-Termin, wie Silent AI auf Basis Ihrer eigenen Daten antwortet - mit Quellenangabe, ohne Spekulation._