Halluzinierende KI vor Gericht : Wenn die Maschine falsch berät

Die Maschine lügt — und der Anwalt unterschreibt

Im Juni 2023 ging ein Fall durch die internationale Fachpresse, der das Verhältnis von künstlicher Intelligenz und Rechtsberatung nachhaltig erschütterte: Im New Yorker Verfahren Mata v. Avianca, Inc. hatte ein Anwalt sechs Gerichtsentscheidungen in seinen Schriftsatz aufgenommen, die nicht existierten. ChatGPT hatte sie erfunden — komplett mit Aktenzeichen, Richternamen und Zitaten. Das Gericht verhängte eine Geldstrafe von 5.000 US-Dollar und verpflichtete die Anwälte, persönliche Entschuldigungsschreiben an die fälschlich als Autoren genannten Richter zu senden.

Was wie ein Einzelfall klingt, ist längst ein Muster. Seit 2023 wurden in den USA nahezu 600 Fälle dokumentiert, in denen Anwälte KI-generierte Falschzitate vor Gericht einreichten — mit Sanktionen von 100 bis über 31.000 US-Dollar. Auch in Deutschland mehren sich die Warnzeichen. Doch was genau sind KI-Halluzinationen, warum sind sie für die Rechtsberatung so gefährlich, und welche Berufspflichten stehen auf dem Spiel?

Was sind KI-Halluzinationen?

Der Begriff Halluzination beschreibt in der KI-Forschung ein Phänomen, bei dem ein Sprachmodell (Large Language Model, LLM) Informationen generiert, die plausibel klingen, aber faktisch falsch sind. Im juristischen Kontext manifestiert sich dies in drei typischen Formen:

Erfundene Entscheidungen: Das Modell erfindet komplette Urteile — mit fiktiven Aktenzeichen, Richternamen und Leitsätzen. Dies war das zentrale Problem im Fall Mata v. Avianca.

Falsche Zitate aus realen Entscheidungen: Das Modell zitiert eine tatsächlich existierende Entscheidung, gibt deren Inhalt aber falsch wieder — etwa mit einer Rechtsauffassung, die das Gericht in Wahrheit nicht vertreten hat.

Korrekte Fundstellen mit falscher Argumentation: Das Modell nennt eine richtige Fundstelle, verbindet sie aber mit einer rechtlichen Argumentation, die aus der zitierten Entscheidung nicht folgt.

Das Ausmaß des Problems

Eine vielbeachtete Studie der Stanford University aus dem Jahr 2024 untersuchte die Zuverlässigkeit gängiger Sprachmodelle bei juristischen Fragen. Die Ergebnisse waren ernüchternd: GPT-4 halluzinierte in 58 Prozent der Fälle, GPT-3.5 in 69 Prozent und Llama 2 in 88 Prozent. Selbst spezialisierte juristische KI-Tools schnitten in einer Folgestudie von 2025 nur bedingt besser ab: Lexis+ AI produzierte in über 17 Prozent der Fälle fehlerhafte Informationen, Westlaw AI in etwa 33 Prozent.

Diese Zahlen verdeutlichen: KI-Halluzinationen sind kein Randproblem, sondern ein strukturelles Risiko beim Einsatz von KI in der Rechtsberatung.

Spektakuläre Fälle: Von New York bis Alabama

Mata v. Avianca (New York, 2023)

Der Ausgangsfall betraf eine Personenschadensklage gegen die Fluggesellschaft Avianca. Die Anwälte Peter LoDuca und Steven Schwartz von der Kanzlei Levidow, Levidow & Oberman hatten ChatGPT für die Rechtsrecherche verwendet. Als die Gegenseite mitteilte, die zitierten Entscheidungen nicht auffinden zu können, zogen die Anwälte ihre Eingaben nicht zurück. Richter P. Kevin Castel sprach von einem „beispiellosen Umstand" und verhängte die Sanktion. Der Fall wurde zum weltweiten Warnsignal.

Pennsylvania (2025)

Anwalt Nicholas L. Palazzo wurde sanktioniert, nachdem seine Schriftsätze in einem Produkthaftungsfall fehlerhafte und offenbar erfundene Zitate enthielten. Die referenzierten Entscheidungen existierten entweder nicht oder wiesen erhebliche sachliche Fehler auf.

Alabama (2025)

Drei Anwälte der Großkanzlei Butler Snow LLP — darunter Matthew B. Reeves, William J. Cranford und William R. Lunsford — erhielten eine öffentliche Rüge und wurden aus dem Verfahren ausgeschlossen. Zudem erfolgte eine Meldung an die Anwaltskammer von Alabama wegen erfundener Rechtsquellen.

Illinois (2025)

Ein Anwalt aus Springfield wurde für die Zitierung von acht nicht existierenden Entscheidungen in einem Berufungsverfahren bestraft. In einem weiteren Fall zitierten Anwälte der Chicago Housing Authority den fiktiven Fall „Mack v. Anderson" — die verantwortliche Anwältin erklärte, sie habe nicht geglaubt, dass ChatGPT in der Lage sei, falsche Präzedenzfälle zu erzeugen.

Berufsrechtliche Konsequenzen in Deutschland

Die Grundpflichten nach § 43 und § 43a BRAO

Die Bundesrechtsanwaltsordnung stellt klare Anforderungen an die anwaltliche Sorgfalt. § 43 BRAO normiert die allgemeine Berufspflicht: Der Rechtsanwalt hat seinen Beruf gewissenhaft auszuüben. § 43a BRAO konkretisiert die Grundpflichten — darunter die Pflicht zur Unabhängigkeit, zur Verschwiegenheit und zur gewissenhaften Berufsausübung.

Was bedeutet dies für den KI-Einsatz? Die Gewissenhaftigkeit verlangt, dass der Rechtsanwalt die Richtigkeit seiner Arbeitsergebnisse überprüft — unabhängig davon, welche Hilfsmittel er einsetzt. Wer KI-generierte Rechtsauskünfte oder Schriftsätze ungeprüft an Mandanten weitergibt oder bei Gericht einreicht, verstößt gegen diese Grundpflicht.

Haftung nach § 280 BGB

Über die berufsrechtlichen Sanktionen hinaus droht eine zivilrechtliche Haftung. Der Anwaltsvertrag begründet eine Pflicht zur sorgfältigen Rechtsberatung. Gibt ein Anwalt eine auf KI-Halluzinationen basierende Rechtsauskunft, die sich als falsch erweist und dem Mandanten Schaden zufügt, haftet er nach § 280 Abs. 1 BGB auf Schadensersatz.

Der Einwand, man habe sich auf die KI „verlassen", entlastet nicht. Die Pflicht zur eigenständigen Prüfung ist nicht delegierbar — weder an einen Referendar noch an einen Algorithmus.

Anwaltsgerichtliche Maßnahmen nach § 113 BRAO

Bei schwerwiegenden Pflichtverletzungen drohen zudem anwaltsgerichtliche Maßnahmen nach § 113 BRAO. Die Bandbreite reicht von der Warnung über die Geldbuße bis zum Vertretungsverbot und im äußersten Fall der Ausschließung aus der Anwaltschaft.

Warum halluzinieren KI-Modelle?

Das Verständnis der technischen Ursachen ist entscheidend für einen verantwortungsvollen Umgang mit KI-Tools.

Statistische Wortvorhersage statt Wissensrepräsentation

Große Sprachmodelle sind im Kern statistische Textgeneratoren. Sie berechnen auf Basis ihrer Trainingsdaten die Wahrscheinlichkeit des nächsten Tokens (Worts oder Wortteils). Sie „verstehen" juristischen Inhalt nicht — sie erzeugen Texte, die statistisch wie juristische Argumentation aussehen. Wenn das Modell keine passende reale Entscheidung in seinen Trainingsdaten findet, generiert es eine, die plausibel klingt.

Fehlende Quellenprüfung

Anders als juristische Datenbanken wie juris, beck-online oder dejure.org haben allgemeine Sprachmodelle keinen Zugriff auf verifizierte Rechtsprechungsdatenbanken. Sie können nicht zwischen existierenden und erfundenen Entscheidungen unterscheiden. Retrieval-Augmented-Generation-Systeme (RAG), wie sie spezialisierte juristische Tools verwenden, mindern dieses Problem — beseitigen es aber nicht vollständig, wie die Stanford-Studie zeigt.

Selbstbestätigung und Konfabulation

Besonders tückisch: Wenn ein Nutzer eine KI nach der Existenz einer halluzinierten Entscheidung fragt, bestätigt das Modell häufig deren Existenz und liefert sogar weitere „Details". Dieses als Konfabulation bezeichnete Phänomen macht es schwer, Halluzinationen durch bloßes Nachfragen zu erkennen.

Lehren für die deutsche Anwaltschaft

1. KI ist ein Recherchewerkzeug, keine Rechtsquelle

Die fundamentale Einsicht lautet: KI-Modelle sind keine verlässlichen Rechtsquellen. Sie können Ausgangspunkte für die Recherche liefern, Zusammenhänge aufzeigen und Formulierungshilfen geben. Aber jede juristische Information muss anhand primärer Quellen — Gesetze, Rechtsprechung, Kommentare — verifiziert werden.

2. Vieraugenprinzip bei KI-unterstützter Arbeit

Etablieren Sie in Ihrer Kanzlei ein verbindliches Vieraugenprinzip für KI-unterstützte Arbeitsergebnisse. Kein Schriftsatz, keine Rechtsauskunft und kein Vertragsentwurf sollte die Kanzlei verlassen, ohne dass eine zweite Person — ein erfahrener Rechtsanwalt — die Richtigkeit der zitierten Quellen überprüft hat.

3. Dokumentation des KI-Einsatzes

Dokumentieren Sie, wann und wie KI-Tools eingesetzt werden. Dies dient nicht nur der internen Qualitätssicherung, sondern kann im Fall einer Haftungsauseinandersetzung auch den Nachweis erleichtern, dass angemessene Prüfprozesse etabliert waren.

4. Fortbildung und Sensibilisierung

Investieren Sie in die KI-Kompetenz Ihrer Mitarbeiter. Jeder Rechtsanwalt und jede Rechtsanwältin, die KI einsetzt, muss die Funktionsweise und die Grenzen der Technologie verstehen — insbesondere das Phänomen der Halluzination.

5. Transparenz gegenüber Mandanten und Gerichten

Kommunizieren Sie offen, wenn KI-Tools in der Mandatsarbeit eingesetzt werden. Mehrere US-Gerichte verlangen bereits eine Offenlegung des KI-Einsatzes in Schriftsätzen. Es ist nur eine Frage der Zeit, bis ähnliche Anforderungen auch in Deutschland diskutiert werden.

Der regulatorische Ausblick

EU AI Act und die Rechtsberatung

Der EU AI Act tritt in seinen zentralen Bestimmungen am 2. August 2026 in Kraft. KI-Systeme, die in der Rechtspflege eingesetzt werden — etwa für den Zugang zu Recht oder die Interpretation von Gesetzestexten — können als Hochrisiko-KI eingestuft werden. Dies würde strenge Anforderungen an Transparenz, Dokumentation und menschliche Aufsicht nach sich ziehen.

Berufsrechtliche Entwicklungen

In den USA haben die Anwaltskammern von New York, Kalifornien und Florida bereits Leitlinien zum KI-Einsatz veröffentlicht. Die deutschen Rechtsanwaltskammern werden diesem Beispiel folgen müssen. Eine klare berufsrechtliche Regulierung des KI-Einsatzes in der Rechtsberatung ist überfällig.

Fazit: Vertrauen ist gut, Kontrolle ist Pflicht

KI-Halluzinationen sind kein Softwarefehler, der in der nächsten Version behoben wird. Sie sind ein strukturelles Merkmal generativer Sprachmodelle. Die Stanford-Studien belegen, dass selbst spezialisierte juristische KI-Tools in erheblichem Umfang halluzinieren. Wer dies ignoriert, gefährdet seine Mandanten, seine Reputation und seine Zulassung.

Die Antwort liegt nicht in der Ablehnung von KI — sie liegt in ihrem verantwortungsvollen Einsatz. KI kann ein machtvolles Werkzeug für die Rechtsrecherche, die Strukturierung von Argumenten und die Effizienzsteigerung sein. Aber sie ersetzt weder juristisches Fachwissen noch die anwaltliche Sorgfaltspflicht. Der Anwalt bleibt der Garant der Richtigkeit — nicht der Algorithmus.

Bei compleneo unterstützen wir Sie bei der Entwicklung kanzleiinterner Richtlinien zum KI-Einsatz, bei der Schulung Ihrer Teams und bei der rechtlichen Bewertung von KI-Tools für die Rechtsberatung. Sprechen Sie uns an.