KI im Unternehmen : Wann die Datenschutz-Folgenabschätzung Pflicht wird

KI im Unternehmen: Wann die Datenschutz-Folgenabschätzung Pflicht wird

Künstliche Intelligenz durchdringt den Unternehmensalltag: Chatbots im Kundenservice, KI-gestützte Personalauswahl, automatisierte Kreditentscheidungen, prädiktive Wartung oder personalisiertes Marketing. All diese Anwendungen haben eines gemeinsam -- sie verarbeiten in der Regel personenbezogene Daten, oft in großem Umfang und mit neuen Technologien. Genau hier setzt Art. 35 der Datenschutz-Grundverordnung (DSGVO) an: Wenn eine Datenverarbeitung voraussichtlich ein hohes Risiko für die Rechte und Freiheiten natürlicher Personen birgt, ist vor der Verarbeitung eine Datenschutz-Folgenabschätzung (DSFA) durchzuführen. Dieser Beitrag erklärt, wann beim Einsatz von KI die DSFA-Pflicht greift und wie Sie den Prozess rechtssicher gestalten.

Art. 35 DSGVO: Der Auslöser im Überblick

Wann wird die DSFA zur Pflicht?

Art. 35 Abs. 1 DSGVO verlangt eine Datenschutz-Folgenabschätzung, wenn eine Form der Verarbeitung -- insbesondere bei Verwendung neuer Technologien -- aufgrund der Art, des Umfangs, der Umstände und der Zwecke der Verarbeitung voraussichtlich ein hohes Risiko für die Rechte und Freiheiten natürlicher Personen zur Folge hat.

Drei Regelbeispiele des Art. 35 Abs. 3 DSGVO

Der Gesetzgeber nennt drei Konstellationen, in denen eine DSFA insbesondere erforderlich ist:

1. Systematische und umfassende Bewertung persönlicher Aspekte natürlicher Personen, die sich auf automatisierte Verarbeitung einschließlich Profiling gründet und die Grundlage für Entscheidungen bildet, die Rechtswirkung gegenüber der Person entfalten oder sie in ähnlicher Weise erheblich beeinträchtigen
2. Umfangreiche Verarbeitung besonderer Kategorien personenbezogener Daten (Art. 9 Abs. 1 DSGVO) oder von Daten über strafrechtliche Verurteilungen
3. Systematische umfangreiche Überwachung öffentlich zugänglicher Bereiche

Alle drei Konstellationen können beim Einsatz von KI-Systemen einschlägig sein -- insbesondere die erste, die genau das beschreibt, was viele KI-Anwendungen tun: automatisierte Bewertung und Entscheidungsfindung auf Basis persönlicher Daten.

Die Muss-Liste der DSK: Wann KI die DSFA zwingend auslöst

Was ist die Muss-Liste?

Art. 35 Abs. 4 DSGVO verpflichtet die Aufsichtsbehörden, eine Liste der Verarbeitungstätigkeiten zu erstellen, für die eine DSFA durchzuführen ist. In Deutschland hat die Datenschutzkonferenz (DSK) eine gemeinsame Muss-Liste veröffentlicht, die für den nicht-öffentlichen Bereich gilt. Diese Liste ist rechtsverbindlich: Fällt eine Verarbeitung darunter, muss eine DSFA durchgeführt werden -- ohne Ermessensspielraum.

Relevante Einträge für KI-Einsatz

Die Muss-Liste der DSK enthält unter anderem folgende Verarbeitungstätigkeiten, die beim Einsatz von KI typischerweise einschlägig sind:

• Einsatz von KI zur Verarbeitung personenbezogener Daten zur Steuerung der Interaktion mit den Betroffenen oder zur Bewertung persönlicher Aspekte
• Profiling zur Bewertung von Arbeitsleistung, wirtschaftlicher Lage, Gesundheit, persönlichen Vorlieben, Interessen, Zuverlässigkeit, Verhalten, Aufenthaltsort oder Ortswechsel
• Scoring und Bewertung natürlicher Personen, insbesondere in Bezug auf Kreditwürdigkeit oder Arbeitsleistung
• Zusammenführung von Daten aus verschiedenen Quellen (Data Matching), insbesondere wenn die Verarbeitung über den ursprünglichen Erhebungszweck hinausgeht
• Verarbeitung biometrischer Daten zur eindeutigen Identifizierung natürlicher Personen

Konsequenz für die Praxis

In den meisten Fällen, in denen KI-Systeme personenbezogene Daten verarbeiten, wird mindestens einer der genannten Einträge der Muss-Liste erfüllt sein. Die DSFA ist daher bei KI-Einsatz im Unternehmen nicht die Ausnahme, sondern in der Regel die Regel.

Hochrisiko-Szenarien: KI-Anwendungen unter der Lupe

Profiling und automatisierte Entscheidungsfindung (Art. 22 DSGVO)

Art. 22 DSGVO gibt betroffenen Personen das Recht, nicht einer ausschließlich auf automatisierter Verarbeitung beruhenden Entscheidung unterworfen zu werden, die ihnen gegenüber rechtliche Wirkung entfaltet oder sie in ähnlicher Weise erheblich beeinträchtigt. Typische KI-Anwendungsfälle, die unter Art. 22 fallen können:

• Automatisierte Kreditentscheidungen: KI bewertet die Kreditwürdigkeit und entscheidet über Kreditvergabe oder Konditionen
• KI-gestützte Personalauswahl: Algorithmen bewerten Bewerbungen und treffen Vorauswahl- oder Ablehnungsentscheidungen
• Automatisierte Preisbildung: KI bestimmt individuelle Preise auf Basis persönlicher Profile (Dynamic Pricing)
• Versicherungs-Scoring: KI bewertet Risikoprofile und bestimmt Tarife oder Ablehnungen

In all diesen Fällen ist nicht nur Art. 22 DSGVO zu beachten, sondern auch eine DSFA nach Art. 35 zwingend erforderlich.

Verarbeitung biometrischer Daten

KI-Systeme zur Gesichtserkennung, Stimmanalyse oder Emotionserkennung verarbeiten biometrische Daten im Sinne des Art. 9 Abs. 1 DSGVO. Diese Verarbeitung ist grundsätzlich untersagt, es sei denn, eine der eng gefassten Ausnahmen des Art. 9 Abs. 2 DSGVO greift. Eine DSFA ist hier stets erforderlich.

Umfangreiche Datenverarbeitung und Überwachung

KI-Systeme, die Videoüberwachung mit Gesichtserkennung, Verhaltensanalyse am Arbeitsplatz oder Monitoring von Mitarbeiterproduktivität durchführen, fallen sowohl unter die Muss-Liste als auch unter die Regelbeispiele des Art. 35 Abs. 3 DSGVO.

Generative KI und Large Language Models

Der Einsatz von ChatGPT, Copilot und vergleichbaren Systemen im Unternehmen kann eine DSFA auslösen, wenn:

• Mitarbeiterdaten oder Kundendaten in das System eingegeben werden
• Das System personenbezogene Daten aus dem Unternehmen verarbeitet
• Die Ergebnisse der KI zur Entscheidungsfindung über Personen herangezogen werden
• Nutzungsdaten der Mitarbeiter systematisch ausgewertet werden

Die neun Kriterien der Artikel-29-Datenschutzgruppe

WP 248: Der Prüfmaßstab

Die Leitlinien der Artikel-29-Datenschutzgruppe (WP 248), die vom Europäischen Datenschutzausschuss (EDPB) übernommen wurden, definieren neun Kriterien, die für die Risikobewertung heranzuziehen sind:

1. Bewertung oder Scoring einschließlich Profiling und Prognose
2. Automatisierte Entscheidungsfindung mit Rechtswirkung oder vergleichbar erheblicher Beeinträchtigung
3. Systematische Überwachung von Personen
4. Verarbeitung vertraulicher oder besonders sensibler Daten
5. Umfangreiche Datenverarbeitung (große Anzahl Betroffener, große Datenmengen)
6. Zusammenführung oder Kombination von Datensätzen
7. Verarbeitung von Daten schutzbedürftiger Personen (Beschäftigte, Kinder, Patienten)
8. Innovative Nutzung oder Anwendung neuer Technologien
9. Verarbeitung, die Betroffene an der Ausübung eines Rechts oder der Nutzung einer Dienstleistung hindert

Die Zwei-Kriterien-Regel

Die Leitlinien empfehlen: Wenn mindestens zwei dieser Kriterien erfüllt sind, ist in der Regel eine DSFA durchzuführen. Bei KI-Anwendungen werden typischerweise mehrere Kriterien gleichzeitig erfüllt -- insbesondere Kriterium 1 (Bewertung), Kriterium 2 (automatisierte Entscheidung), Kriterium 6 (Datenzusammenführung) und Kriterium 8 (neue Technologie).

DSFA-Methodik: Schritt für Schritt

Mindestinhalt nach Art. 35 Abs. 7 DSGVO

Die DSFA muss mindestens Folgendes enthalten:

1. Systematische Beschreibung der geplanten Verarbeitungsvorgänge und der Zwecke der Verarbeitung, gegebenenfalls einschließlich der vom Verantwortlichen verfolgten berechtigten Interessen
2. Bewertung der Notwendigkeit und Verhältnismäßigkeit der Verarbeitungsvorgänge in Bezug auf den Zweck
3. Bewertung der Risiken für die Rechte und Freiheiten der betroffenen Personen
4. Geplante Abhilfemaßnahmen, einschließlich Garantien, Sicherheitsvorkehrungen und Verfahren, um den Schutz personenbezogener Daten sicherzustellen und den Nachweis der Einhaltung der DSGVO zu erbringen

Empfohlene Vorgehensweise für KI-Systeme

Phase 1 -- Verarbeitungsbeschreibung:

• Beschreiben Sie das KI-System, seine Funktionsweise und die genutzten Daten
• Dokumentieren Sie die Datenflüsse: Welche Daten werden erhoben, wie werden sie verarbeitet, wohin fließen sie?
• Erfassen Sie die beteiligten Akteure: Verantwortlicher, Auftragsverarbeiter, Unterauftragsverarbeiter
• Benennen Sie die Rechtsgrundlage für jede Verarbeitungstätigkeit

Phase 2 -- Notwendigkeits- und Verhältnismäßigkeitsprüfung:

• Ist der Einsatz der KI für den verfolgten Zweck erforderlich?
• Gibt es mildere Mittel, die den Zweck ebenfalls erreichen?
• Steht der Eingriff in die Rechte der Betroffenen in einem angemessenen Verhältnis zum verfolgten Zweck?

Phase 3 -- Risikobewertung:

• Identifizieren Sie die Risiken für die Betroffenen (Diskriminierung, fehlerhafte Entscheidungen, Profiling, Verlust der Kontrolle über die eigenen Daten)
• Bewerten Sie Eintrittswahrscheinlichkeit und Schwere jedes Risikos
• Berücksichtigen Sie die Besonderheiten der KI: Intransparenz (Black-Box-Problem), Bias (Diskriminierung durch Trainingsdaten), Datenminimierung (verarbeitet KI mehr Daten als notwendig?)

Phase 4 -- Abhilfemaßnahmen:

• Definieren Sie technische und organisatorische Maßnahmen zur Risikominimierung
• Dokumentieren Sie Restrisiken und deren Begründung
• Prüfen Sie, ob eine Konsultation der Aufsichtsbehörde nach Art. 36 DSGVO erforderlich ist (wenn ein hohes Restrisiko verbleibt)

Dokumentationspflichten und Rolle des DSB

Umfassende Dokumentation

Die DSFA ist schriftlich zu dokumentieren und muss jederzeit der Aufsichtsbehörde vorgelegt werden können. Die Dokumentation sollte umfassen:

• Vollständige DSFA einschließlich aller vier Phasen
• Stellungnahme des Datenschutzbeauftragten (Art. 35 Abs. 2 DSGVO)
• Gegebenenfalls die Standpunkte der Betroffenen (Art. 35 Abs. 9 DSGVO)
• Nachweis der regelmäßigen Überprüfung und Aktualisierung (Art. 35 Abs. 11 DSGVO)
• Alle Entscheidungsgrundlagen und deren Begründung

Einbindung des Datenschutzbeauftragten

Art. 35 Abs. 2 DSGVO schreibt vor, dass der Verantwortliche bei der Durchführung einer DSFA den Rat des Datenschutzbeauftragten (DSB) einholt, sofern ein solcher benannt ist. Der DSB sollte:

• Frühzeitig in den Prozess eingebunden werden -- idealerweise bereits bei der Entscheidung über die Einführung eines KI-Systems
• Die Methodik und Vollständigkeit der DSFA überprüfen
• Eine eigenständige Stellungnahme abgeben
• Die regelmäßige Überprüfung der DSFA überwachen

Die DSK-Orientierungshilfe KI und Datenschutz

Die DSK-Orientierungshilfe "Künstliche Intelligenz und Datenschutz" vom Mai 2024 richtet sich an Unternehmen, Behörden und andere Organisationen, die KI-Anwendungen einsetzen. Sie dient als Checkliste und adressiert typische datenschutzrechtliche Anforderungen im KI-Kontext. Zusätzlich hat der LfDI Baden-Württemberg ein Diskussionspapier zu Rechtsgrundlagen beim KI-Einsatz veröffentlicht, das als praxisorientierte Arbeitshilfe dient.

Folgen der Nichtdurchführung

Bußgeldrisiko

Die Nichtdurchführung einer erforderlichen DSFA stellt einen Verstoß gegen Art. 35 DSGVO dar und kann mit Bußgeldern von bis zu 10 Mio. Euro oder 2 % des weltweiten Jahresumsatzes nach Art. 83 Abs. 4 lit. a DSGVO sanktioniert werden.

Weitere Konsequenzen

• Die Aufsichtsbehörde kann die Verarbeitung untersagen, bis eine DSFA vorliegt
• Betroffene können Schadensersatzansprüche nach Art. 82 DSGVO geltend machen
• Das Fehlen einer DSFA kann als Indiz für eine unzureichende Datenschutz-Organisation insgesamt gewertet werden und weitere Prüfungen nach sich ziehen
• Reputationsschäden durch öffentliche Bekanntmachung der Aufsichtsbehörde

Praktische Empfehlungen

DSFA-Template nutzen

Verwenden Sie ein strukturiertes Template, das alle Anforderungen des Art. 35 Abs. 7 DSGVO abdeckt. Die Aufsichtsbehörden stellen teilweise eigene Vorlagen zur Verfügung. Das Open-Source-Tool PIA (Privacy Impact Assessment) der französischen Aufsichtsbehörde CNIL ist ebenfalls empfehlenswert und frei verfügbar.

Vorgelagertes Screening

Führen Sie für jedes neue KI-Projekt ein Schwellwertanalyse (Threshold Assessment) durch: Prüfen Sie anhand der neun Kriterien der WP 248 und der DSK-Muss-Liste, ob eine DSFA erforderlich ist. Dokumentieren Sie auch die Fälle, in denen Sie zu dem Ergebnis kommen, dass keine DSFA erforderlich ist -- die Rechenschaftspflicht nach Art. 5 Abs. 2 DSGVO verlangt diese Nachvollziehbarkeit.

Regelmäßige Überprüfung

Art. 35 Abs. 11 DSGVO verlangt eine Überprüfung der DSFA, insbesondere wenn sich das Risiko der Verarbeitung ändert. Bei KI-Systemen, die durch maschinelles Lernen kontinuierlich angepasst werden, ist diese Überprüfung besonders wichtig und sollte in regelmäßigen Abständen -- mindestens jährlich -- erfolgen.

Fazit

Der Einsatz von KI im Unternehmen wird in den allermeisten Fällen eine Datenschutz-Folgenabschätzung nach Art. 35 DSGVO erfordern. Die Muss-Liste der DSK, die neun Kriterien der WP 248 und die Regelbeispiele des Art. 35 Abs. 3 DSGVO sprechen eine deutliche Sprache: KI-Systeme, die personenbezogene Daten verarbeiten, sind per se Hochrisiko-Verarbeitungen. Unternehmen, die KI einsetzen, ohne eine DSFA durchzuführen, riskieren nicht nur Bußgelder, sondern auch die Untersagung der Verarbeitung -- mit gravierenden Folgen für den Geschäftsbetrieb. Die gute Nachricht: Eine sorgfältig durchgeführte DSFA ist kein Hindernis für Innovation, sondern ein Instrument, das Vertrauen schafft und Risiken beherrschbar macht.

Bei compleneo unterstützen wir Sie bei der Durchführung von Datenschutz-Folgenabschätzungen für KI-Systeme, der Bewertung Ihrer KI-Compliance und der datenschutzrechtlichen Begleitung Ihrer Digitalisierungsprojekte. Sprechen Sie uns an.