Künstliche Intelligenz im Alltag: Rechtsrahmen, Verantwortung und Schutzmöglichkeiten in Deutschland

Künstliche Intelligenz begegnet Menschen außerhalb spezialisierter Forschungseinrichtungen. Sie empfiehlt Produkte, erkennt Sprache, erstellt Texte und kann Entscheidungen über Bewerbungen, Kredite oder medizinische Behandlungen unterstützen. Ihr Einsatz ist für Betroffene nicht immer erkennbar. Wer einen Onlineshop besucht oder eine digitale Dienstleistung nutzt, weiß häufig nicht, welche Verarbeitungsschritte auf einem KI-System beruhen. Rechtlich kommt es deshalb nicht nur auf die Leistungsfähigkeit solcher Systeme an, sondern auch auf die Voraussetzungen ihres Einsatzes und die Verantwortung für fehlerhafte Ergebnisse.

Das deutsche Recht enthält hierfür keinen einheitlichen, abschließenden Regelungskomplex. Maßgeblich sind insbesondere das Datenschutzrecht, das Bürgerliche Gesetzbuch, das Urheberrecht, das Antidiskriminierungsrecht sowie arbeitsrechtliche und verwaltungsrechtliche Vorschriften. Hinzu kommt die europäische KI-Verordnung, deren Vorschriften zeitlich gestaffelt anwendbar werden. Eine Anwendung, die nicht gegen die KI-Verordnung verstößt, kann gleichwohl datenschutzrechtlich oder aus anderen Gründen unzulässig sein.

Der folgende Beitrag erläutert die rechtlichen Grundlagen, wichtige Rechtsprechungslinien und typische Konfliktlagen. Im Mittelpunkt stehen der Einsatz künstlicher Intelligenz durch Unternehmen und Behörden sowie die Rechte von Verbrauchern, Beschäftigten und anderen betroffenen Personen.

Begriffsklärung: Was künstliche Intelligenz rechtlich kennzeichnet

Technischer Sprachgebrauch und gesetzlicher Begriff

Im allgemeinen Sprachgebrauch umfasst künstliche Intelligenz unterschiedliche Verfahren. Dazu gehören Systeme zur Mustererkennung ebenso wie Anwendungen, die Texte, Bilder oder Audiodateien erzeugen. Rechtlich genügt diese Sammelbezeichnung nicht. Entscheidend ist, welche Merkmale ein konkretes System aufweist, welche Daten es verarbeitet und in welchem Zusammenhang seine Ergebnisse verwendet werden.

Art. 3 Nr. 1 der Verordnung (EU) 2024/1689, der europäischen KI-Verordnung, definiert ein KI-System anhand mehrerer Merkmale. Vereinfacht handelt es sich um ein maschinengestütztes System, das für einen in unterschiedlichem Grad autonomen Betrieb ausgelegt ist und aus Eingaben ableitet, wie es Ausgaben erzeugt. Diese können etwa Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen sein, die physische oder virtuelle Umgebungen beeinflussen. Die Definition erfasst Systeme, die nach ihrer Einführung anpassungsfähig sein können; eine fortlaufende Anpassung ist nicht für jedes KI-System zwingend.

Nicht jede Software ist deshalb automatisch ein KI-System. Herkömmliche Software, die ausschließlich von Menschen festgelegte Regeln automatisch ausführt, ist von Systemen mit den gesetzlich vorausgesetzten Ableitungsfähigkeiten abzugrenzen. Die Grenze lässt sich allerdings nicht allein anhand einer Produktbezeichnung ziehen. Auch eine unscheinbare Hintergrundfunktion kann unter die Definition fallen.

Assistenzsysteme und entscheidende Systeme

Für die rechtliche Bewertung ist die tatsächliche Rolle des Systems wichtiger als seine Vermarktung. Ein Schreibassistent, dessen Vorschläge fachlich geprüft werden, unterscheidet sich von einer Anwendung, deren Ergebnis ohne wirksame Kontrolle über einen Vertragsschluss entscheidet.

Eine formal vorgesehene menschliche Beteiligung beseitigt rechtliche Risiken nicht automatisch. Übernimmt eine Person das Ergebnis lediglich schematisch, kann die Entscheidung im Sinne des Datenschutzrechts weiterhin als ausschließlich automatisiert einzuordnen sein. Maßgeblich sind die tatsächlichen Abläufe, nicht allein interne Beschreibungen.

Eine wirksame Kontrolle setzt insbesondere ausreichende Informationen, fachliche Kompetenz und die Befugnis voraus, vom Systemvorschlag abzuweichen. Welche Kontrolldichte erforderlich ist, hängt von der Anwendung und den einschlägigen gesetzlichen Pflichten ab.

Anbieter, Betreiber und betroffene Personen

Die KI-Verordnung unterscheidet insbesondere zwischen Anbietern und Betreibern. Anbieter entwickeln KI-Systeme oder KI-Modelle mit allgemeinem Verwendungszweck beziehungsweise lassen sie entwickeln und vermarkten sie unter eigenem Namen oder eigener Marke; bei KI-Systemen kommt auch die Inbetriebnahme für den Eigengebrauch in Betracht. Betreiber verwenden KI-Systeme in eigener Verantwortung. Die Verwendung im Rahmen einer persönlichen und nicht beruflichen Tätigkeit ist von der Betreiberdefinition ausgenommen.

Diese Rollen sind nicht mit den datenschutzrechtlichen Rollen gleichzusetzen. Verantwortlicher ist nach Art. 4 Nr. 7 DSGVO grundsätzlich, wer allein oder gemeinsam mit anderen über Zwecke und Mittel einer Verarbeitung personenbezogener Daten entscheidet. Ein Auftragsverarbeiter verarbeitet solche Daten nach Art. 4 Nr. 8 DSGVO im Auftrag des Verantwortlichen.

Ein Unternehmen kann daher zugleich Betreiber eines KI-Systems und datenschutzrechtlich Verantwortlicher sein. Umgekehrt lässt die Einordnung eines Dienstleisters als KI-Anbieter noch nicht erkennen, ob er datenschutzrechtlich Auftragsverarbeiter, eigenständiger Verantwortlicher oder gemeinsam Verantwortlicher ist.

Rechtlicher Rahmen: Bestehende Gesetze und europäische KI-Verordnung

Kein rechtsfreier Raum vor vollständiger Anwendbarkeit

Künstliche Intelligenz unterliegt auch unabhängig von besonderen KI-Vorschriften dem geltenden Recht. Vertragliche Leistungsversprechen sind am Bürgerlichen Gesetzbuch zu messen. Personenbezogene Daten dürfen nur unter den Voraussetzungen des anwendbaren Datenschutzrechts verarbeitet werden. Diskriminierende Auswahlverfahren können gegen das Allgemeine Gleichbehandlungsgesetz verstoßen.

Die KI-Verordnung ergänzt diese Regeln insbesondere um produkt- und organisationsbezogene Anforderungen. Sie verdrängt das Datenschutzrecht und zivilrechtliche Ansprüche nicht pauschal. Die Prüfung muss deshalb mehrere Ebenen berücksichtigen: die konkrete Tätigkeit, die verarbeiteten Daten, mögliche Auswirkungen auf geschützte Rechte und die zusätzlichen KI-spezifischen Pflichten.

Auch eine Konformitätsbewertung nach der KI-Verordnung beantwortet nicht abschließend, ob jede konkrete Verwendung eines Systems rechtmäßig ist.

Risikobasierter Aufbau der KI-Verordnung

Die KI-Verordnung folgt einem risikobasierten Ansatz. Art. 5 KI-Verordnung verbietet bestimmte Praktiken. Dazu zählen unter näheren Voraussetzungen manipulative oder täuschende Techniken, bestimmte Formen sozialer Bewertung und bestimmte biometrische Anwendungen. Nicht jede Beeinflussung durch Werbung und nicht jede biometrische Verarbeitung erfüllt einen Verbotstatbestand. Die jeweiligen Voraussetzungen und Ausnahmen müssen gesondert geprüft werden.

Für Hochrisiko-KI-Systeme gelten besondere Anforderungen. Die Einordnung richtet sich nach Art. 6 KI-Verordnung in Verbindung mit den Anhängen der Verordnung. Erfasst werden unter anderem bestimmte Anwendungen in Beschäftigung, Bildung und Kreditwürdigkeitsprüfung sowie bestimmte KI-Systeme im Zusammenhang mit regulierten Produkten.

Nicht jedes System innerhalb eines genannten Lebensbereichs ist automatisch ein Hochrisiko-System. Maßgeblich sind insbesondere Zweckbestimmung und Funktion. Die Ausnahmen nach Art. 6 Abs. 3 KI-Verordnung betreffen bestimmte in Anhang III genannte Systeme und setzen eine gesonderte Prüfung voraus. Für dort erfasste Systeme, die ein Profiling natürlicher Personen vornehmen, greift diese Ausnahme nicht.

Die Anforderungen betreffen insbesondere Risikomanagement, Daten und Daten-Governance, technische Dokumentation, Protokollierung, menschliche Aufsicht sowie Genauigkeit, Robustheit und Cybersicherheit. Welche Verpflichtung Anbieter oder Betreiber trifft, ergibt sich aus der jeweiligen Vorschrift.

Zeitlich gestaffelte Anwendung

Art. 113 KI-Verordnung sieht unterschiedliche Anwendungszeitpunkte vor. Für die Kapitel I und II, also die allgemeinen Bestimmungen und die verbotenen Praktiken, bestimmt die Vorschrift den 2. Februar 2025 als Anwendungsbeginn. Hierzu gehört Art. 4 KI-Verordnung über KI-Kompetenz.

Nach Art. 4 KI-Verordnung müssen Anbieter und Betreiber Maßnahmen ergreifen, um nach besten Kräften ein ausreichendes Maß an KI-Kompetenz bei ihrem Personal und anderen in ihrem Auftrag mit Betrieb und Nutzung befassten Personen sicherzustellen. Zu berücksichtigen sind insbesondere Vorwissen, Erfahrung, Ausbildung, Einsatzkontext und die betroffenen Personengruppen. Ein bestimmtes Zertifikat oder eine einheitliche Schulungsdauer schreibt die Vorschrift nicht allgemein vor.

Weitere Teile der Verordnung, darunter das Kapitel über KI-Modelle mit allgemeinem Verwendungszweck, haben nach Art. 113 KI-Verordnung grundsätzlich den 2. August 2025 als Anwendungsbeginn. Der allgemeine Anwendungsbeginn ist der 2. August 2026. Für Art. 6 Abs. 1 KI-Verordnung und die entsprechenden Verpflichtungen bei den dort geregelten produktbezogenen Hochrisiko-Systemen ist der 2. August 2027 vorgesehen.

Daneben enthält insbesondere Art. 111 KI-Verordnung Übergangsregelungen für bestimmte bereits in Verkehr gebrachte oder in Betrieb genommene Systeme und Modelle. Der allgemeine Zeitplan allein genügt daher nicht, um die Pflichten für ein konkretes Produkt zu bestimmen.

Transparenz ist keine allgemeine Fehlergarantie

Art. 50 KI-Verordnung enthält besondere Transparenzpflichten, deren allgemeiner Anwendungsbeginn nach Art. 113 KI-Verordnung der 2. August 2026 ist. Sie betreffen unter anderem bestimmte direkte Interaktionen mit Menschen sowie künstlich erzeugte oder manipulierte Inhalte.

Die Vorschrift unterscheidet zwischen verschiedenen Pflichten und Verantwortlichen. Bei direkt mit Menschen interagierenden KI-Systemen ist grundsätzlich über die Interaktion mit einem KI-System zu informieren, soweit dies nicht bereits unter den gesetzlich genannten Umständen offensichtlich ist. Für synthetische Inhalte bestehen daneben besondere Anforderungen, etwa an maschinenlesbare Erkennbarkeit und an die Offenlegung bestimmter Deepfakes.

Nicht jeder unter KI-Mitwirkung entstandene Text muss deshalb unterschiedslos mit demselben sichtbaren Hinweis versehen werden. Für Texte zur Information der Öffentlichkeit über Angelegenheiten von öffentlichem Interesse sieht Art. 50 KI-Verordnung spezielle Voraussetzungen und Ausnahmen vor.

Eine Kennzeichnung bestätigt weder die sachliche Richtigkeit noch die Rechtmäßigkeit eines Inhalts. Sie rechtfertigt insbesondere keine Verletzung von Persönlichkeits- oder Urheberrechten.

Datenschutz: Welche Grenzen für Eingaben und Auswertungen gelten

Personenbezug und Rechtsgrundlage

Die DSGVO ist im Rahmen ihres sachlichen und räumlichen Anwendungsbereichs zu beachten, wenn personenbezogene Daten verarbeitet werden. Dazu gehören nicht nur Namen und Adressen, sondern auch Informationen, durch die eine Person mittelbar identifizierbar ist.

Bei pseudonymisierten Daten ist zu prüfen, ob eine Zuordnung unter Berücksichtigung der vernünftigerweise einsetzbaren Mittel möglich ist. Die bloße Ersetzung eines Namens durch eine Kennnummer macht Daten nicht automatisch anonym. Insbesondere für eine Stelle, die auf die Zuordnungsinformationen zugreifen kann, bleibt regelmäßig ein Personenbezug bestehen.

Wer Kundennachrichten, Beschäftigtendaten oder Gesprächsprotokolle in einen KI-Dienst eingibt, benötigt eine tragfähige Rechtsgrundlage, insbesondere nach Art. 6 DSGVO. Bei Gesundheitsdaten und anderen besonderen Kategorien personenbezogener Daten sind zusätzlich die Voraussetzungen des Art. 9 DSGVO zu beachten. Technische Nützlichkeit ersetzt keine Rechtsgrundlage.

Für berufliche Anwendungen müssen außerdem die Rollen der Beteiligten geklärt werden. Liegt Auftragsverarbeitung vor, bedarf es grundsätzlich eines Vertrags oder eines anderen bindenden Rechtsinstruments nach Art. 28 Abs. 3 DSGVO. Verarbeitet der Dienst Daten für eigene Zwecke, lässt sich dies nicht allein durch eine abweichende Vertragsbezeichnung zur Auftragsverarbeitung machen.

Zweckbindung, Datensparsamkeit und Sicherheit

Nach Art. 5 DSGVO sind unter anderem Zweckbindung, Datenminimierung und Speicherbegrenzung einzuhalten. Daten, die zur Bearbeitung einer Kundenanfrage erhoben wurden, dürfen nicht ohne weitere Prüfung für das Training eines allgemeinen Modells verwendet werden. Zu klären sind insbesondere Zweckvereinbarkeit, Rechtsgrundlage und Informationspflichten.

Art. 32 DSGVO verlangt risikogerechte technische und organisatorische Sicherheitsmaßnahmen. Bei KI-Diensten betrifft dies beispielsweise Zugriffsrechte, den Schutz vertraulicher Eingaben und geeignete Lösch- und Berechtigungskonzepte. Protokollierung kann zur Sicherheit und Nachvollziehbarkeit beitragen, muss aber ihrerseits datenschutzgerecht ausgestaltet sein.

Übermittlungen personenbezogener Daten an Empfänger in Drittländern unterliegen zusätzlich Art. 44 ff. DSGVO. Dabei kann auch ein Zugriff aus einem Drittland rechtlich relevant sein. Der bloße Standort eines Rechenzentrums innerhalb der Europäischen Union beantwortet daher nicht sämtliche Übermittlungsfragen.

Die Ausnahme für ausschließlich persönliche oder familiäre Tätigkeiten nach Art. 2 Abs. 2 Buchst. c DSGVO befreit kommerzielle Plattformanbieter nicht von ihren eigenen Pflichten. Eine Veröffentlichung für einen unbestimmten Personenkreis lässt sich zudem nicht ohne Weiteres als ausschließlich persönliche Tätigkeit behandeln.

Automatisierte Entscheidungen

Art. 22 Abs. 1 DSGVO enthält grundsätzlich ein Verbot ausschließlich automatisierter Entscheidungen, die gegenüber einer Person rechtliche Wirkung entfalten oder sie in ähnlicher Weise erheblich beeinträchtigen. Eine gewöhnliche Filmempfehlung erreicht diese Schwelle regelmäßig nicht. Die Ablehnung eines Kredits oder einer Bewerbung kann sie dagegen erreichen.

Art. 22 Abs. 2 DSGVO sieht Ausnahmen vor, insbesondere bei Erforderlichkeit für den Abschluss oder die Erfüllung eines Vertrags, gesetzlicher Zulassung oder ausdrücklicher Einwilligung. Die jeweiligen Voraussetzungen sind gesondert zu prüfen. Eine Entscheidung wird nicht bereits dadurch vertraglich erforderlich, dass die Automatisierung kostengünstiger ist.

In den Fällen vertraglicher Erforderlichkeit oder ausdrücklicher Einwilligung verlangt Art. 22 Abs. 3 DSGVO geeignete Schutzmaßnahmen. Dazu gehören mindestens das Recht auf menschliches Eingreifen, auf Darlegung des eigenen Standpunkts und auf Anfechtung der Entscheidung. Bei gesetzlich zugelassenen Entscheidungen muss die betreffende Rechtsvorschrift angemessene Schutzmaßnahmen vorsehen. Für besondere Datenkategorien enthält Art. 22 Abs. 4 DSGVO zusätzliche Beschränkungen.

Eine Datenschutz-Folgenabschätzung nach Art. 35 DSGVO ist erforderlich, wenn die Verarbeitung voraussichtlich ein hohes Risiko für Rechte und Freiheiten natürlicher Personen zur Folge hat. Der Einsatz von KI löst diese Pflicht nicht unterschiedslos aus, kann aber wesentlich zu einer solchen Risikobewertung beitragen.

Rechtsprechungslinien: Kontrolle statt blindes Vertrauen in Systemergebnisse

Kredit-Scoring und maßgeblicher Einfluss

Der Gerichtshof der Europäischen Union hat mit Urteil vom 7. Dezember 2023, C-634/21, zum SCHUFA-Scoring entschieden. Danach kann bereits die automatisierte Erstellung eines Wahrscheinlichkeitswerts über die Fähigkeit einer Person, künftigen Zahlungsverpflichtungen nachzukommen, eine automatisierte Entscheidung im Sinne von Art. 22 DSGVO darstellen, wenn ein Dritter diesem Wert bei seiner Entscheidung über ein Vertragsverhältnis eine maßgebliche Rolle beimisst.

Die Entscheidung ist auch für andere arbeitsteilige Entscheidungsprozesse bedeutsam. Die Auslagerung eines entscheidungsprägenden Bewertungsschritts schließt die Anwendung von Art. 22 DSGVO nicht aus. Entscheidend ist, welche tatsächliche Bedeutung das Ergebnis im weiteren Verfahren besitzt.

Das Urteil enthält kein allgemeines Verbot jeder statistischen Bewertung oder jedes Scorings. Ob eine konkrete Verarbeitung zulässig ist, hängt insbesondere von Rechtsgrundlagen, Ausnahmen und Schutzvorkehrungen ab.

Verständliche Information über Entscheidungsverfahren

Mit Urteil vom 27. Februar 2025, C-203/22, hat der Gerichtshof der Europäischen Union die Anforderungen an aussagekräftige Informationen über die involvierte Logik nach Art. 15 Abs. 1 Buchst. h DSGVO konkretisiert. Betroffene müssen das tatsächlich angewandte Verfahren und die Grundsätze der automatisierten Verarbeitung in verständlicher Weise nachvollziehen können.

Die bloße Mitteilung einer komplexen mathematischen Formel oder eines Algorithmus genügt dafür nicht notwendigerweise. Umgekehrt folgt daraus kein allgemeiner Anspruch auf vollständige Herausgabe des Quellcodes. Erforderlich ist eine verständliche Erläuterung, die insbesondere erkennen lässt, welche personenbezogenen Daten wie verwendet wurden.

Der Schutz von Geschäftsgeheimnissen rechtfertigt keine pauschale Verweigerung aller geschuldeten Informationen. Beruft sich ein Verantwortlicher auf entgegenstehende Geheimhaltungsinteressen oder Rechte Dritter, müssen die zuständige Aufsichtsbehörde oder das zuständige Gericht die betroffenen Interessen im dafür vorgesehenen Verfahren prüfen können.

Automatisierte staatliche Datenanalyse

Das Bundesverfassungsgericht hat mit Urteil vom 16. Februar 2023, 1 BvR 1547/19 und 1 BvR 2634/20, verfassungsrechtliche Anforderungen an automatisierte polizeiliche Datenanalyse und Datenauswertung behandelt.

Die Entscheidung betrifft spezifische polizeirechtliche Befugnisse, nicht jede alltägliche KI-Anwendung. Sie verdeutlicht jedoch, dass die automatisierte Verknüpfung vorhandener Daten eigenständige und intensive Grundrechtseingriffe ermöglichen kann. Dass Ausgangsdaten bereits rechtmäßig gespeichert wurden, rechtfertigt nicht automatisch jede spätere Analyse.

Die Anforderungen an die gesetzliche Grundlage und die Eingriffsschwellen hängen insbesondere vom Gewicht des möglichen Eingriffs, den verwendbaren Daten und den zugelassenen Analysemethoden ab. Aussagen aus dem Urteil sind deshalb nur unter Berücksichtigung des jeweiligen staatlichen Einsatzkontexts übertragbar.

Typische Fallkonstellationen im Alltag

Chatbots beim Einkauf und im Kundenservice

Ein Kundenservice-Chatbot kann Vertragsinformationen geben, Reklamationen entgegennehmen oder Kaufentscheidungen beeinflussen. Ob seine Aussage rechtlich bindend ist, hängt insbesondere von ihrem Erklärungswert, dem erkennbaren Kontext und ihrer Zurechnung zum Unternehmen ab. Für die Auslegung rechtsgeschäftlicher Erklärungen sind insbesondere §§ 133, 157 BGB maßgeblich.

Die Kennzeichnung als Chatbot macht rechtserhebliche Erklärungen nicht automatisch unverbindlich. Umgekehrt stellt nicht jede automatisch erzeugte Auskunft bereits ein verbindliches Vertragsangebot dar. Auch die Gestaltung des Bestellablaufs und wirksam einbezogene Vertragsbedingungen können erheblich sein.

Unzutreffende Angaben können vorvertragliche oder vertragliche Pflichtverletzungen begründen. Irreführende geschäftliche Angaben können unter den Voraussetzungen des § 5 UWG unzulässig sein. Ein allgemeiner Hinweis auf mögliche Systemfehler beseitigt gesetzliche Informationspflichten nicht.

Bewerbungen und betriebliche Leistungsbewertung

Wer KI zur Bewerberauswahl einsetzt, muss insbesondere das AGG und das anwendbare Beschäftigtendatenschutzrecht beachten. § 1 AGG benennt die geschützten Merkmale. Scheinbar neutrale Kriterien können nach § 3 Abs. 2 AGG mittelbar benachteiligend wirken, wenn sie Personen wegen eines geschützten Merkmals besonders benachteiligen können und keine gesetzlich tragfähige Rechtfertigung besteht.

Ein statistischer Unterschied beweist für sich genommen nicht zwangsläufig eine rechtswidrige Diskriminierung. Umgekehrt entlastet die technische Herkunft eines Auswahlvorschlags den Arbeitgeber nicht automatisch. Nach § 22 AGG trägt die andere Partei die Beweislast dafür, dass kein Verstoß gegen Benachteiligungsschutzbestimmungen vorliegt, wenn die betroffene Partei entsprechende Indizien beweist.

Bei technischen Einrichtungen, die zur Überwachung von Verhalten oder Leistung der Beschäftigten geeignet sind, kommt die Mitbestimmung nach § 87 Abs. 1 Nr. 6 BetrVG in Betracht. Eine ausdrücklich erklärte Überwachungsabsicht ist dafür nicht stets erforderlich. Zusätzlich können Unterrichtungs-, Beratungs- oder weitere Mitbestimmungsrechte des Betriebsrats berührt sein.

Die Einwilligung von Beschäftigten ist ebenfalls nicht allein wegen ihrer schriftlichen Erklärung wirksam. Insbesondere ihre Freiwilligkeit muss unter Berücksichtigung des Beschäftigungsverhältnisses beurteilt werden.

Gesundheitsanwendungen und medizinische Empfehlungen

Nicht jede Gesundheits-App ist ein Medizinprodukt. Maßgeblich ist insbesondere die vom Hersteller festgelegte Zweckbestimmung nach dem anwendbaren Medizinprodukterecht. Bei Software zur Diagnoseunterstützung oder Therapieplanung können die Voraussetzungen der Verordnung (EU) 2017/745 erfüllt sein; für bestimmte andere Anwendungen können abweichende Spezialregelungen einschlägig sein.

Im Behandlungsverhältnis richten sich die vertraglichen Pflichten insbesondere nach §§ 630a ff. BGB. Nach § 630a Abs. 2 BGB ist grundsätzlich der zum Zeitpunkt der Behandlung bestehende, allgemein anerkannte fachliche Standard maßgeblich, soweit nicht etwas anderes vereinbart ist.

Der Einsatz einer KI beseitigt weder diesen Maßstab noch die einschlägigen Dokumentations- und Aufklärungspflichten. Eine ausnahmslose Pflicht, jede technische KI-Unterstützung gesondert zu erläutern, lässt sich daraus jedoch nicht ableiten. Entscheidend können ihre Bedeutung für die Behandlung, besondere Risiken und verfügbare Alternativen sein.

Allgemeine Gesundheitsinformationen eines Chatbots sind von einer fachlich verantworteten Behandlung zu unterscheiden. Die sprachliche Überzeugungskraft einer Antwort belegt keine medizinische Zuverlässigkeit.

Bilder, Stimmen und täuschende Identitätsdarstellungen

KI-generierte Bilder und nachgeahmte Stimmen können Persönlichkeitsrechte verletzen. Bei der Verbreitung oder öffentlichen Zurschaustellung erkennbarer Bildnisse sind insbesondere §§ 22, 23 Kunsturhebergesetz zu prüfen. Dabei ist das Verhältnis zum Datenschutzrecht und zu grundrechtlich geschützten Kommunikationsfreiheiten zu berücksichtigen.

Auch ein synthetisches Bild kann ein rechtlich geschütztes Bildnis darstellen, wenn die betreffende Person erkennbar ist. Die Bezeichnung als Satire oder Kunst führt nicht automatisch zur Zulässigkeit. Erforderlich ist eine kontextbezogene Prüfung einschließlich der berechtigten Interessen der dargestellten Person.

Das allgemeine Persönlichkeitsrecht kann außerdem gegen täuschende Stimmenimitationen oder die Zuschreibung erfundener Äußerungen schützen. Nicht jede erkennbare Nachahmung ist allerdings unabhängig von ihrem Kontext rechtswidrig.

Bei betrügerischen Verwendungen oder ehrverletzenden Inhalten können zusätzlich strafrechtliche Tatbestände erfüllt sein, etwa § 263 StGB oder §§ 185 ff. StGB. Eine künstliche Erzeugung erfüllt solche Tatbestände nicht allein aufgrund ihrer technischen Entstehungsweise. Entscheidend sind insbesondere Inhalt, Täuschung, Vorsatz und die weiteren gesetzlichen Merkmale.

KI in Behördenverfahren

Für Verwaltungsentscheidungen gelten Gesetzesbindung, Verfahrensrechte und die jeweils einschlägigen Begründungspflichten unabhängig von der eingesetzten Technik. § 35a VwVfG erlaubt den vollständig automatisierten Erlass eines Verwaltungsakts nur, soweit dies durch Rechtsvorschrift zugelassen ist und weder Ermessen noch Beurteilungsspielraum besteht.

Diese Vorschrift gilt nicht unterschiedslos für jedes Verwaltungsverfahren. Ihr Anwendungsbereich, besondere Verfahrensgesetze und gegebenenfalls Landesrecht sind zu berücksichtigen. Eine unterstützende Datenanalyse ist außerdem von einem vollständig automatisierten Verwaltungsakt zu unterscheiden.

Betroffene müssen grundsätzlich die behördliche Entscheidung mit den vorgesehenen Rechtsbehelfen angreifen. Welche Rechtsbehelfe und Fristen gelten, hängt vom Verfahrensgebiet und der konkreten Entscheidung ab. Eine Anfrage nach der Funktionsweise des Systems ersetzt regelmäßig weder Widerspruch noch Klage und hält entsprechende Fristen nicht ohne besondere Rechtsgrundlage offen.

Urheberrecht und Vertraulichkeit bei generativer KI

Schutzfähigkeit erzeugter Inhalte

Nach § 2 Abs. 2 UrhG sind Werke nur persönliche geistige Schöpfungen. Rein maschinell erzeugte Inhalte ohne hinreichenden menschlichen schöpferischen Beitrag genießen daher grundsätzlich keinen urheberrechtlichen Werkschutz. Die KI selbst ist kein Urheber im Sinne des § 7 UrhG.

Bei gemischten Entstehungsprozessen ist genauer zu prüfen. Eine menschliche Überarbeitung, Auswahl oder Anordnung kann geschützt sein, wenn gerade darin eine hinreichende persönliche geistige Schöpfung liegt. Der Schutz einer solchen Leistung bedeutet nicht notwendigerweise, dass sämtliche maschinell erzeugten Bestandteile eigenständig geschützt sind.

Weder die Länge einer Eingabe noch die Anzahl der Erzeugungsversuche begründet für sich genommen ein Urheberrecht. Maßgeblich bleibt die konkrete menschliche Gestaltung.

Auch ein nicht als Werk geschütztes KI-Ergebnis darf nicht beliebig verwendet werden. Es kann fremde geschützte Werkteile enthalten oder Marken-, Persönlichkeits- und andere Rechte berühren.

Trainingsdaten und Nutzungsvorbehalte

§ 44b UrhG erlaubt unter bestimmten Voraussetzungen Vervielfältigungen rechtmäßig zugänglicher Werke für Text und Data Mining. Die gesetzliche Erlaubnis gilt nur, soweit sich der Rechteinhaber die Nutzung nicht vorbehalten hat. Bei online zugänglichen Werken ist ein solcher Vorbehalt nach § 44b Abs. 3 UrhG nur in maschinenlesbarer Form wirksam.

Die aufgrund dieser Vorschrift hergestellten Vervielfältigungen sind nach § 44b Abs. 2 UrhG zu löschen, wenn sie für das Text und Data Mining nicht mehr erforderlich sind. Die Vorschrift enthält daher keine voraussetzungslose Erlaubnis zur dauerhaften Sammlung beliebiger Inhalte.

Inwieweit einzelne Trainingsschritte generativer KI von der Regelung erfasst werden und welche Anforderungen an Nutzungsvorbehalte im konkreten technischen Zusammenhang zu stellen sind, ist teilweise umstritten. Öffentliche Abrufbarkeit bedeutet jedenfalls keine uneingeschränkte Nutzungsfreiheit. Ebenso beantwortet eine zulässige Trainingsvervielfältigung nicht automatisch die Frage, ob eine spätere Ausgabe verbreitet werden darf.

Für Text und Data Mining zu Zwecken wissenschaftlicher Forschung enthält § 60d UrhG eine eigenständige Regelung. Ihre persönlichen und sachlichen Voraussetzungen sind von denen des § 44b UrhG zu unterscheiden.

Geschäftsgeheimnisse und berufliche Verschwiegenheit

Die Eingabe vertraulicher Informationen in einen externen KI-Dienst kann gesetzliche oder vertragliche Geheimhaltungspflichten verletzen. Betroffen sein können interne Kalkulationen, technische Unterlagen, Mandatsinformationen oder nicht veröffentlichte Vertragsentwürfe.

Ein Geschäftsgeheimnis setzt nach § 2 Nr. 1 GeschGehG unter anderem angemessene Geheimhaltungsmaßnahmen voraus. Ob eine externe Verarbeitung den Schutz gefährdet, hängt insbesondere von Zugriffsmöglichkeiten, vertraglichen Sicherungen, Verwendungszwecken und technischen Schutzmaßnahmen ab. Nicht jede Nutzung eines externen Dienstleisters führt automatisch zum Verlust des Geheimnisschutzes.

Bei den von § 203 StGB erfassten Berufsgeheimnisträgern sind zusätzliche Anforderungen zu beachten. Die Einbindung mitwirkender Personen kann unter gesetzlichen Voraussetzungen zulässig sein, verlangt aber eine genaue Prüfung der erforderlichen Offenbarung und der Geheimhaltungssicherung. Daneben können berufsrechtliche und datenschutzrechtliche Pflichten bestehen.

Eine allgemeine Datenschutzerklärung des Dienstes ersetzt diese Prüfung nicht. Besonders bedeutsam ist, ob Eingaben für eigene Zwecke des Anbieters, etwa zur weiteren Modellentwicklung, verwendet werden dürfen.

Rechtsfolgen und Haftungsrisiken

Vertragliche Verantwortung

Ein Unternehmen kann sich gegenüber Vertragspartnern nicht allein mit dem Hinweis entlasten, eine eingesetzte Software habe den Fehler verursacht. Schadensersatz nach § 280 Abs. 1 BGB setzt ein Schuldverhältnis, eine Pflichtverletzung und einen dadurch verursachten ersatzfähigen Schaden voraus. Die Ersatzpflicht entfällt nach dieser Vorschrift, wenn der Schuldner die Pflichtverletzung nicht zu vertreten hat.

Damit besteht keine allgemeine verschuldensunabhängige Haftung für jedes fehlerhafte KI-Ergebnis. Zu prüfen sind unter anderem Auswahl, Organisation, Überwachung und die vereinbarte Risikoverteilung. Für bestimmte Schadensersatzansprüche gelten zusätzliche Voraussetzungen, etwa eine grundsätzlich erforderliche Fristsetzung.

Bei Verbraucherverträgen über digitale Produkte können §§ 327 ff. BGB einschlägig sein. Für Verbrauchsgüterkäufe über Waren mit digitalen Elementen enthalten insbesondere §§ 475b ff. BGB besondere Regeln. Die jeweiligen Anwendungsbereiche und Ausnahmen sind gesondert zu beachten.

Ob ein falsches KI-Ergebnis einen Mangel darstellt, hängt von der vertraglich und gesetzlich geschuldeten Beschaffenheit ab. Ein probabilistisches Werkzeug schuldet nicht ohne Weiteres ausnahmslose Fehlerfreiheit. Allgemeine Fehlerhinweise erlauben es dem Anbieter aber auch nicht, zwingende Verbraucherrechte oder verbindliche Qualitätszusagen beliebig auszuschließen.

Deliktische und datenschutzrechtliche Ansprüche

§ 823 Abs. 1 BGB schützt unter anderem Leben, Körper, Gesundheit, Eigentum und sonstige Rechte. Wer solche Rechtsgüter durch schuldhaften, rechtswidrigen KI-Einsatz verletzt, kann bei Vorliegen der weiteren Voraussetzungen schadensersatzpflichtig sein. Reine Vermögensschäden sind von dieser Vorschrift nicht allgemein erfasst.

Art. 82 DSGVO ermöglicht Ersatz materieller und immaterieller Schäden infolge eines Datenschutzverstoßes. Ein Verstoß allein genügt nicht. Erforderlich sind ein Schaden und ein ursächlicher Zusammenhang. Nach dem Urteil des Gerichtshofs der Europäischen Union vom 4. Mai 2023, C-300/21, besteht keine zusätzliche allgemeine Erheblichkeitsschwelle für immaterielle Schäden.

Die Haftungsvoraussetzungen unterscheiden sich nach der Rolle der Beteiligten. Art. 82 DSGVO enthält insbesondere besondere Regeln für Auftragsverarbeiter und eine Möglichkeit der Haftungsbefreiung unter den dort genannten Voraussetzungen. Nicht jeder technisch beteiligte Dienstleister haftet automatisch für jeden Verarbeitungsfehler.

Bei Persönlichkeitsrechtsverletzungen kommen insbesondere Unterlassungs- und Beseitigungsansprüche in Betracht. Eine Geldentschädigung wegen einer Persönlichkeitsrechtsverletzung setzt dagegen weitergehende Voraussetzungen voraus und folgt nicht aus jeder unzulässigen Veröffentlichung.

Sanktionen und Beweisprobleme

Datenschutzrecht und KI-Verordnung enthalten Regelungen über behördliche Eingriffsbefugnisse und Geldbußen. Bei der KI-Verordnung müssen der jeweilige Anwendungsbeginn, mögliche Übergangsregeln und die konkret verletzte Pflicht berücksichtigt werden.

Behördliche Sanktionen sind von zivilrechtlichen Ansprüchen zu trennen. Eine Beanstandung durch eine Aufsichtsbehörde führt nicht ohne Weiteres zu einem Zahlungsanspruch jeder betroffenen Person. Umgekehrt hängt ein zivilrechtlicher Anspruch nicht stets davon ab, dass zuvor eine Behörde tätig geworden ist.

Praktisch schwierig ist häufig der Nachweis, wodurch ein fehlerhaftes Ergebnis entstanden ist. Dokumentierte Eingaben, Ausgaben, Systemversionen und Kontrollschritte können dafür erheblich sein. Die Dokumentation muss ihrerseits rechtmäßig erfolgen. Eine allgemeine Regel, nach der bei jedem KI-Schaden automatisch der Anbieter haftet oder sämtliche Beweislasten trägt, besteht nicht.

Verfahren und Fristen: Rechte wirksam geltend machen

Datenschutzrechtliche Anträge und Beschwerden

Betroffene können insbesondere Auskunft nach Art. 15 DSGVO sowie unter den jeweiligen Voraussetzungen Berichtigung, Löschung oder Einschränkung der Verarbeitung verlangen. Je nach Verarbeitungsgrundlage und Verwendungszweck kommt ein Widerspruch nach Art. 21 DSGVO in Betracht.

Diese Rechte sind nicht schrankenlos. Beispielsweise können gesetzliche Aufbewahrungspflichten oder andere ausdrücklich geregelte Gründe einer Löschung entgegenstehen. Ein Widerspruch führt außerhalb der Direktwerbung nicht in jeder Konstellation zwingend zur sofortigen endgültigen Beendigung der Verarbeitung.

Nach Art. 12 Abs. 3 DSGVO muss der Verantwortliche grundsätzlich unverzüglich, spätestens innerhalb eines Monats nach Eingang eines Antrags nach Art. 15 bis 22 DSGVO, über die ergriffenen Maßnahmen informieren. Bei Erforderlichkeit kann die Frist unter Berücksichtigung der Komplexität und der Anzahl der Anträge um zwei weitere Monate verlängert werden. Über die Verlängerung und ihre Gründe ist innerhalb des ersten Monats zu informieren.

Wird der Verantwortliche auf den Antrag hin nicht tätig, gelten die Informationspflichten des Art. 12 Abs. 4 DSGVO. Eine Beschwerde bei einer Datenschutzaufsichtsbehörde ist unter den Voraussetzungen des Art. 77 DSGVO möglich. Sie ersetzt keine zivilgerichtliche Klage und hemmt zivilrechtliche Verjährungsfristen nicht generell.

Verjährung und besondere Ausschlussfristen

Für viele zivilrechtliche Ansprüche gilt die regelmäßige Verjährungsfrist von drei Jahren nach § 195 BGB. Nach § 199 Abs. 1 BGB beginnt sie grundsätzlich mit dem Schluss des Jahres, in dem der Anspruch entstanden ist und die anspruchsberechtigte Person Kenntnis von den anspruchsbegründenden Umständen und der Person des Schuldners erlangt hat oder ohne grobe Fahrlässigkeit hätte erlangen müssen.

Diese Regel gilt nicht für sämtliche Ansprüche. Insbesondere das Mängelrecht enthält besondere Verjährungsvorschriften. Daneben sind kenntnisunabhängige Höchstfristen und mögliche Hemmungstatbestände zu berücksichtigen.

Bei Benachteiligungen im Arbeitsleben müssen Ansprüche nach § 15 Abs. 1 und 2 AGG grundsätzlich innerhalb von zwei Monaten schriftlich geltend gemacht werden, sofern Tarifvertragsparteien nichts anderes vereinbart haben. Nach § 15 Abs. 4 AGG beginnt die Frist bei einer Bewerbung oder einem beruflichen Aufstieg grundsätzlich mit dem Zugang der Ablehnung, in sonstigen Fällen mit der Kenntnis von der Benachteiligung.

Für die Klage auf Entschädigung nach § 15 AGG bestimmt § 61b Abs. 1 ArbGG eine Frist von drei Monaten nach schriftlicher Geltendmachung. Diese Klagefrist ist von der vorausgehenden Geltendmachungsfrist zu unterscheiden. Eine bloße Bitte um technische Erläuterung wahrt solche Fristen nicht zwangsläufig.

Schnelle Reaktion und Beweissicherung

Bei rufschädigenden Deepfakes oder fortdauernden rechtsverletzenden Veröffentlichungen kann einstweiliger Rechtsschutz in Betracht kommen. Seine Voraussetzungen müssen gesondert dargelegt und gegebenenfalls glaubhaft gemacht werden. Eine einheitliche gesetzliche Dringlichkeitsfrist für sämtliche Fallgruppen existiert nicht. Längeres Zuwarten kann je nach Verfahren und gerichtlicher Beurteilung gegen die erforderliche Dringlichkeit sprechen.

Beweise sollten möglichst zeitnah und vollständig gesichert werden. Dazu können Bildschirmaufnahmen, Internetadressen, Datum, Kommunikationsverläufe und Vertragsunterlagen gehören. Relevant ist nicht nur der einzelne Inhalt, sondern gegebenenfalls auch sein Veröffentlichungskontext.

Beweissicherung muss rechtmäßig bleiben. Insbesondere die unbefugte Aufnahme des nichtöffentlich gesprochenen Wortes kann nach § 201 StGB strafbar sein. Auch das Weiterverbreiten eines rechtsverletzenden Inhalts zu Dokumentationszwecken kann eigene rechtliche Fragen aufwerfen.

Praktische Handlungsschritte für Nutzer und Organisationen

Für Verbraucher und sonstige Betroffene

Ein geordneter Umgang mit nachteiligen KI-Ergebnissen erleichtert die rechtliche Einordnung:

• Feststellen, welches Unternehmen oder welche Behörde die konkrete Entscheidung getroffen hat.
• Ergebnis, Zeitpunkt, Begleitumstände und erkennbare Auswirkungen dokumentieren.
• Bei erheblichen Entscheidungen nach nachvollziehbaren Gründen und gegebenenfalls menschlicher Überprüfung fragen.
• Datenschutzrechtliche Anträge konkret auf die eigenen Daten und Verarbeitungsvorgänge beziehen.
• Rechtsbehelfs-, Verjährungs- und Ausschlussfristen unabhängig von laufenden Auskunftsanfragen beachten.

Ein Anspruch auf menschliche Überprüfung besteht nicht unterschiedslos bei jeder Empfehlung eines KI-Systems. Er kann sich insbesondere aus Art. 22 DSGVO ergeben, wenn dessen Voraussetzungen erfüllt sind. Eine Nachfrage ist gleichwohl auch außerhalb eines solchen Anspruchs möglich.

Vertrauliche Unterlagen sollten nicht ohne Prüfung in externe KI-Dienste eingegeben werden. Medizinische, finanzielle oder rechtliche Aussagen mit erheblichen Folgen sollten anhand geeigneter unabhängiger Quellen kontrolliert werden. Eine vom System genannte Fundstelle ist erst dann belastbar, wenn sie tatsächlich existiert und die betreffende Aussage trägt.

Für Unternehmen, Behörden und Arbeitgeber

Organisationen sollten vor dem Einsatz Zweck, Datenflüsse und Verantwortlichkeiten erfassen. Darauf aufbauend sind Datenschutzrecht, KI-Verordnung und einschlägige Fachgesetze zu prüfen. Eine bloße Freigabe durch die IT-Abteilung deckt diese Fragen nicht notwendig vollständig ab.

Interne Vorgaben sollten festlegen, welche Daten eingegeben werden dürfen, für welche Aufgaben das System geeignet ist und wann eine menschliche Prüfung erforderlich bleibt. Dabei müssen Kontrollpersonen tatsächlich über Zeit, Informationen und Entscheidungsspielraum verfügen.

Beschaffungsverträge sollten unter anderem die Verwendung von Eingabedaten, Sicherheitsanforderungen, Unterstützung bei Betroffenenrechten, Systemänderungen und die Beendigung der Zusammenarbeit berücksichtigen. Vertragliche Zusicherungen ersetzen allerdings keine Prüfung ihrer tatsächlichen Umsetzung.

Änderungen des Modells, neue Einsatzgebiete oder veränderte Datenbestände können eine erneute rechtliche Bewertung erforderlich machen. Schulungen, dokumentierte Zuständigkeiten und eine risikogerechte Überprüfung unterstützen deshalb einen fortlaufenden Verantwortungsprozess.

Offene Streitfragen und Entwicklungslinien

Erklärbarkeit und Schutzinteressen der Anbieter

Eine zentrale Herausforderung besteht darin, automatisierte Entscheidungen verständlich zu erklären, ohne sämtliche technischen Einzelheiten offenlegen zu müssen. Soweit eine entsprechende Informationspflicht besteht, müssen Informationen eine wirksame rechtliche Kontrolle ermöglichen.

Bei komplexen Modellen ist zwischen technischer Beschreibung und individueller Erklärung zu unterscheiden. Eine allgemeine Darstellung des Modelltyps kann unzureichend sein, wenn offenbleibt, welche Daten und Bewertungsgrundsätze für die konkrete Entscheidung maßgeblich waren. Umgekehrt verlangt das Recht nicht in jeder Situation eine vollständige naturwissenschaftliche Rekonstruktion sämtlicher interner Verarbeitungsschritte.

Geschäftsgeheimnisse und Rechte Dritter können gegenläufige Schutzinteressen begründen. Der Ausgleich richtet sich nach der jeweils einschlägigen Informationspflicht und dem zuständigen Verfahren. Ein allgemeiner Anspruch auf vollständige technische Transparenz lässt sich daraus nicht ableiten.

Menschliche Kontrolle und verteilte Verantwortung

In zahlreichen Anwendungssituationen ist nicht abschließend geklärt, welche Kontrolltiefe angemessen ist. Die Anforderungen hängen unter anderem von Schadenspotenzial, fachlichen Standards, Systemzuverlässigkeit und gesetzlichen Vorgaben ab.

Eine bloße Bestätigung ohne eigenständige Prüfung kann Schutzvorschriften leerlaufen lassen. Umgekehrt folgt aus der Pflicht zu menschlicher Aufsicht nicht stets, dass jede einzelne Ausgabe vollständig neu erarbeitet werden muss. Entscheidend ist, ob die vorgesehene Kontrolle im konkreten Einsatz wirksam und rechtlich ausreichend ist.

Komplexe Lieferketten aus Modellentwicklern, Plattformbetreibern, Integratoren und Anwendern erschweren zusätzlich die Verantwortungszuordnung. Vertragliche Haftungsverteilungen können intern bedeutsam sein, bestimmen aber nicht abschließend die Rechte außenstehender Betroffener.

Für die weitere rechtliche Konkretisierung sind insbesondere tatsächliche Einflussmöglichkeiten relevant: Wer bestimmt Datenverwendung und Systemgestaltung, wer legt den Einsatzkontext fest und wer kann erkennbare Risiken verhindern oder begrenzen?

Zusammenfassung

Künstliche Intelligenz im Alltag ist rechtlich kein isoliertes Spezialthema. Ihre Zulässigkeit ergibt sich aus dem Zusammenspiel der europäischen KI-Verordnung mit Datenschutzrecht, Vertragsrecht, Persönlichkeitsrecht und weiteren Fachgesetzen. Entscheidend sind die konkrete Funktion, die verarbeiteten Daten und die Auswirkungen auf betroffene Menschen.

Besondere Aufmerksamkeit verlangen automatisierte Entscheidungen mit erheblichen Folgen, sensible Daten, diskriminierungsanfällige Auswahlverfahren und täuschende Inhalte. Unternehmen und Behörden behalten eigene Pflichten, wenn sie Aufgaben durch KI unterstützen lassen. Technische Komplexität und externe Dienstleister beseitigen diese Pflichten nicht, begründen aber ebenso wenig automatisch eine Haftung jedes Beteiligten.

Für Betroffene sind nachvollziehbare Informationen, zulässige Beweissicherung und die Einhaltung einschlägiger Fristen wesentlich. Für Organisationen stehen eine belastbare Einsatzprüfung, klare Zuständigkeiten und wirksame Kontrollen im Vordergrund. Die rechtliche Bewertung muss dabei sowohl den konkreten Einsatz als auch den zeitlich gestaffelten Anwendungsbeginn der KI-Verordnung berücksichtigen.