Auf einen Blick

Der italienische Garante Privacy hat das US-amerikanische Unternehmen Character.AI, das einen generativen Dienst für künstliche Intelligenz anbietet, mit einer Geldstrafe von 158.000 Euro belegt. Die Verstöße betreffen die mangelnde Transparenz in den Datenschutzinformationen, den unzureichenden Schutz der Daten von Minderjährigen sowie die verspätete Einführung von Sicherheitsmaßnahmen und die Ernennung eines europäischen Ansprechpartners. Dieser Fall unterstreicht die Bedeutung für Technologieunternehmen, die europäischen Datenschutzvorschriften einzuhalten, insbesondere wenn sie sich an europäische Nutzer und vulnerable Gruppen wie Kinder richten.

Was zu tun ist

Überprüfen Sie immer die Datenschutzinformationen jedes Online-Dienstes, insbesondere wenn dieser auf KI basiert
Seien Sie vorsichtig, wenn Dienste Daten anfordern, ohne genau zu erklären, warum und wie sie diese verwenden werden
Fordern Sie klare Informationen darüber an, wie Ihre Daten geschützt werden, insbesondere wenn es sich um Dienste handelt, die von Ihren Kindern genutzt werden
Stellen Sie sicher, dass Online-Dienste einfache und funktionierende Kontaktmöglichkeiten für Datenschutzfragen bieten

Was zu vermeiden ist

Die Datenschutzinformationen nicht lesen oder Allgemeine Geschäftsbedingungen akzeptieren, ohne sie zu verstehen
Persönliche Daten an Dienste weitergeben, die nicht transparent in Bezug auf deren Nutzung sind
Minderjährige Dienste ohne ausreichenden Schutz oder Alterskontrollen nutzen lassen
Benachrichtigungen bezüglich der Aktualisierung von Datenschutzinformationen ignorieren

Hintergrund

Das Verfahren entstand aus einer von Amts wegen im November 2024 eingeleiteten Untersuchung des Garante Privacy, nachdem festgestellt wurde, dass der generative KI-Dienst Character.AI, der von dem US-amerikanischen Unternehmen Character Technologies, Inc. angeboten wird, in Italien über eine mobile Anwendung und eine Webplattform verfügbar war, auch in italienischer Sprache und mit einer Datenschutzrichtlinie, die sich an Betroffene im EWR richtete. Character.AI ist ein generativer KI-Dienst, der es Nutzern ermöglicht, virtuelle Charaktere zu erstellen und über Chat mit ihnen zu interagieren, basierend auf proprietären Large Language Models (LLM). Im November 2024 wurde eine Version des Dienstes für Minderjährige eingeführt. Die Untersuchung des Garante forderte Klärungen hinsichtlich des Bestehens einer Niederlassung oder der Benennung eines Vertreters in der EU, der ergriffenen Maßnahmen zur Altersverifizierung der Nutzer und der Verarbeitungsaktivitäten, die für das Training der KI-Modelle durchgeführt wurden. Zwischen November 2024 und November 2025 wurden drei Informationsanfragen gestellt.

Die Entscheidung

Der Garante stellte die Rechtswidrigkeit des Verhaltens von Character Technologies, Inc. aufgrund der Verletzung zahlreicher Artikel der Verordnung (EU) 2016/679 fest. Insbesondere stellte er fest: die unterlassene Bereitstellung klarer, verständlicher und vollständiger Informationen in den Datenschutzrichtlinien; die unterlassene angemessene Information italienischer Betroffener bezüglich des Vortrainings der LLMs; die unterlassene Einführung geeigneter technischer und organisatorischer Maßnahmen zur Altersverifizierung und zum Schutz Minderjähriger; die verspätete Durchführung der Datenschutz-Folgenabschätzung (DPIA); und die verspätete Benennung des Vertreters in der Europäischen Union. Er wies den Verantwortlichen an, die Verordnung innerhalb von 120 Tagen durch die Einführung spezifischer Korrekturmaßnahmen bezüglich der Datenschutzrichtlinie, der Speicherung der Vortrainingsdaten und der Altersverifizierungsmaßnahmen für Minderjährige einzuhalten. Er ordnete außerdem die Zahlung einer Geldbuße von 158.000,00 Euro und die Veröffentlichung der Maßnahme auf der Website des Garante an.

Ratio decidendi Der Garante bestätigte seine Gerichtsbarkeit und Zuständigkeit auf der Grundlage von Art. 3 Abs. 2 lit. a) der DSGVO (Kriterium des Targetings), und schloss die Anwendung des One-Stop-Shop-Mechanismus aus. Er befand die Bestimmungen zur Transparenz (Art. 12, 13, 14 DSGVO) wegen unvollständiger, unklarer und nicht immer in italienischer Sprache vorliegender Informationen sowie wegen fehlender Hinweise auf das Widerspruchsrecht und Übermittlungen außerhalb der EU als verletzt. Er stellte die Verletzung der Art. 24 und 25 DSGVO (Privacy by Design und by Default) wegen der Nichtannahme geeigneter Maßnahmen zur Altersverifizierung und zum Schutz der Daten Minderjähriger, die als schutzbedürftige Personen gelten, fest. Er stellte die Verspätung der DPIA (Art. 5 Abs. 2 und 35 Abs. 1 DSGVO) fest, da das hohe Risiko, das sich aus der Nutzung generativer KI, der großflächigen Verarbeitung und der Beteiligung von Minderjährigen ergibt, die DPIA von Anfang an zwingend machte und die Nichtdokumentation interner Bewertungen dem Grundsatz der Rechenschaftspflicht nicht entsprach. Er stellte die verspätete Benennung des Vertreters in der EU fest (Art. 27 Abs. 1 DSGVO) und wies den Einwand der gelegentlichen Verarbeitung zurück. Die Verstöße wurden als fahrlässig eingestuft, da die DSGVO-Vorschriften für das Kerngeschäft des Unternehmens nicht ignoriert werden konnten, die Fahrlässigkeit jedoch aufgrund der Zusammenarbeit und der Compliance-Bemühungen des Unternehmens nicht schwerwiegend war.

Verletzte DSGVO-Artikel

Artikel	Beschreibung	Relevanz
5 par.2 GDPR	Grundsatz der Rechenschaftspflicht (Accountability)	das unternehmen hat die dpia verspätet durchgeführt und nicht nachgewiesen, die risikobewertung von beginn der verarbeitung an angemessen durchgeführt und dokumentiert zu haben.
12 par.1 GDPR	Transparenz, Modalitäten für die Ausübung der Rechte der betroffenen Person	die datenschutzerklärung war nicht klar, verständlich und vollständig, für eine zeit nur auf englisch verfügbar, mit ungenauen angaben zum widerspruchsrecht und zu Übermittlungen außerhalb der eu.
13 par.1 GDPR	Informationen, die zu erteilen sind, wenn personenbezogene Daten bei der betroffenen Person erhoben werden	mängel in den direkt an die nutzer übermittelten informationen bezüglich rechtsgrundlagen, speicherfristen und Übermittlungen außerhalb der eu.
13 par.2 GDPR	Informationen, die zu erteilen sind, wenn personenbezogene Daten bei der betroffenen Person erhoben werden	mängel in den direkt an die nutzer übermittelten informationen bezüglich rechtsgrundlagen, speicherfristen und Übermittlungen außerhalb der eu.
14 par.1 GDPR	Informationen, die zu erteilen sind, wenn die personenbezogenen Daten nicht bei der betroffenen Person erhoben wurden	unterlassene angemessene information italienischer betroffenen über die daten, die für das vortraining der llms aus externen öffentlichen quellen erhoben wurden.
14 par.2 GDPR	Informationen, die zu erteilen sind, wenn die personenbezogenen Daten nicht bei der betroffenen Person erhoben wurden	unterlassene angemessene information italienischer betroffenen über die daten, die für das vortraining der llms aus externen öffentlichen quellen erhoben wurden.
24 par.1 GDPR	Verantwortlichkeit des Verantwortlichen	unterlassene einführung geeigneter technischer und organisatorischer maßnahmen zur altersverifizierung der nutzer, insbesondere minderjähriger.
25 par.2 GDPR	Datenschutz durch Voreinstellung (Privacy by Default)	unterlassene standardmäßige bereitstellung angemessener maßnahmen zum schutz der daten von minderjährigen, insbesondere zur altersverifizierung und zur privaten konfiguration von profilen.
27 par.1 GDPR	Vertreter von Verantwortlichen oder Auftragsverarbeitern, die nicht in der Union niedergelassen sind	verspätete benennung des vertreters in der europäischen union, obwohl der dienst betroffenen in der eu angeboten wurde.
35 par.1 GDPR	Datenschutz-Folgenabschätzung (DPIA)	verspätete durchführung der dpia, die aufgrund der art der verarbeitung (generative ki, großer umfang, minderjährige) und der hohen risiken obligatorisch war.

Auferlegte Maßnahmen

Die eigene Datenschutzrichtlinie (Version ab 1. Juli 2026) den Art. 12 Abs. 1, 13 Abs. 1 und 2 sowie 14 Abs. 1 und 2 der Verordnung anzupassen und die in der Begründung aufgeführten Mängel zu beheben; die Speicherung personenbezogener Daten italienischer Betroffener, die zum Vortraining proprietärer LLMs erhoben wurden, zu prüfen, ob ein anderer, aber kompatibler Zweck vorliegt oder, falls nicht, die vollständige Löschung anzuordnen; die technischen und organisatorischen Maßnahmen zur Altersverifizierung anzupassen, um sicherzustellen: i) das korrekte Funktionieren der Zugangsbeschränkungen (Age Gate) für italienische Nutzer bis zum Alter von sechzehn Jahren; ii) das korrekte Funktionieren des Sperrzeitraums, um weitere Registrierungsversuche von minderjährigen Nutzern zu verhindern; iii) die standardmäßige private Konfiguration des Profils von Minderjährigen; der Behörde innerhalb von 120 Tagen nach Zustellung der Maßnahme die zur Umsetzung der Korrekturmaßnahmen ergriffenen Initiativen mitzuteilen.

Sanktion

Der Garante wies Character Technologies, Inc. an, einen Betrag von 158.000,00 Euro als Verwaltungsbuße für die Verstöße gegen Art. 5 Abs. 2; 12 Abs. 1; 13 Abs. 1 und 2; 14 Abs. 1 und 2; 24 Abs. 1; 25 Abs. 2; 27 Abs. 1 und 35 Abs. 1 der Verordnung zu zahlen. Falls die Streitigkeit gemäß Art. 166 Abs. 8 des Codice nicht beigelegt wird, ist die Zahlung derselben Summe angeordnet. Die Veröffentlichung des Teils der Maßnahme, der die Anordnungs- und Bußgeldentscheidung enthält, auf der Website des Garante wird angeordnet.

Fristen: innerhalb von 30 Tagen nach Zustellung dieser Maßnahme

Praktische Auswirkungen

Diese Maßnahme unterstreicht die entscheidende Bedeutung der DSGVO-Konformität für global agierende Unternehmen, insbesondere jene, die Dienste anbieten, die auf innovativen Technologien wie generativer künstlicher Intelligenz basieren und sich an ein breites Publikum, einschließlich Minderjähriger, richten. Unternehmen müssen von den frühesten Phasen der Dienstentwicklung (Privacy by Design) eine vollständige und zugängliche Transparenz hinsichtlich der Datenverarbeitung gewährleisten. Die Dokumentation von Datenschutz-Folgenabschätzungen (DPIA) ist nicht nur eine formale Verpflichtung, sondern ein wesentliches Instrument, um Rechenschaftspflicht und Risikomanagement zu demonstrieren, insbesondere in Hochrisikobereichen wie KI und Minderjährigendaten. Es ist unerlässlich, rechtzeitig einen Vertreter in der EU zu benennen, wenn man auf dem europäischen Markt tätig ist, und sicherzustellen, dass die Kontaktdaten funktionsfähig und klar sind. Altersverifizierungs- und Minderjährigenschutzmaßnahmen müssen von Anfang an (by Design und by Default) integriert und ständig aktualisiert werden.

Fragen zur Selbsteinschätzung

Ist unsere Datenschutzerklärung klar, vollständig und in allen für unsere Nutzer relevanten Sprachen zugänglich?
Haben wir eine gültige und klar angegebene Rechtsgrundlage für jede Verarbeitung personenbezogener Daten?
Haben wir für alle Hochrisikoverarbeitungen, insbesondere für solche, die innovative Technologien oder Minderjährige betreffen, eine DPIA durchgeführt?
Haben wir, falls wir nicht in der Union niedergelassen sind, einen EU-Vertreter benannt und sind seine Kontakte leicht zugänglich und funktionsfähig?
Wie gewährleisten wir den Schutz der Daten von Minderjährigen in unseren Diensten, insbesondere hinsichtlich Altersverifizierung und Standardeinstellungen?
Haben wir wirksame Mechanismen, um den Betroffenen die Ausübung ihrer Rechte, einschließlich des Widerspruchsrechts, zu ermöglichen?
Wie handhaben wir Datenübermittlungen außerhalb der EU und welche Garantien haben wir implementiert?
Können wir unsere Rechenschaftspflicht gemäß der DSGVO durch eine angemessene Dokumentation für jeden Aspekt der Verarbeitung nachweisen?

Verweise

EDPB-Leitlinien: Linee guida EDPB n. 3/2018 sull’ambito di applicazione territoriale del Regolamento · Linee guida EDPB n. 8/2022 sull'individuazione dell'autorità di controllo capofila · Linee guida WP 260 sulla trasparenza (convalidate da EDPB) · Linee guida EDPB n. 2/2019 sul trattamento di dati personali ai sensi dell’art. 6, par. 1, lett. b), del Regolamento nel contesto della fornitura di servizi online · Parere EDPB n. 28/2024 · Linee guida EDPB n. 4/2022 sul calcolo delle sanzioni amministrative pecuniarie · Linee guida WP 253 riguardanti l’applicazione e la previsione delle sanzioni amministrative pecuniarie ai fini del regolamento (UE) n. 2016/679

Nationales Recht: D.Lgs. 30 giugno 2003, n. 196 (Codice Privacy) · Art. 166 Codice Privacy · Art. 157 Codice Privacy · Art. 154-bis Codice Privacy · L. 24 novembre 1981, n. 689, art. 18 · D.Lgs. 1° settembre 2011, n. 150

Anmerkungen

Die Maßnahme unterstreicht die rechtliche Unsicherheit und die schnelle Entwicklung des regulatorischen und technischen Kontextes in Bezug auf generative künstliche Intelligenz und Altersverifizierung, bekräftigt jedoch die Sorgfaltspflicht des Verantwortlichen. Die Behörde berücksichtigte die Qualifikation des Unternehmens als 'Start-up' und seine Zusammenarbeit während der Untersuchung als mildernde Faktoren. Die Sanktion wurde nach dem Grundsatz der Einheit des Handelns unter Bezugnahme auf den schwerwiegendsten Verstoß festgesetzt. Der Text lässt einige sensible Daten mit 'OMISSIS' aus, die sich auf spezifische Details des LLM-Trainings, die Mitarbeiterzahl, den Umsatz und die Anzahl der aktiven Nutzer beziehen.