Seit dem 2. Februar 2025 haben Anbieter und Betreiber von KI-Systemen gemäß Art. 4 KI-VO sicherzustellen, dass Personen, die mit dem Betrieb und der Nutzung von KI-Systemen befasst sind, über ein ausreichendes Maß an KI-Kompetenz verfügen. Über die konkreten Anforderungen wurde in der Praxis bislang meist gemutmaßt, wobei einige Veröffentlichungen, wie beispielsweise die der Denkfabrik Digitale Arbeitsgesellschaft, bereits eine gute Orientierung boten. Nun hat die Bundesnetzagentur ein entsprechendes Hinweispapier veröffentlicht. Dieser Blog-Beitrag stellt einige wichtige Inhalte vor.

Was ist KI-Kompetenz?

Die Bundesnetzagentur fasst in ihrem Hinweispapier die KI-Kompetenz gemäß Art. 3 Nr. 56 KI-VO als Fähigkeiten, Kenntnisse und das Verständnis zusammen, um KI-Systeme sachkundig, verantwortungsvoll und sicher einzusetzen sowie sich der Chancen und Risiken, unter anderem in ethischer, rechtlicher und gesellschaftlicher Ausprägung, von Künstlicher Intelligenz bewusst zu sein. Im Fokus stehen dabei insbesondere die Minimierung von Risiken und die Förderung von Innovationen. Der Aufbau von KI-Kompetenz läge somit auch im Eigeninteresse der jeweiligen Organisationen.

Vor diesem Hintergrund sollten Organisationen „ein allgemeines Verständnis von KI sicherstellen, die Rolle der eigenen Organisation als Anbieter oder Betreiber beachten, die Risiken des spezifischen KI-Systems im konkreten Kontext berücksichtigen, aktuelle Entwicklung und Neuerungen einbeziehen.“ Hingegen ausdrücklich durch Art. 4 KI-VO nicht gefordert sind die Benennung eines KI-Beauftragten sowie „formalisierte oder standardisierte Trainingsmaßnahmen, (externe) Zertifizierungen der durchgeführten Maßnahmen, […] regelmäßige Vorabüberprüfungen der Maßnahmen zur Sicherstellung der KI-Kompetenz durch Aufsichtsbehörden.“

Die Bundesnetzagentur weist jedoch darauf hin, dass die Durchführung von Maßnahmen zur Sicherstellung von KI-Kompetenz dokumentiert werden sollte. So kann insbesondere im Schadensfall nachgewiesen werden, dass kein Mangel an KI-Kompetenz und demnach auch keine Verletzung der Sorgfaltspflichten vorlag.

Wie baut man KI-Kompetenzen auf?

Die Maßnahmen zum Aufbau von KI-Kompetenz sollten stets an den Kontext und die Bedarfe der jeweiligen Organisation angepasst werden. Einen sogenannten „one-fits-all“-Ansatz lehnt die Bundesnetzagentur hingegen ab. Im Rahmen des Hinweispapiers werden als Orientierung vier Grundsteine beim Aufbau der KI-Kompetent dargestellt:

• Ermittlung des individuellen Bedarfs in Bezug auf Nutzende, KI-Systeme, Nutzungszwecke und potenzielle Risiken.

• Ausgestaltung von Maßnahmen, insbesondere unter Berücksichtigung des Ausbildungs-, Erfahrungs- und Wissensstandes der Nutzenden sowie des Nutzungskontexts des KI-Systems und der Rolle der eigenen Organisation in der KI-Wertschöpfungskette.

• Regelmäßige Auffrischung unter besonderer Berücksichtigung des Begriffs der KI-Kompetenz im jeweils aktuellen zeitlichen Kontext sowie der technologischen Entwicklung.

• Ausreichende Dokumentation der durchgeführten Maßnahmen, mindestens unter Angabe der Art der Maßnahmen, des inhaltlichen und zeitlichen Umfangs sowie der teilnehmenden Personen.

Die Bundesnetzagentur weist ergänzend darauf hin, dass durch die KI-Verordnung keine bestimmten Formate vorgeschrieben werden. Insofern können sowohl Selbstlernprogramme und Schulungen als auch Workshops und mehrstufige Fortbildungsprogramme geeignet sein. Inhaltlich sollten jedoch sowohl technische, rechtliche und ethische Aspekte thematisiert werden. Als mögliche Inhalte werden durch das Hinweispapier drei mögliche inhaltliche Stufen dargestellt: (1) Schaffung eines grundlegenden Verständnisses von Daten und KI in der Organisation (z. B. Überblick über KI-Technologien sowie allgemeine Chancen und Risiken), (2) Aufbau fortgeschrittener KI-Kompetenzen (z. B. technische Aspekte der angewendeten KI sowie spezifische Chancen und Risiken) und (3) rollenspezifische Trainings mit individuellen Schwerpunkten (z. B. Technik, Recht, Ethik).

Wo finde ich Unterstützung?

Abschließend weist die Bundesnetzagentur auch auf zahlreiche Möglichkeiten zur Unterstützung durch europäische und internationale Maßnahmen sowie private Initiativen und Branchenverbände hin. Zu Bennen ist hierbei beispielsweise das Europäische KI-Büro (AI Office) mit einschlägigen FAQ und einem Webinar oder das Online-Angebot des KI-Campus mit zahlreichen unentgeltlichen Online-Angeboten.

Auch das Dresdner Institut für Datenschutz unterstützt Sie bei der Etablierung von KI-Kompetenz in Ihrer Organisation. Unser Schulungsangebot vermittelt praxisrelevante Kompetenzen im Umgang mit Künstlicher Intelligenz unter besonderer Berücksichtigung der rechtlichen und technischen Rahmenbedingungen. Im Fokus stehen dabei Grundzüge und Auswirkungen der europäischen KI-Verordnung auf Organisationen, datenschutzrechtliche Anforderungen nach der Datenschutz-Grundverordnung sowie Aspekte der Informationssicherheit beim Einsatz von KI-Systemen. Abgerundet wird unsere KI-Kompetenz-Schulung durch eine Reihe von Praxisbeispielen und Handlungsempfehlungen. Kommen Sie für ein unverbindliches Angebot gern auf uns zu!

Über den Autor: Max Just, LL.M. ist Wirtschaftsjurist und als externer Datenschutz- und Informationssicherheitsbeauftragter beim DID Dresdner Institut für Datenschutz tätig. Neben diversen öffentlichen Stellen berät er ebenfalls verschiedene IT- und mittelständische Unternehmen. Im Silicon Saxony e.V. nimmt er die Funktion als Leiter des Arbeitskreises Security & Privacy wahr. Für Anregungen und Reaktionen zu diesem Beitrag können Sie den Autor gern per E-Mail kontaktieren.

Bereits im vergangenen Jahr haben wir im Rahmen eines Blog-Beitrags überblicksartig die grundsätzlichen datenschutzrechtlichen Anforderungen im Zusammenhang mit künstlicher Intelligenz (KI) beleuchtet. Seither hat sich einiges getan: Neben dem Inkrafttreten der KI-Verordnung zum 1. August 2024 haben sich mittlerweile auch einige Datenschutz-Aufsichtsbehörden der Thematik angenommen und einschlägige Dokumente sowie Checklisten veröffentlicht. Dieser Beitrag gibt einen Überblick über die zunehmende Anzahl relevanter Regelungen und Empfehlungen.

KI-Verordnung in Kraft

Am 1. August 2024 ist die weltweit erste umfassende Verordnung über KI in Kraft getreten. Ziel dieser ist insbesondere die Gewährleistung eines Einsatzes vertrauenswürdiger und die Grundrechte der Menschen wahrenden KI. Bei der sogenannten KI-Verordnung (KI-VO, engl. AI Act) handelt es sich damit um keine Verordnung datenschutzrechtlichen Ursprungs, sondern um eine Regulation aus Sicht des Produktsicherheitsrechts. Gemäß Art. 2 Abs. 7 KI-VO gelten die Regelungen der KI-VO neben denen der Datenschutz-Grundverordnung, das heißt ergänzend zu dieser.

Die spezifischen Anforderungen der Verordnung werden gemäß Art. 113 KI-VO in Abstufungen anwendbar:

• Anwendbarkeit ab dem 2. Februar 2025: Regelungen zum Gegenstand und Anwendungsbereich sowie zu den Begriffsbestimmungen der KI-VO und zu den verbotenen Praktiken im Bereich der künstlichen Intelligenz. Darüber hinaus werden Anbieter und Betreiber von KI-Systemen gemäß Art. 4 KI-VO zur Gewährleistung von KI-Kompetenz verpflichtet.

• Anwendbarkeit ab dem 2. August 2025: Regelungen bezüglich zuständiger Behörden sowie für KI-Modelle mit allgemeinem Verwendungszweck (z.B. Large Language Models [LLM]). Weiterhin werden ab diesem Zeitpunkt die ersten Sanktionsregelungen wirksam.

• Anwendbarkeit ab dem 2. August 2026: Ab diesem Zeitpunkt werden grundsätzlich alle Anforderungen der KI-VO anwendbar, welche nicht ausdrücklich für einen anderen Zeitpunkt vorgesehen sind. Ab August 2026 greifen beispielswiese die Pflichten für Betreiber von Hochrisiko-KI, unter anderem in Form von Transparenz- und Berichtspflichten.

• Anwendbarkeit ab dem 2. August 2027: Regelung zur Einstufung bestimmter Hochrisiko-KI entsprechend des Art. 6 Abs. 1 KI-VO sowie der hieraus resultierenden Verpflichtungen.

Unter Berücksichtigung der vielfältigen Anforderungen an Anbieter und Betreiber von KI-Systemen, sollten sich diese möglichst frühzeitig mit den entsprechenden Normen und Pflichten auseinandersetzen.

Positionierung datenschutzrechtlicher Aufsichtsbehörden

Um Anbietern und Betreibern von KI-Systemen im datenschutzrechtlichen Kontext Unterstützung bieten zu können, haben zwischenzeitlich eine Reihe datenschutzrechtlicher Aufsichtsbehörden unterschiedlichste Arbeits- und Diskussionspapiere veröffentlicht:

• Bereits im August 2022 stellte die französische Datenschutz-Aufsichtsbehörde CNIL ein „self-assessment guide for artificial intelligence“ bestehend aus unterschiedlichen Fact Sheets zur datenschutzkonformen Einführung und Nutzung von KI-Systemen zur Verfügung. Gegenstand dieser sind insbesondere die Gewährleistung des Datenschutzes in der Phase des Trainings von KI-Systemen, die Gewährleistung der Sicherheit der Verarbeitung sowie die Umsetzung von Betroffenenrechten.

• Am 7. November 2023 wurde ein Diskussionspapier zu Rechtsgrundlagen im Datenschutz bei Einsatz von künstlicher Intelligenz durch den Landesbeauftragten für Datenschutz und Informationsfreiheit Baden-Württemberg veröffentlicht. Bis zum 1. Februar 2024 konnten Interessierte das Diskussionspapier kommentieren und mitdiskutieren.

• Kurz darauf folgte am 13. November 2023 eine Checkliste des Hamburgischen Beauftragten für Datenschutz und Informationsfreiheit zum Einsatz LLM-basierter Chatbots. Die Checkliste sieht beispielsweise die Etablierung verbindlicher Compliance-Regelungen sowie die Vermeidung der Ein- und Ausgabe personenbezogener Daten vor.

• Zu Beginn dieses Jahres stellte dann das Bayerische Landesamt für Datenschutzaufsicht am 24. Januar 2024 das Dokument „Datenschutzkonforme künstliche Intelligenz: Checkliste mit Prüfkriterien nach DS-GVO“ zur Verfügung. Enthalten ist darin beispielsweise auch eine explizite Empfehlung zur Bewertung von Risiken bei einem Einsatz von KI-Systemen.

• Am 6. Mai 2024 erblickte die viel diskutierte Orientierungshilfe der Konferenz der unabhängigen Datenschutzaufsichtsbehörden des Bundes und der Länder (Datenschutzkonferenz) mit dem Titel „Künstliche Intelligenz und Datenschutz“ das Licht der Welt. Die Orientierungshilfe greift einige Punkte der Checkliste der Hamburger Aufsichtsbehörde auf, legt jedoch einen besonderen Schwerpunkt auf die Ein- und Ausgabe von personenbezogenen Daten einschließlich solcher im Sinne des Art. 9 Abs. 1 DS-GVO.

• Am 2. Juli 2024 veröffentlichte die französische Aufsichtsbehörde CNIL aktualisierte datenschutzrechtliche Anleitungen für die Entwicklung von KI-Systemen. Die zur Verfügung gestellten How-to Sheets bilden einen aktuellen Diskussionsstand ab und sind bis einschließlich 1. September 2024 Gegenstand einer öffentlichen Konsultation.

• Eine weitere Veröffentlichung des Hamburgischen Beauftragten für Datenschutz und Informationsfreiheit erfolgt am 15. Juli 2024 mit dem Diskussionspapier: Large Language Models und personenbezogene Daten. Insbesondere die These, dass die bloße Speicherung eines Large Language Models keine Verarbeitung im Sinne des Art. 4 Nr. 2 DS-GVO darstelle, wird in Fachkreisen kontrovers diskutiert.

• Weiterhin ist in Kürze mit einer weiteren Veröffentlichung des Bayerischen Landesamt für Datenschutzaufsicht zu rechnen: Auf der Internetseite kündigt die Aufsichtsbehörde eine Handreichung zum Thema KI und Datenschutz-Folgenabschätzung an.

Sichere Nutzung von KI gewährleisten

Darüber hinaus gibt es natürlich eine Reihe weiterer nützlicher Veröffentlichungen, die an dieser Stelle nicht abschließend aufgelistet werden können. Neben den oft diskutierten Anforderungen in Bezug auf die Rechtmäßigkeit der Verarbeitung personenbezogener Daten, der Umsetzung von Transparenzpflichten (Transparenz von KI-Systemen, Bundesamt für Sicherheit in der Informationstechnik) sowie der Gewährleistung von Betroffenenrechten sollte jedoch auch die Sicherheit der Verarbeitung (Art. 32 DS-GVO) vermehrt in den Fokus genommen werden.

In diesem Kontext kann beispielweise auf die Veröffentlichung OWASP Top 10 for LLM Applications vom 16. Oktober 2023 verwiesen werden. Das 35-seitige Dokument beschreibt im Kontext von Large Language Models hochkritische Sicherheitsprobleme und richtet sich dabei insbesondere an Entwickler, Datenwissenschaftler und Sicherheitsexperten.

Sämtlichen Veröffentlichungen ist gemein, dass Datenschutz und KI sich nicht widersprechen müssen, es allerdings eine Vielzahl unterschiedlichster Anforderungen zu berücksichtigen gilt. Dementsprechend sollten Anbieter und Betreiber von KI-Systemen den Datenschutzbeauftragten möglichst früh in Entwicklungs- und Implementierungsprozesse einbinden sowie bis Februar 2025 eine entsprechende KI-Kompetenz sicherstellen.

Über den Autor: Max Just, LL.M. ist Wirtschaftsjurist und als externer Datenschutz- und Informationssicherheitsbeauftragter beim DID Dresdner Institut für Datenschutz tätig. Neben diversen öffentlichen Stellen berät er ebenfalls verschiedene IT- und mittelständische Unternehmen. Im Silicon Saxony e.V. nimmt er die Funktion als Leiter des Arbeitskreises Privacy & Security wahr. Für Anregungen und Reaktionen zu diesem Beitrag können Sie den Autor gern per E-Mail kontaktieren.