Das Bundesamt für Sicherheit in der Informationstechnik (BSI) hat am 24. Juli 2025 ein Whitepaper zu Bias in der künstlichen Intelligenz (KI) veröffentlicht. In dem Whitepaper werden neben grundlegenden Informationen zu Bias im Kontext künstlicher Intelligenz auch mögliche Maßnahmen zur Identifizierung und Reduzierung derartiger Verzerrungen dargestellt. Bei tiefergehender Auseinandersetzung mit dieser Thematik wird deutlich, dass auch die möglichen Auswirkungen auf die Themenbereiche Datenschutz und Informationssicherheit nicht zu vernachlässigen sind.

Bias im Kontext künstlicher Intelligenz

Der Begriff Bias beschreibt eine systematische Verzerrung, die zu einer ungleichen Behandlung verschiedener Gruppen durch ein KI-System führen kann. Diese Verzerrung kann bereits in den ursprünglichen Daten enthalten sein oder durch algorithmische Entscheidungen und Nutzungsumgebungen entstehen. Die Auswirkungen von Bias können sich insbesondere in Diskriminierungen niederschlagen, beispielsweise weil Nutzenden Zugang zu Ressourcen oder Gelegenheiten verwehrt wird. In Bezug auf Geschäftsprozesse können für Organisationen hieraus auch sicherheitskritische Störungen (z. B. durch eine fehlerhafte Zugangskontrolle) oder gar schadenersatzpflichtige Sachverhalte entstehen.

Die Ursachen und Arten von Bias sind vielschichtig und können beispielsweise wie folgt unterschieden werden:

• Historischer Bias: Im Rahmen der Konzeption und des Trainierens einer künstlichen Intelligenz werden Daten verwendet, die vergangenheitsbezogene Ungleichheiten oder Vorurteile beinhalten. Ein auch datenschutzrelevantes Beispiel wäre hier eine automatisierte Auswahl von Bewerberinnen und Bewerbern auf Grundlage früherer Personalentscheidungen, die jedoch eine Geschlechterverzerrung aufweisen.

• Repräsentationsbias: Hierbei kann eine fehlende oder unzureichende Vertretung von bestimmten Gruppen in Trainingsdaten dazu führen, dass diese sich ebenfalls auf mögliche Entscheidungen oder Ergebnisse überträgt. In der Praxis kann dies beispielsweise im Rahmen von Umfragen dazu führen, dass Darstellungen aus urbanen Regionen überrepräsentiert werden, da mehr als 70% der deutschen Bevölkerung in Großstadtregionen leben.

• Evaluationsbias: Auswirkungen ergeben sich hier aufgrund der Art der Evaluation eines KI-Modells oder auch Designentscheidungen hinsichtlich der Evaluationsmethodik. So erwies sich in der Vergangenheit beispielsweise bereits eine Bilddatenbank für Gesichtserkennungssysteme als unangemessen und unverhältnismäßig, da sich diese aus weit überwiegend hellhäutigen Gesichtern zusammensetzte. Mit dieser Bilddatenbank evaluierte KI-Modelle weisen sodann einen Bias gegenüber Menschen mit dunkler Hautfarbe auf.

• Interaktionsbias: Verzerrungen, die bei einem Einsatz eines KI-Systems durch die Interaktionen mit den Nutzenden entstehen, werden als Interaktionsbias bezeichnet. Hier kann zwischen der Übertragung von Bias der Nutzenden auf das System (z. B. Training eines KI-gestützten Chatbots auf Grundlage von Anfragen mit geschlechtsstereotypischen Aussagen) und Bias aufgrund des Designs der Interaktionsschnittstellen (z. B. weniger allgemein nachgefragte Produkte eines Online-Shops werden auch einer bestimmten Zielgruppe mit hoher Nachfrage nicht angezeigt, sodass auch in Bezug auf diese Zielgruppe das Ranking sinkt) unterschieden werden.

Auswirkungen auf die Schutzziele

Derartige Ungleichbehandlungen und Verzerrungen können ebenfalls Auswirkungen auf die Schutzziele Vertraulichkeit, Integrität und Verfügbarkeit haben und dementsprechend auch Relevanz für Informations- und Datensicherheit entfalten.

• Verfügbarkeit: Bias kann die Anfälligkeit eines KI-Systems für sogenannte Membership Inference Attacks erhöhen. Dabei nutzen Angreifer die Verzerrung gezielt aus, um Rückschlüsse auf Trainingsdaten zu ziehen. Auch bei Model Inversion- oder Model Extraction-Attacken kann Bias als Einfallstor dienen, um sensible Informationen oder gar das gesamte Modell zu extrahieren.

• Integrität: Ein durch Bias fehlkalibriertes KI-System kann Fehlentscheidungen treffen. So kann etwa ein biometrisches Zugangssystem Personen bestimmter ethnischer Gruppen schlechter erkennen – mit potenziell sicherheitskritischen Folgen. Auch bei Intrusion-Detection-Systemen können geografisch verzerrte Trainingsdaten die Erkennungsleistung mindern.

• Verfügbarkeit: Zwar liegen hier laut BSI bislang keine belastbaren Studien vor, dennoch wird eine mögliche Beeinträchtigung der Verfügbarkeit durch koordinierte Poisoning-Angriffe nicht ausgeschlossen. Ziel solcher Angriffe ist es, das KI-System gezielt zu destabilisieren oder unbrauchbar zu machen.

Empfehlungen des BSI

Das Whitepaper enthält eine Reihe verschiedener Maßnahmen zur Reduktion von Bias-Risiken, die hier keinesfalls abschließend dargestellt werden können. Ein zentrales Element ist die frühzeitige Analyse der Daten. Das BSI empfiehlt, sich bereits vor dem Training eines KI-Systems intensiv mit der Qualität und Zusammensetzung der verwendeten Datensätze auseinanderzusetzen. Dabei sollen sowohl qualitative Merkmale wie Herkunft, Alter und Repräsentativität der Daten berücksichtigt werden als auch quantitative Auswertungen, etwa zur Verteilung und Streuung einzelner Merkmale oder zur Erkennung von einseitigen Mustern. Ziel ist es, mögliche Verzerrungen so früh wie möglich zu identifizieren und zu begrenzen. Zur gezielten Reduktion von Bias stellt das BSI drei Gruppen technischer Maßnahmen vor, die je nach Phase im Lebenszyklus eines KI-Systems eingesetzt werden können:

In der sogenannten Präprozessierung werden die Trainingsdaten vorab angepasst – etwa durch Ausgleich von Ungleichgewichten oder durch gezielte Ergänzung fehlender Informationen. In der Inprozessierung wird bereits während des Trainings des KI-Modells darauf geachtet, dass Verzerrungen nicht übernommen oder verstärkt werden. Dies kann durch spezielle Trainingsverfahren oder zusätzliche Vorgaben im Lernprozess erreicht werden. Die dritte Gruppe, die Postprozessierung, greift erst nach dem Training. Dabei werden entweder die Eingabedaten, das Modell selbst oder die Ausgaben gezielt verändert, um erkannte Verzerrungen auszugleichen.

Das BSI betont, dass keine dieser Maßnahmen für sich allein eine vollständige Lösung bieten kann. Stattdessen müssen Systeme kontinuierlich überprüft und gegebenenfalls nachjustiert werden. Die Auseinandersetzung mit Bias ist keine einmalige Aufgabe, sondern ein fortlaufender Bestandteil eines sicheren und verantwortungsvollen KI-Einsatzes. Unter Berücksichtigung der einschlägigen KI-Verordnung werden diese Maßnahmen hauptsächlich durch den Anbieter eines KI-Systems umzusetzen und zu belegen, durch den Betreiber jedoch zumindest hinsichtlich der Plausibilität zu prüfen sein.

Über den Autor: Max Just, LL.M. ist Wirtschaftsjurist und als externer Datenschutz- und Informationssicherheitsbeauftragter beim DID Dresdner Institut für Datenschutz tätig. Neben diversen öffentlichen Stellen berät er ebenfalls verschiedene IT- und mittelständische Unternehmen. Im Silicon Saxony e.V. nimmt er die Funktion als Leiter des Arbeitskreises Security & Privacy wahr. Für Anregungen und Reaktionen zu diesem Beitrag können Sie den Autor gern per E-Mail kontaktieren.

Seit dem 2. Februar 2025 haben Anbieter und Betreiber von KI-Systemen gemäß Art. 4 KI-VO sicherzustellen, dass Personen, die mit dem Betrieb und der Nutzung von KI-Systemen befasst sind, über ein ausreichendes Maß an KI-Kompetenz verfügen. Über die konkreten Anforderungen wurde in der Praxis bislang meist gemutmaßt, wobei einige Veröffentlichungen, wie beispielsweise die der Denkfabrik Digitale Arbeitsgesellschaft, bereits eine gute Orientierung boten. Nun hat die Bundesnetzagentur ein entsprechendes Hinweispapier veröffentlicht. Dieser Blog-Beitrag stellt einige wichtige Inhalte vor.

Was ist KI-Kompetenz?

Die Bundesnetzagentur fasst in ihrem Hinweispapier die KI-Kompetenz gemäß Art. 3 Nr. 56 KI-VO als Fähigkeiten, Kenntnisse und das Verständnis zusammen, um KI-Systeme sachkundig, verantwortungsvoll und sicher einzusetzen sowie sich der Chancen und Risiken, unter anderem in ethischer, rechtlicher und gesellschaftlicher Ausprägung, von Künstlicher Intelligenz bewusst zu sein. Im Fokus stehen dabei insbesondere die Minimierung von Risiken und die Förderung von Innovationen. Der Aufbau von KI-Kompetenz läge somit auch im Eigeninteresse der jeweiligen Organisationen.

Vor diesem Hintergrund sollten Organisationen „ein allgemeines Verständnis von KI sicherstellen, die Rolle der eigenen Organisation als Anbieter oder Betreiber beachten, die Risiken des spezifischen KI-Systems im konkreten Kontext berücksichtigen, aktuelle Entwicklung und Neuerungen einbeziehen.“ Hingegen ausdrücklich durch Art. 4 KI-VO nicht gefordert sind die Benennung eines KI-Beauftragten sowie „formalisierte oder standardisierte Trainingsmaßnahmen, (externe) Zertifizierungen der durchgeführten Maßnahmen, […] regelmäßige Vorabüberprüfungen der Maßnahmen zur Sicherstellung der KI-Kompetenz durch Aufsichtsbehörden.“

Die Bundesnetzagentur weist jedoch darauf hin, dass die Durchführung von Maßnahmen zur Sicherstellung von KI-Kompetenz dokumentiert werden sollte. So kann insbesondere im Schadensfall nachgewiesen werden, dass kein Mangel an KI-Kompetenz und demnach auch keine Verletzung der Sorgfaltspflichten vorlag.

Wie baut man KI-Kompetenzen auf?

Die Maßnahmen zum Aufbau von KI-Kompetenz sollten stets an den Kontext und die Bedarfe der jeweiligen Organisation angepasst werden. Einen sogenannten „one-fits-all“-Ansatz lehnt die Bundesnetzagentur hingegen ab. Im Rahmen des Hinweispapiers werden als Orientierung vier Grundsteine beim Aufbau der KI-Kompetent dargestellt:

• Ermittlung des individuellen Bedarfs in Bezug auf Nutzende, KI-Systeme, Nutzungszwecke und potenzielle Risiken.

• Ausgestaltung von Maßnahmen, insbesondere unter Berücksichtigung des Ausbildungs-, Erfahrungs- und Wissensstandes der Nutzenden sowie des Nutzungskontexts des KI-Systems und der Rolle der eigenen Organisation in der KI-Wertschöpfungskette.

• Regelmäßige Auffrischung unter besonderer Berücksichtigung des Begriffs der KI-Kompetenz im jeweils aktuellen zeitlichen Kontext sowie der technologischen Entwicklung.

• Ausreichende Dokumentation der durchgeführten Maßnahmen, mindestens unter Angabe der Art der Maßnahmen, des inhaltlichen und zeitlichen Umfangs sowie der teilnehmenden Personen.

Die Bundesnetzagentur weist ergänzend darauf hin, dass durch die KI-Verordnung keine bestimmten Formate vorgeschrieben werden. Insofern können sowohl Selbstlernprogramme und Schulungen als auch Workshops und mehrstufige Fortbildungsprogramme geeignet sein. Inhaltlich sollten jedoch sowohl technische, rechtliche und ethische Aspekte thematisiert werden. Als mögliche Inhalte werden durch das Hinweispapier drei mögliche inhaltliche Stufen dargestellt: (1) Schaffung eines grundlegenden Verständnisses von Daten und KI in der Organisation (z. B. Überblick über KI-Technologien sowie allgemeine Chancen und Risiken), (2) Aufbau fortgeschrittener KI-Kompetenzen (z. B. technische Aspekte der angewendeten KI sowie spezifische Chancen und Risiken) und (3) rollenspezifische Trainings mit individuellen Schwerpunkten (z. B. Technik, Recht, Ethik).

Wo finde ich Unterstützung?

Abschließend weist die Bundesnetzagentur auch auf zahlreiche Möglichkeiten zur Unterstützung durch europäische und internationale Maßnahmen sowie private Initiativen und Branchenverbände hin. Zu Bennen ist hierbei beispielsweise das Europäische KI-Büro (AI Office) mit einschlägigen FAQ und einem Webinar oder das Online-Angebot des KI-Campus mit zahlreichen unentgeltlichen Online-Angeboten.

Auch das Dresdner Institut für Datenschutz unterstützt Sie bei der Etablierung von KI-Kompetenz in Ihrer Organisation. Unser Schulungsangebot vermittelt praxisrelevante Kompetenzen im Umgang mit Künstlicher Intelligenz unter besonderer Berücksichtigung der rechtlichen und technischen Rahmenbedingungen. Im Fokus stehen dabei Grundzüge und Auswirkungen der europäischen KI-Verordnung auf Organisationen, datenschutzrechtliche Anforderungen nach der Datenschutz-Grundverordnung sowie Aspekte der Informationssicherheit beim Einsatz von KI-Systemen. Abgerundet wird unsere KI-Kompetenz-Schulung durch eine Reihe von Praxisbeispielen und Handlungsempfehlungen. Kommen Sie für ein unverbindliches Angebot gern auf uns zu!

Über den Autor: Max Just, LL.M. ist Wirtschaftsjurist und als externer Datenschutz- und Informationssicherheitsbeauftragter beim DID Dresdner Institut für Datenschutz tätig. Neben diversen öffentlichen Stellen berät er ebenfalls verschiedene IT- und mittelständische Unternehmen. Im Silicon Saxony e.V. nimmt er die Funktion als Leiter des Arbeitskreises Security & Privacy wahr. Für Anregungen und Reaktionen zu diesem Beitrag können Sie den Autor gern per E-Mail kontaktieren.