Das europäische KI-Gesetz: der Entwurf für die Verordnung

Am 21.4.2021 veröffentliche die EU-Kommission den offiziellen Entwurf für das europäische KI-Gesetz. Letzte Woche hatte Politico einen früheren Entwurf veröffentlicht, der noch nicht den nun bekannt gegebenen Stand wiederspiegelte. Weltweit wäre es der erste Rechtsrahmen für künstliche Intelligenz (KI). Mit diesem Beitrag geben wir einen kurzen Überblick über die geplante Verordnung.

Ziel der Verordnung ist es, einen Rechtsrahmen zu KI in der EU zu bilden. So soll einerseits die Entwicklung von KI gefördert werden, andererseits ein hohes Schutzniveau für öffentliche Interessen gewährleistet und Vertrauen in die KI-Systeme geschaffen werden. Die Verordnung beinhaltet Verbote bestimmter Praktiken von KI-Systemen, die Festlegung von Anforderungen und Pflichten für KI-Systeme mit hohem Risiko, sowie Transparenzpflichten für bestimmte andere KI-Systeme. Die Verordnung ist in 12 Titel unterteilt, wobei der Hauptteil des Beitrags sich mit Titel III –  KI-Systemen mit hohem Risiko –  beschäftigen wird. Aufgeteilt ist der Titel III in 5 Kapitel:

• Kapitel 1: Klassifizierung von KI mit hohem Risiko
• Kapitel 2: Anforderungen an KI mit hohem Risiko
• Kapitel 3: Verpflichtungen von KI-Anbietern, KI-Benutzern und anderen Parteien;
• Kapitel 4: Notifizierte, unabhängige Stellen und Behörden (u.a. Auditier- und Zertifizierungsstellen)
• Kapitel 5: Konformitätsbewertung, Standards, Zertifikate und Registrierung.

Der Anwendungsbereich des europäischen KI-Gesetzes

Der Anwendungsbereich ist technisch weit gefasst, beschränkt die Regulierung aber vorrangig auf Systeme mit hohem Risiko, lässt also vorerst eine Vielzahl von KI-Systemen unberührt. Teile der Verordnung (Transparenzpflichten) gelten auch für mit Menschen agierende KI-Systeme oder die Bild, Audio oder Video erstellen oder generieren, unabhängig von der Risikoeinschätzung.

Das KI-Gesetz bezieht sich auf jedes Inverkehrbringen, jede Inbetriebnahme und jede Art von Nutzung von KI-Systemen in der EU. Es ist irrelevant, ob der Anbieter des KI-Systems seinen Sitz in der EU hat. KI-Systeme sind laut Art. 3 Abs. 1 des Entwurfs Software, die mit speziellen Techniken (ausgeführt in Anhang I) entwickelt wurde und für einen gegebenen Satz von durch den Menschen definierten Zielen Ausgaben wie Inhalte, Vorhersagen, Empfehlungen oder Entscheidungen erzeugen kann, die reale oder virtuelle Umgebungen beeinflussen. Einschränkungen sind vorgesehen, um Besonderheiten bestimmter Wirtschaftssektoren Rechnung zu tragen: Insbesondere wenn es um KI-Systeme geht, die als Sicherheitsbauteile von Produkten oder Systemen verwendet werden, z.B. in Kraftfahrzeugen. Für diese KI-Systeme sollen lediglich die Vorgaben in Art. 84 über die Aktualisierung der Liste im Anhang 3 (Liste mit KI-Systemen mit hohem Risiko) gelten. Keine Anwendung findet die Verordnung für KI-Systeme, die militärisch genutzt werden sollen.

Aufgrund des hohen Risikos bei bestimmten Vorhaben die durch KI unterstützt werden, wurden in Art. 5 verbotene Praktiken aufgelistet. Dazu gehören:

• manipulative Maßnahmen, die Personen dazu veranlassen, sich eine Meinung zu bilden (insbesondere Kinder);
• “real-time” biometrische Fernidentifikation im Sinne der Strafverfolgung.

Jedenfalls fallen alle biometrischen Fernerkennungen in den Bereich der KI-Systeme mit hohem Risiko. Die Verwendung von biometrischer Fernerkennung in öffentlichen Bereichen im Sinne der Strafverfolgung ist grundsätzlich immer verboten. Die wenigen Ausnahmen sind in Art. 5 Buchst. d geregelt. Darunter fallen Terrorangriffe, die Suche nach vermissten Kindern und die Verhinderung von einer immanenten Gefahr für das Leben einer natürlichen Person. Kritiker fürchten, dass diese Ausnahmen sehr weit ausgelegt werden können und das Verbot von biometrischer Fernidentifikation ausgehöhlt wird. Auch wird kritisch angemerkt, dass es kein Verbot über die Identifizierung nach Geschlecht und der sexuellen Orientierung gibt. Besonders die Einführung des Begriffs „real-time“ birgt Diskussionspotenzial. Im jetzigen Entwurf ist das Verbot auf die „real-time“ Fernidentifizierung beschränkt, „post“ biometrische Fernidentifizierung wird nicht grundsätzlich verboten. Selbst aus den Erwägungsgründen geht nicht genau hervor, welche Fernidentifizierung genau unter „real-time“ subsumiert werden kann. Auch die Legaldefinition in Art. 3 hilft bei der Differenzierung der beiden Begriffe nicht wirklich weiter. So soll unter „post“ jede biometrische Fernidentifizierung fallen, die nicht unter „real-time“ fällt.

Auch waren die Einschränkungen im geleakten Entwurf weiter gefasst. So wurden jedenfalls Social Scoring konkret – nicht beschränkt auf Behörden – und auch die Massenüberwachung verboten. Schon der Entwurf wurde dafür kritisiert, dass zu wenige Maßnahmen verboten würden – nun sind diese weiter eingeschränkt, so dass hierzu in der weiteren Verhandlung auf EU-Ebene sicherlich noch einige Diskussionen stattfinden werden.

Welche KI-Systeme ansonsten ein hohes Risiko mit sich bringen, ist in Art. 6 des KI-Gesetzes geregelt. Erfasst sind z.B. KI-Systeme im Zusammenhang mit kritischer Infrastruktur, Sicherheitsteile in Produkten oder KI-Systeme im Justizsystem. Art. 6 Abs. 3 verweist auf den Anhang III, der eine zusätzliche Liste mit KI-Systemen mit hohem Risiko enthält. Diese wird regelmäßig durch die Kommission aktualisiert.

Einführung eines Konformitätsbewertungsverfahrens für KI-Systeme

Die Einhaltung der Anforderungen muss anhand eines Konformitätsbewertungsverfahrens, vor dem Inverkehrbringen, festgestellt werden (Art. 43). Dabei wird geprüft, ob verschiedene Anforderungen erfüllt sind und zwar:

• betreffend qualitativ hochwertige Datensätze,
• Dokumentation und Aufzeichnung,
• Transparenz und Bereitstellung von Informationen,
• menschliche Aufsicht,
• Robustheit, Genauigkeit und Sicherheit

Anhand von hochwertigen Datensätzen kann sichergestellt werden, dass ein KI-System die beabsichtigte Leistung erbringt und Risiken für die Sicherheit und die Grundrechte minimiert werden. Dazu müssen die Trainings- und Testdatensätze im Hinblick auf den beabsichtigten Zweck hinreichend relevant, repräsentativ, fehlerfrei und vollständig sein. Dazu sollen gemeinsame europäische Datenräume von der Kommission im Rahmen ihrer „Datenstrategie“ eingerichtet werden. Diese sollen dazu beitragen einen vertrauenswürdigen Zugang zu qualitativ hochwertigen Daten zu ermöglichen.

Verpflichtungen der einzelnen Akteure bei KI

Das zweite Kapitel beschäftigt sich mit den Verpflichtungen der einzelnen Akteure, also Anbietern, Bevollmächtigen, Importeuren und Händlern. Die anderen Akteure haben unter anderem die Verpflichtung festzustellen, ob das KI-System weiterhin den Anforderungen des KI-Gesetzes entspricht. Der Anbieter ist dafür verantwortlich, dass KI-Systeme mit hohem Risiko die Pflichten des KI-Gesetzes umsetzen. Dazu gehört:

• Die Einrichtung eines Qualitätsmanagementsystems,
• Konformitätsbewertung
• die Durchführung des vorgeschriebenen Konformitätsbewertungsverfahrens gewährleisten,
• die einschlägigen Unterlagen erstellen und
• ein System zur Überwachung nach dem Inverkehrbringen einrichten.
• Automatisches Protokollieren der Aktivitäten, um die Rückverfolgbarkeit der Ergebnisse zu gewährleisten
• Zudem: Wenn es sich um einen Anbieter außerhalb der EU handelt, dann muss ein Bevollmächtigter in der EU benannt werden (Art. 25). Dieser soll die Konformität der von dem Anbieter in Verkehr gebrachten oder in Betrieb genommenen KI-Systeme sicherstellen.

Das Verfahren zur Konformitätsbewertung (Kapitel 4)

Die Konformitätsbewertung ist grundsätzlich vom Anbieter durchzuführen. Um die Konformität mit der Verordnung anzuzeigen, müssen die KI-Systeme mit einer CE-Kennzeichnung versehen werden. Der Umfang der Konformitätsbewertung ist in den Anhängen VI-VII geregelt. Teilweise kann die Konformitätsbewertung nur von einer dritten Person durchgeführt werden.

Als „Dritte“ sind die notifizierten Stellen im Rahmen dieser Verordnung gemeint. Die benannten Stellen überprüfen, ob die einschlägigen KI-Systeme mit hohem Risiko mit dieser Verordnung übereinstimmen.

Aufgrund von Rückschlüssen aus der Corona-Krise können die Marktaufsichtsbehörden (Art. 47) aus Gründen der öffentlichen Sicherheit oder des Schutzes von Leben und Gesundheit natürlicher Personen selbst aktiv werden: In solchen Fällen können sie das Inverkehrbringen oder die Inbetriebnahme von KI-Systemen, die keiner Konformitätsbewertung unterzogen wurden, individuell genehmigen.

Neben den Verpflichtungen der Akteure verpflichtet sich die EU mit dem Gesetz auch selbst – und zwar zur Förderung von Innovationen (Art. 53 ff.), durch die Schaffung eines kontrollierten Experimentier- und Testumfelds. KMU und Startups sollen dazu einen vorrangigen Zugang genießen.

Ein erstes Fazit zum Entwurf für das europäische KI-Gesetz

Die EU hat eine schwierige Aufgabe: einerseits soll die EU-Wirtschaft bei der Nutzung von KI gestärkt und deren Entwicklung gefördert werden, andererseits soll kein „wilder Westen“ herrschen und Bürgerrechte geschützt werden. Das Gesetz scheint insofern einen Minimalkonsens anzupeilen. Eine gewisse Regulierung für risikoreiche Anwendungen wird erreicht, so dass sich Unternehmen und Nutzer auf einen gewissen Standard verlassen können.

Es wird nun spannend, welche Änderungen im Gesetzgebungsprozess mit EU-Parlament und EU-Rat sich ergeben werden. Die Verhandlung könnten Jahre in Anspruch nehmen. Der geleakte Entwurf, über den wir bereits vor einer Woche berichtet hatten, sah teilweise strengere Regelungen vor, die nun offizielle Version wurde (noch weiter) abgeschwächt.

Gesetze für neue Technologien zu entwickeln, bedeutet besondere Herausforderungen, die die EU nun angeht – die weitere Entwicklung wird sich zeigen. Insbesondere wird spannend, ob die geplante Verordnung auch anderen Staaten in der Schaffung eines Rechtsrahmens für KI-Systeme beeinflussen kann.

Ihre Ansprechpartner für weitere Fragen: Dr. Matthias Lachenmann und Gerhard Deiters