KI-Verordnung: Endspurt im Gesetzgebungsverfahren

Nachdem sich das Europäische Parlament am 14.6.2023 auf eine gemeinsame Position zur Regulierung von künstlicher Intelligenz (KI) geeinigt hat, befindet sich der Verordnungsentwurf derzeit im Verständigungsprozess zwischen Parlament, EU-Ministerrat und EU-Kommission, dem sogenannten Trilog, um noch ausstehende strittige Fragen zu klären. Die Verhandlungen wurden zuletzt ausgebremst durch umfassende Änderungsvorschläge in Bezug auf den bisherigen Entwurf vonseiten Deutschlands, Frankreichs und Italiens. Die Zeit drängt allerdings, da die KI-Verordnung – genauer gesagt die ‚Verordnung zur Festlegung harmonisierter Vorschriften für künstliche Intelligenz‘ – bis Anfang 2024 verabschiedet werden soll.

In einem früheren Beitrag haben wir bereits über die legislativen Anfänge der KI-Verordnung berichtet und uns primär mit den Vorschriften für KI-Systeme mit hohem Risiko befasst. Im Folgenden stellen wir nun den aktuellen Stand im Gesetzgebungsverfahren vor und gehen insbesondere darauf ein, was die KI-Verordnung in der Fassung des Europäischen Parlaments vom 14.6.2023 für Unternehmen bedeuten wird.

Was ist KI? Definitionsversuche der EU-Parlaments

Wann KI anfängt und wo lediglich eine technisch raffinierte Software vorliegt, ist nicht in Stein gemeißelt, sondern wird unterschiedlich beurteilt. Auch auf politischer Eben wird um die genaue Definition von KI und den Anwendungsbereich der Verordnung besonders gerungen. Das EU-Parlament schließt sich in seinem Entwurf nun der Definition der OECD zu KI-Systemen an. Demnach ist KI jedes „maschinengestützte System, das so konzipiert ist, dass es mit unterschiedlichem Grad an Autonomie operieren kann und das für explizite oder implizite Ziele Ergebnisse wie Vorhersagen, Empfehlungen oder Entscheidungen hervorbringen kann, die das physische oder virtuelle Umfeld beeinflussen“ (Art. 3 Abs. 1 Nr. 1 KI-VO-E). Diese Definition der KI-Verordnung legt den Fokus auf die Ergebnisse und Ziele von KI und nicht auf die zugrunde liegende Technologie oder die verwendeten Algorithmen.

Die abgeänderte Definition wird allerdings vonseiten vieler Unternehmen kritisch beurteilt. Die Deutsche Industrie- und Handelskammer (DIHK) bemängelt beispielsweise, dass die Definition als zu umfassend betrachtet werde. Es müsse vermieden werden, alle Systeme, die Techniken wie maschinelles Lernen, logikgestützte Konzepte und insbesondere statistische Verfahren oder herkömmliche Softwarelösungen als KI-Systeme einstufen, ungefiltert aufzunehmen. Es sei unverhältnismäßig, umfangreiche Prüf- und Compliancepflichten bereits für niederschwellige, unselbstständige Anwendungen einzuführen. Dieser Kritik ist allerdings entgegenzuhalten, dass die aktuelle Fassung im Vergleich zu der Definition im ursprünglichen Entwurf nunmehr enger gefasst ist. Während vorher potenziell jede Software in den Anwendungsbereich einbezogen gewesen wäre, grenzen die Kriterien der Autonomie und Umweltbeeinflussung die von der Verordnung umfassten Systeme deutlich ein.

Regulative Maßnahmen: Was die KI-Verordnung umfasst

Der Verordnungsentwurf zielt darauf ab, einerseits die Einführung von vertrauenswürdigen KI-Systemen zu fördern und gleichzeitig ein hohes Schutzniveau für verschiedene Rechtsgüter zu gewährleisten. Die Verordnung regelt verschiedene Aspekte im Kontext der Entwicklung, Bereitstellung und Nutzung von KI-Systemen. Sie umfasst:

1. Klassifizierung von KI-Systemen: Die Verordnung unterscheidet zwischen verschiedenen Arten von KI-Systemen, abhängig von ihrem Risikograd. Hochrisiko-KI-Systeme – wie autonomes Fahren oder Kreditwürdigkeitsbewertungssysteme – unterliegen strengeren Anforderungen und Kontrollen (Titel III KI-VO-E) im Vergleich zu KI-Systemen mit geringerem Risiko – wie beispielsweise Chatbots. Schließlich gibt es KI-Systeme mit einem unannehmbaren Risiko, die durch die Verordnung verboten werden sollen (Titel II KI-VO-E); dazu gehören beispielsweise biometrische Echtzeit-Fernidentifizierungssysteme in öffentlichen zugänglichen Räumen oder automatisierte Emotionserkennung bei Verhören von Verdächtigen.
2. Anforderungen an KI-Systeme: Der Verordnungsentwurf legt Mindestanforderungen fest, die KI-Systeme erfüllen müssen, um sicher, transparent, zuverlässig und verantwortungsbewusst zu sein (Art. 4a und 52 KI-VO-E). Dies schließt Kriterien zur Datenqualität, zur menschlichen Überwachung und Kontrolle, zur Transparenz und Nachvollziehbarkeit von Entscheidungen sowie zur Einhaltung ethischer Prinzipien ein.
3. Konformitätsbewertung und Zertifizierung: Der Verordnungsentwurf verpflichtet die Anbieter und Betreiber von Hochrisiko-KI-Systemen dazu, eine Konformitätsbewertung und Zertifizierung zu durchlaufen, um sicherzustellen, dass sie den Anforderungen und Standards der Verordnung entsprechen (Titel III KI-VO-E).
4. Verantwortlichkeit und Sanktionen: Der Verordnungsentwurf sieht Sanktionen für Verstöße gegen die Verordnung vor (Art. 71, 72 KI-VO-E).
5. Überwachung und Aufsicht: Der Verordnungsentwurf verlangt von den EU-Mitgliedstaaten die Einrichtung geeigneter Überwachungs- und Aufsichtsbehörden, um sicherzustellen, dass die Anforderungen und Standards der Verordnung eingehalten werden (Titel VI Kapitel 2 KI-VO-E). Zusätzlich wird durch die KI-Verordnung ein Europäischer Ausschuss für Künstliche Intelligenz ins Leben gerufen, der für die Überwachung und Durchsetzung der Verordnung in der gesamten EU verantwortlich sein wird (Titel VI Kapitel 1 KI-VO-E).

Verpflichtungen entlang der Lieferkette

Der Entwurf der KI-Verordnung legt Verpflichtungen entlang der gesamten Lieferkette fest. Nicht nur Anbieter werden durch das neue Gesetz nach jetzigem Stand verpflichtet, auch wer in der EU als Betreiber, Einführer oder Händler agiert, muss Pflichten in Bezug auf die Regelkonformität seiner KI-Systeme befolgen.

Anbieter ist derjenige, der ein KI-System entwickelt oder entwickeln lässt, um es unter eigenem Namen in Verkehr zu bringen oder in Betrieb nehmen zu lassen (Art. 3 Nr. 2 KI-VO-E). Als Händler gilt hingegen derjenige, der KI-Systeme auf dem Unionsmarkt ohne Änderung seiner Merkmale, also ohne das System selber zu entwickeln, bereitstellt (Art. 3 Nr. 7 KI-VO-E). Als speziellere Form davon ist ein Einführer von KI-System, wer außereuropäische KI-Systeme in der Union in den Verkehr bringt oder in Betrieb nimmt (Art. 3 Nr. 6 KI-VO-E). Demgegenüber ist Betreiber bereits jeder, der ein KI-System in eigener Verantwortung beruflich verwendet (Art. 3 Nr. 3 KI-VO-E). Für Unternehmen wird es daher entscheidend sein zu prüfen, ob sie unter den Anbieter-, Händler-, Einführer- oder Betreiberbegriff der Verordnung fallen und gegebenenfalls ob eine Hochrisiko-KI (Art. 6 KI-VO-E) angeboten oder betrieben wird, da für diese Systeme besonders strenge Vorschriften gelten (Titel III KI-VO-E).

Für Unternehmen, die sich in dieser neuen Landschaft zurechtfinden wollen, wird es entscheidend sein, die Vielzahl an Vorgaben und Verpflichten der geplanten Regulierung zu verstehen und zu befolgen. Insbesondere für kleine und mittlere Unternehmen („KMU“) bedeuten die Vorgaben mitunter einen enormen Verwaltungsaufwand. Der Verordnungsentwurf sieht vor, dass die Mitgliedstaaten spezielle Maßnahmen zur Entlastung der KMU ergreifen (Art. 55 KI-VO-E). Hier bleibt zu hoffen, dass diese Maßnahmen in effektiver Weise ergriffen werden, um auch kleinere Unternehmen wettbewerbsfähig zu machen und sie durch die neuen Regularien im Zusammenhang mit KI nicht übermäßig zu belasten.

Was kommt konkret auf Unternehmen zu?

Die geplante KI-Verordnung wird eine Vielzahl neuer Vorschriften und Sorgfaltspflichten mit sich bringen und verschiedene Akteure entlang der Wertschöpfungskette von KI-System verpflichten. Unternehmen, die in der EU in Bezug auf KI-Systeme als Anbieter, Händler, Einführer, Betreiber oder als anderer Beteiligter agieren, sind verpflichtet sicherzustellen, dass sie die in der Verordnung vorgeschriebenen Anforderungen in Bezug auf -KI-Systeme einhalten. Die Vorschriften, die für die Verwendung und Entwicklung von Hochrisiko-KI-Systemen gelten werden, sind anspruchsvoll und umfassend. Daher empfiehlt es sich bereits jetzt zu prüfen, welches Risiko das eigene KI-System birgt und welche Verpflichtungen damit einhergehen.  Alle Unternehmen, die mit KI arbeiten (also „Betreiber“), sollten sich mit den Mindestanforderungen zu Sicherheit, Transparenz und Zuverlässigkeit von KI-Systemen vertraut machen (Art. 4a und 52 KI-VO-E). Das gilt unabhängig davon, ob es sich um eine Hochrisiko-KI handelt oder nicht.

Zum einen bestehen Transparenzpflichten:

• Anbieter müssen ihre KI-Systeme bereits so konzipieren, dass Nutzer:innen rechtzeitig und deutlich klarstellen, dass Sie es mit einer KI zu tun haben (Art. 52 Abs. 1 KI-VO-E).
• Unternehmen, die KI-Systeme zur Emotionserkennung oder biometrischen Kategorisierung verwenden, müssen die Einwilligung der betroffenen Personen einholen (Art. 52 Abs. 2 KI-VO-E).
• Wenn KI-Systeme für die Erzeugung oder Veränderung von Texten, Audios oder visuellen Inhalten genutzt werden, müssen die künstlich erzeugten Inhalte klar gekennzeichnet werden und – wenn möglich – auf die verwendete KI verweisen (Art. 52 Abs. 3 KI-VO-E). Da KI-Systeme bereits von vielen Unternehmen unterschiedlichster Branchen beispielsweise zur Erstellung von Werbetexten, Webseitengestaltung oder Produktbeschreibungen genutzt werden, wird insbesondere diese Transparenzpflicht eine große Zielgruppe haben.

Zum anderen müssen alle Betreiber, also Unternehmen, die ein KI-System in eigener Verantwortung beruflich verwenden, umfangreiche Grundpflichten für die Entwicklung und Verwendung beachten.

• Das umfasst unter anderem die Pflicht, KI-Systeme nur als Werkzeuge, die den Menschen dienen und ihre Würde und Autonomie respektieren, zu entwickeln und zu nutzen (Art. 4a Abs. 1 lit. a KI-VO-E).
• Zudem müssen die KI-Systeme beispielsweise auch nachhaltig und umweltfreundlich entwickelt werden und die langfristigen Auswirkungen sollen überwacht und ausgewertet werden (Art. 4a Abs. 1 lit. f KI-VO-E).

Der umfangreichste Pflichtenkatalog trifft die Anbieter von Hochrisiko-KI:

• Sie müssen beispielsweise bei der Konzeption und Entwicklung ihrer Hochrisiko-Systeme eine geeignete menschliche Aufsicht gewährleisten (Art. 14 KI-VO-E), eine automatische Aufzeichnung von Vorgängen und Ereignissen während des Betriebs der KI technisch integrieren (Art. 12 KI-VO-E) und die Qualität der Daten, mit denen die Systeme trainiert werden, unterliegen strengen Voraussetzungen (Art. 10 KI-VO-E).

Auch die weiteren Beteiligten werden in Hinblick auf Hochrisiko-KI besonderen Pflichten unterliegen:

• Einführer müssen überprüfen, ob das Hochrisiko-KI-System die Vorschriften der KI-Verordnung einhält und der Anbieter seinen Pflichten nachgekommen ist (Art. 26 KI-VO-E).
• Auch Händler müssen überprüfen, ob Anbieter und Einführer ihre Verpflichtungen nach der KI-Verordnung einhalten und dürfen bei dem Verdacht eines Verstoßes das KI-System nicht auf den Markt bringen (Art. 27 KI-VO-E).
• Die Betreiber treffen nicht zuletzt einige Pflichten, beispielsweise müssen sie die Funktionsweisen der von ihnen verwendeten KI-Systeme überwachen und eine Überprüfung im Hinblick auf Auswirkungen des Hochrisiko-KI-Systems auf Grundrechte durchführen (Art. 29 und 29a KI-VO-E).

Insgesamt sollten Unternehmen das Gesetzgebungsverfahren weiter im Auge behalten, da die Definition von KI politisch umstritten ist und sich daher in der finalen Fassung noch ändern kann. Das kann zu Änderungen dabei führen, welche Systeme in den Anwendungsbereich der Verordnung fallen.

Innovation vs. Sicherheit: Die Herausforderungen der KI-Verordnung

Die Dringlichkeit einer Regulierung und Kontrolle von künstlicher Intelligenz ist offensichtlich. Die Auswirkungen von KI auf unsere Gesellschaft sind erheblich, und die Forderungen nach einem strengeren Rechtsrahmen kommen selbst vonseiten der Entwickler von KI-Systemen. Durch die Einstufung von KI-Systemen in Risikokategorien und die Verschärfung der Anforderungen für risikoreiche Technologien sollen die potenziell negativen Konsequenzen von KI eingedämmt werden.

Aufgrund der neuesten Entwicklungen durch ein gemeinsames Positionspapier von den drei größten EU-Ländern Frankreich, Deutschland und Italien, zeichnet sich eine entscheidende Veränderung in der Diskussion um die KI-VO ab. Die drei Mitgliedstaaten drängen nun auf eine deutlich industriefreundlichere Ausgestaltung der geplanten Verordnung und eine Abkehr von verpflichtenden gesetzlichen Vorschriften für sogenannte Basismodelle. Basismodelle sind die den generativen KI-Anwendungen wie ChatGPT zugrundeliegenden KI-Technologien – im Fall von ChatGPT ist das bspw. GPT-4 (zu den technologischen Hintergründen hier). Stattdessen sollen Entwickler von Basismodellen nur einer „verpflichtenden Selbstregulierung durch Verhaltenskodizes“ unterworfen werden und als einzige Verpflichtung sogenannte „Modellkarten“ definieren sollen. Gemeint sind damit im weitesten Sinne Transparenzpflichten, wonach die Entwickler der KI-Technologien Informationen über die Funktionsweisen ihres Modells offenlegen müssten. Sanktionsvorschriften sollen aus der KI-VO wiederum gänzlich gestrichen werden. Die Verhandlungen im Trilog-Verfahren werden somit zu einem entscheidenden Faktor für die endgültige Formulierung und Umsetzung der KI-Verordnung. Die Herausforderung besteht darin, einen angemessenen Gleichgewichtspunkt zwischen der Förderung von Innovation und dem Schutz von Sicherheit, Grundrechten und dem Binnenmarkt zu finden.

Unternehmen sollten im Vorfeld schon überprüfen, welche Verpflichtungen im Zusammenhang mit der KI-Verordnung auf sie zukommen werden. Insbesondere sollten sich Unternehmen bereits jetzt darüber klar werden, ob sie mit Hochrisiko-KI-Systemen arbeiten und welche Voraussetzungen erfüllt sein müssen, damit die jeweilige KI-Anwendung den Vorgaben der KI-Verordnung entspricht.

Ihr Experte für Datenschutzrecht

Dr. Matthias Lachenmann, Rechtsanwalt und Partner
Telefon: +49 221 / 270 956 – 180, E-Mail: matthias.lachenmann@bho-legal.com