Mit einem neuen Rechtsrahmen will die EU-Kommission Grundrechte schützen und Vertrauen in KI stärken – wie gut erfüllen die geplanten Regeln diese Ziele aus Ihrer Sicht ganz grundsätzlich?
Der Vorschlag der EU-Kommission für eine europäische KI-Verordnung (KI-VO-E) ist der weltweit erste Versuch einer umfassenden Regulierung Künstlicher Intelligenz. Er hat insoweit Pioniercharakter und Vorbildfunktion weit über die Europäische Union hinaus. Der Grundansatz einer unional harmonisierten horizontalen Regulierung auf der Grundlage eines risikobasierten Ansatzes, der sich im Produktsicherheitsrecht seit langem bewährt hat, ist für die Regelungsmaterie die am besten geeignete Regulierungsstrategie und daher ausdrücklich zu begrüßen. Eine sektorale Regulierung durch Erweiterung bereits bestehender sektorspezifischer Instrumente wäre demgegenüber mit der Gefahr einer Rechtszersplitterung und erheblicher Regulierungslücken verbunden. Auch die weite Definition Künstlicher Intelligenz in Art. 3 Nr. 1 KI-VO-E ist schon zur Vermeidung von Abgrenzungsproblemen und Umgehungsstrategien sowie mit Blick auf das Regulierungsziel, die Risiken datengetriebener Technologien effektiv zu begrenzen, sinnvoll. Für die Gefahrenprävention kann es nicht auf die zum Einsatz gebrachte Technologie, sondern muss es vor allem auf die Schadensneigung der Systeme ankommen. Entsprechende Risiken bestehen grundsätzlich auch bei „herkömmlichen“ Data-Science Anwendungen ohne Rückgriff auf KI-Technologien im engeren Sinn.
Allerdings bedarf der Verordnungsvorschlag zur Effektuierung der Regulierungsziele in zentralen Kernelementen der Ergänzung. Andernfalls besteht die Gefahr, dass das Schutzkonzept der Verordnung leerläuft und zugleich die Entwicklung wettbewerbsfähiger KI-Systeme durch schwer umsetzbare regulative Anforderungen behindert wird. Eine Nachjustierung ist vor allem in den Bereichen des Schutzes der Grund- und Verbraucherrechte, der Durchsetzung und der Umsetzbarkeit des Pflichtenkanons erforderlich.
JETZT HERUNTERLADEN
DIE DOKUMENTATION DIESER FACHDEBATTE
DIE DOKUMENTATION ENTHÄLT
Übersicht aller aktiven Debattenteilnehmer
Summary für Ihr Top-Management
Die EU-Kommission unterscheidet KI nach dem Risiko. So sollen etwa bei der Kreditvergabe sehr strenge, bei Chatbots lockerere Regeln gelten – wie bewerten Sie die vorgesehenen Differenzierungen?
Der risikobasierte Ansatz des Verordnungsentwurfs greift auf klassische Regulierungsansätze des Produktsicherheitsrechts zurück und ist ausdrücklich zu begrüßen. Allerdings besteht hier im Einzelnen noch erheblicher Korrekturbedarf. Das betrifft insbesondere die bisher noch fehlende Berücksichtigung der Beeinträchtigung von Verbraucherrechten als Maßstab für die Risikobewertung, die Unabhängigkeit des Konformitätsbewertungsverfahrens und die Risikobewertung bei verbundenen Produkten. Hier sollte der Kommissionsvorschlag entsprechend nachgeschärft werden. So ist etwa die Liste der Hochrisiko-KI-Systeme auch um solche Anwendungen zu ergänzen, die geeignet sind, Verbraucherrechte erheblich zu beeinträchtigen oder den Zugang zu Märkten und Dienstleistungen zu erschweren. Darüber hinaus sollten Hochrisiko-KI-Systeme einer Konformitätsbewertung durch anerkannte unabhängige Stellen im Rahmen eines Zertifizierungsverfahrens unterworfen werden. Eine Selbsteinschätzung der Anbieter, dass sie die Forderungen erfüllen, genügt hierfür nicht. Und schließlich sollte bei verbundenen Produkten die Klassifizierung als Hochrisiko-KI-System vom Bestehen einer Drittprüfungspflicht nach dem sektoralen Produktsicherheitsrecht entkoppelt und an die Aufnahme in den Anhang III auf der Grundlage einer Risikobewertung des Gesamtsystems geknüpft werden.
KI-gestützte Personenerkennung soll nur stark eingeschränkt, Social Scoring für Staaten ganz verboten sein. Wie sehen Sie diese Pläne?
Der Ansatz der Kommission, den Einsatz dieser besonders grundrechtsgefährdenden Anwendungen zu begrenzen, weist zwar in die richtige Richtung, ist in der Umsetzung aber lückenhaft und damit in weiten Bereichen wirkungslos. Problematisch sind hier vor allem zwei Punkte: Erstens die weitreichenden Ausnahmen zur biometrischen Echtzeit-Fernidentifizierung von Personen, die eine Massenüberwachung im öffentlichen Raum im Ergebnis nicht verhindern, sondern legitimieren und damit erst rechtlich ermöglichen. Die Ausnahmetatbestände des Art. 5 I 1 d), II – IV KI-VO-E sollten daher mit Blick auf die Effektuierung des Grundrechtsschutzes deutlich beschränkt werden. Andererseits gelten die Beschränkungen im Fall KI-gestützter Personenerkennung und des Social Scoring nur für Behörden, nicht jedoch für private Akteure. Hier wäre Art. 5 I c-d) KI-VO-E unbedingt dahingehend zu ergänzen, dass das Verbot des Einsatzes derartiger KI-Systeme auch auf private Stellen ausgeweitet wird.
Was sollte unbedingt noch in einem endgültigen EU-KI-Regelwerk stehen – und was auf keinem Fall?
Ein blinder Fleck besteht derzeit noch im Bereich des Rechtsschutzes und zwar sowohl mit Blick auf den Individualrechtsschutz Betroffener, als auch im Hinblick auf den kollektiven Rechtsschutz. Vor allem bei algorithmenbasierten Bewertungen besteht die Gefahr, dass Betroffene im Fall von Fehlfunktionen erheblich geschädigt werden mit weitreichenden Folgen für den Zugang zu Märkten und Dienstleistungen. Hier wäre der Verordnungsvorschlag um entsprechende Ansprüche der Betroffenen auf Offenlegung der Bewertungsgrundlagen sowie Korrektur und Löschung ungerechtfertigter Bewertungen zu ergänzen. Flankierend sollte, wie im Bereich des unlauteren Wettbewerbs seit weit langem bewährt, Verbraucherschutzorganisationen ein Verbandsklagerecht eingeräumt werden, um Verstöße gegen die Anforderungen der KI-VO gerichtlich geltend machen und gegebenenfalls eine unabhängige Drittprüfung anstoßen zu können. Davon würden die Sicherheit von KI-Systemen und das Vertrauen in KI insgesamt ganz erheblich profitieren. Was die Kommission im weiteren Gesetzgebungsverfahren unbedingt vermeiden sollte: Eine Anwendung der KI-Verordnung auf bereits in den Markt eingeführte Medizinprodukte. Hier ist eine sorgfältige Abstimmung zwischen den Regelungen der Medizinprodukteverordnung (MDR) und der KI-VO notwendig um zu vermeiden, dass bereits zugelassene und wirksame KI-Anwendungen aufgrund widersprüchlicher Anforderungen wieder vom Markt genommen werden müssen.
***
Stellungnahme zum Verordnungsvorschlag der Europäischen Kommission für einen harmonisierten Rechtsrahmen für Künstliche Intelligenz
2021/0106 (COD)
I. Gesamtbewertung und Regulativer Ansatz
Der Vorschlag der EU-Kommission für eine europäische KI-Verordnung (KI-VO-E) ist der weltweit erste Versuch einer umfassenden Regulierung Künstlicher Intelligenz. Er hat insoweit Pioniercharakter und Vorbildfunktion weit über die Europäische Union hinaus. Der Grundansatz einer unional harmonisierten horizontalen Regulierung auf der Grundlage eines risikobasierten Ansatzes, der sich im Produktsicherheitsrecht seit langem bewährt hat, ist für die Regelungsmaterie die am besten geeignete Regulierungsstrategie und daher ausdrücklich zu begrüßen. Eine sektorale Regulierung durch Erweiterung bereits bestehender sektorspezifischer Instrumente wäre demgegenüber mit der Gefahr einer Rechtszersplitterung und erheblicher Regulierungslücken verbunden. Auch die weite Definition Künstlicher Intelligenz in Art. 3 Nr. 1 KI-VO-E ist schon zur Vermeidung von Abgrenzungsproblemen und Umgehungsstrategien sowie mit Blick auf das Regulierungsziel, die Risiken datengetriebener Technologien effektiv zu begrenzen, ausdrücklich zu begrüßen. Für die Gefahrenprävention kann es nicht auf die zum Einsatz gebrachte Technologie, sondern muss es vor allem auf die Schadensneigung der Systeme ankommen. Entsprechende Risiken bestehen grundsätzlich auch bei „herkömmlichen“ Data-Science Anwendungen ohne Rückgriff auf KI-Technologien im engeren Sinn.
II. Änderungsbedarf im Einzelnen
Allerdings bedarf der Verordnungsvorschlag zur Effektuierung der Regulierungsziele in zentralen Kernelementen der Ergänzung. Andernfalls besteht die Gefahr, dass das Schutzkonzept der Verordnung leerläuft und zugleich die Entwicklung wettbewerbsfähiger KI-Systeme durch schwer umsetzbare regulative Anforderungen behindert wird. Eine Nachjustierung ist vor allem in den drei Bereichen 1) Schutz der Grund- und Verbraucherrechte, 2) Durchsetzung und 3) Umsetzbarkeit des Pflichtenkanons erforderlich.
1. Schutz der Grund- und Verbraucherrechte:
Im Bereich des Schutzes der Grund- und Verbraucherrechte bestehen Schutzlücken vor allem aufgrund der fehlenden Einbeziehung privater Akteure, der mangelnde Berücksichtigung von Verbraucherrechten sowie der unvollständigen Erfassung besonders riskanter Anwendungen.
- Private Akteure als Normadressaten: In vielen Fällen ist der Einsatz besonders riskanter KI-Systeme – wie etwa das Social Scoring nach Art. 5 I c) KI-VO-E oder das Verbot der biometrischen Fernidentifizierung im öffentlichen Raum nach Art. 5 I (d) KI-VO-E – nur Behörden, nicht jedoch privaten Akteuren verboten. Dadurch ergeben sich deutliche Schutzlücken, da auch aus dem Einsatz dieser Technologien durch Private erhebliche Ge-
fahren für die Grundrechte der Betroffenen erwachsen können. Das Verbot des Social Scoring gem. Art. 5 I c) KI-VO-E und der biometrischen Fernidentifizierung im öffentlichen Raum gem. Art. 5 I d) KI-VO-E sind daher auch auf private Akteure auszuweiten.
- Schutz von Verbraucherrechten: Der sachliche Schutzbereich der KI-VO beschränkt sich derzeit vor allem auf mögliche Risiken in den Bereichen Sicherheit, Gesundheit und Grundrechte. In der Praxis kommen allerdings in weitem Umfang auch KI-Anwendungen zum Einsatz (etwa in den Bereichen Versicherungen, Zahlungsverkehr, Inkasso, Scoring, Finanzanlagen), aus denen sich weitreichende Risiken für die Wahrnehmung von Verbraucherrechten mit der Folge wirtschaftlicher Schäden für die Betroffenen ergeben können.
Entsprechend sollte die Liste der Hochrisiko-KI-Systeme gem. Art. 6 II KI-VO-E um Anwendungen ergänzt werden, die geeignet sind, Verbraucherrechte erheblich zu beeinträchtigen, zum Nachteil der Betroffenen erhebliche wirtschaftliche Schäden zu verursachen oder den Zugang zu Märkten und Dienstleistungen zu erschweren.
- Ergänzung des Katalogs besonders riskanter Anwendungen: Die Entwicklung von KI-Systemen vollzieht sich mit atemberaubender Geschwindigkeit und erfasst immer neue Anwendungsbereiche. Umso mehr sollte der Katalog besonders riskanter KI-Anwendungen um Systeme ergänzt werden, die bereits als besonders risikoträchtig bekannt sind und in der Praxis verwendet werde. Hierzu gehört insbesondere der Einsatz sog. „Dark Patterns“, die darauf abzielen, die selbstbestimmte Entscheidungsfindung von Verbrauchern zu beeinträchtigen. Art. 5 I b) KI-VO-E ist daher dahingehend zu ergänzen, dass der Einsatz auch solcher KI-Systeme unzulässig ist, die geeignet sind, die persönlichen Schwächen oder die Schutzbedürftigkeit von Verbrauchern zu ihrem Nachteil auszunutzen. Die Beschränkung des persönlichen Anwendungsbereiches des Art. 5 I b) KI-VO-E auf alte und behinderte Menschen ist deutlich zu eng. Darüber hinaus sollte Art. 5 I b) KI-VO-E neben physischen und psychischen auch wirtschaftliche Schäden erfassen. Gleiches gilt für KI-Systeme zur Emotionsanalyse. Der Einsatz KI-basierter Analyse menschlicher Merkmale im öffentlichen Raum sowie automatisierter Entscheidungen in Rechtsprechung und Verwaltung sollte einem generellen Verbot unterliegen. Entsprechend sind die Ausnahmetatbestände des Art. 5 I 1 d), II – IV KI-VO-E mit Blick auf die Effektuierung des Grundrechtsschutzes deutlich zu beschränken.
2. Durchsetzung
Entscheidend für die Effektivität regulativer Instrumente sind hinreichend konkretisierte und damit umsetzbare Standards, ein unabhängiges Kontrollregime sowie die Möglichkeit effektiven Rechtsschutzes. In allen drei Bereichen bestehen Regulierungsdefizite:
- konkretisierte und umsetzbare Standards: Die regulativen Anforderungen der KI-VO an Hochrisiko-KI-Systeme bewegen sich – dem Regelungscharakter Europäischer Verordnungen entsprechend –auf weitgehend hohem abstrakten Niveau unter Rückgriff auf unbestimmte Rechtsbegriffe. So sind etwa nach Art. 15 I KI-VO-E Hochrisiko-KI-Systeme so zu konzipieren und zu entwickeln, „dass sie im Hinblick auf ihre Zweckbestimmung ein angemessenes Maß an Genauigkeit, Robustheit und Cybersicherheit erreichen“. Sowohl für KI-Hersteller und Betreiber als auch für die Aufsichtsbehörden sind regulative Vorgaben auf einem derart hohen Abstraktionsniveau nur schwer umsetzbar mit der Folge erheblicher Rechtsunsicherheiten und Umsetzungsdefizite. Hier sollten in der Verordnung nach dem Beispiel der DSGVO zumindest leitende Kriterien zur Konkretisierung der Vorgaben vorgesehen werden. Die Umsetzung dieser Kriterien auf technischer Ebene ist Gegenstand zukünftiger Zertifizierungsverfahren.
- unabhängiges Kontrollregime: Nach Art. 43 II KI-VO-VO soll das für Hochrisiko-KI-Systeme vorgesehene Konformitätsbewertungsverfahren auf der Grundlage einer Selbsteinschätzung der Anbieter gem. Anhang VI ohne Einbeziehung einer modifizierten unabhängigen Stelle durchgeführt werden. Zur Verwirklichung der Regulierungsziele einer vertrauenswürdigen und sicheren KI sowie zur Förderung der Akzeptanz sind Instrumente der Selbstregulierung allerdings nicht geeignet. Der Verzicht auf eine unabhängige Drittprüfung steht darüber hinaus im Widerspruch zu Art. 4 I b des Beschlusses 768/2008/EG über einen gemeinsamen Rechtsrahmen für die Vermarktung von Produkten, wonach die anzuwendenden Verfahren mit Blick auf die „Relevanz der Konformitätsbewertung entsprechend der Art und der Höhe der Risiken“ auszuwählen sind. Wie im Bereich der Produktsicherheit mit Blick auf hochriskante Technologien
allgemein üblich, sollten Hochrisiko-KI-Systeme einer unabhängigen Konformitätsbewertung durch anerkannte unabhängige Stellen im Rahmen eines Zertifizierungsverfahrens unterworfen werden. Die Konformitätsbewertung sollte dabei nicht nur bei Markteintritt, sondern in regelmäßigen Abständen über den gesamten Lebenszyklus des Systems hinweg erfolgen.
- effektiver Rechtsschutz: Vor allem im Bereich des algorithmenbasierter scorings entfalten automatisierte Bewertungen ein erhebliches Risikopotenzial mit Blick auf die wirtschaftliche Schädigung von Verbrauchern und den Zugang zu Märkten und Dienstleistungen. Hier sollte für die Betroffenen ein Anspruch auf Offenlegung der Bewertungsgrundlagen, auf Korrektur ungerechtfertigter Bewertungen sowie ein Löschungsanspruch vorgesehen werden. Der Individualrechtsschutz ist durch bewährte Instrumente des kollektiven Rechtsschutzes zu flankieren. Wie im Bereich des unlauteren Wettbewerbs sollte auch im Anwendungsbereich der KI-VO Verbraucherschutzorganisationen ein Verbandsklagerecht eingeräumt werden, um Verstöße gegen die Anforderungen der KI-VO gerichtlich geltend machen zu können. Hierzu wäre die KI-VO in Anhang I der Europäischen Richtlinie 2020/1828 über Verbandsklagen zum Schutz der Kollektivinteressen der Verbraucher aufzunehmen.
3. Umsetzbarkeit, Nachvollziehbarkeit und Kohärenz
Zentral für die Effektivität der Verordnung mit Blick auf die Verwirklichung der Regulierungsziele sind Umsetzbarkeit, Nachvollziehbarkeit und Kohärenz der regulativen Vorgaben. Sowohl Hersteller und Betreiber als auch die Aufsichtsbehörden sind auf hinreichend konkretisierte, umsetzbare und kohärente Anforderungen angewiesen. Hier bestehen erhebliche Defizite mit Blick auf die Klassifizierungskriterien für die einzelnen Risikoklassen, das Verhältnis zu sektoralen Richtlinien und Verordnungen sowie die Anforderungen an Genauigkeit, Robustheit und Cybersicherheit.
- Klassifizierungskriterien für die einzelnen Risikoklassen: Die Eingruppierung in die einzelnen Risikoklassen, insbesondere die Qualifizierung als Hochrisiko-KI-Systeme nach Art. 6 iVm Anhang III KI-VO-E bildet eine entscheidende Weichenstellung bei der Anwendung des regulativen Rahmens der Verordnung. Denn Hochrisiko-KI-Systeme unterliegen einer besonders strengen Regulierung bis hin zum Verbot einzelner Anwendungen gem. Art. 5 KI-VO-E. Allerdings fehlen im Kommissionsvorschlag nachvollziehbare Klassifizierungskriterien wie auch eine hinreichend ausdifferenzierte Definition von Hochrisiko-KI-Systemen, die eine Zuordnung auch nicht in Anhang III KI-VO-E aufgeführter KI-Systeme zu den einzelnen Risikoklassen erlauben. Insbesondere lässt der Verordnungstext offen, welchen Wertentscheidungen die Herleitung der Risikoklassen zugrunde liegt. Die Verordnung sollte daher um klare und nachvollziehbarer Abgrenzungskriterien ergänzt werden, auf deren Grundlage die Eingruppierung einer KI-Anwendung als Hochrisiko-System erfolgt.
- Verhältnis zu sektoralen Richtlinien und Verordnungen: Für die Qualifikation einer KI-Anwendung als Hochrisiko-KI-System folgt der Kommissionsentwurf in Art 6 KI-VO-E einem zweidimensionalen Ansatz, der zwischen KI-Komponenten in drittprüfungspflichtigen Produkten (Art. 6 I KI-VO-E) einerseits und den in Anhang III enumerativ aufgezählten standalone KI-Systemen (Art. 6 II KI-VO-E) andererseits differenziert. Für die erste Kategorie stellt Art. 6 I KI-VO-E maßgeblich darauf ab, ob ein KI-System, das als Sicherheitskomponente in einem Produkt verwendet wird, das nach den in Anhang II aufgeführten sektoralen Richtlinien und Verordnungen einem unabhängigen Konformitätsbewertungsverfahren unterliegt. Ist das Produkt, in dem das KI-System integriert ist, nicht drittprüfungspflichtig, fällt das KI-System damit automatisch aus der Risikoklasse der Hochrisiko-KI-Systeme heraus.
Dies wird dem tatsächlichen Gefährdungspotenzial, das von integrierten KI-System ausgeht, nicht gerecht, da die Wechselwirkungen zwischen KI- und produktspezifischen Risiken so nicht angemessen berücksichtigt werden. Denn die Integration eines KI-Systems in ein bisher nicht drittprüfungspflichtiges Produkt kann dazu führen, dass sich die von diesem Produkt ausgehen Risiken deutlich erhöhen. Darüber hinaus werden KI-spezifische Risiken in den sektoralen Instrumenten bisher nur vereinzelt adressiert. Die Klassifizierung als Hochrisiko-KI-System sollte daher in Art. 6 I b) KI-VO-E vom Bestehen einer Drittprüfungspflicht entkoppelt und an die Aufnahme in Anhang III auf der Grundlage einer Risikobewertung des Gesamtsystems geknüpft werden.
- Konkretisierung der Anforderungen an Genauigkeit, Robustheit und Cybersicherheit:
Nach Art. 15 KI-VO-E sind Hochrisiko-KI-Systeme so zu konzipieren, dass sie im Hinblick auf ihre Zweckbestimmung ein angemessenes Niveau an Genauigkeit, Robustheit und Cybersicherheit erreichen und dieses Niveau während ihres gesamten Lebenszyklus beibehalten. Die Normierung dieser Anforderungen ist ausdrücklich zu begrüßen, allerdings bedürfen sie für eine effektive Anwendung in der Praxis der weitergehenden Konkretisierung. Das betrifft insbesondere die Anforderung der „angemessenen Genauigkeit“, die mit hinreichender Zulässigkeit nur ex post bestimmt werden kann.
