Digitalisierung

Künstliche Intelligenz – neue Regelungen der KI-Verordnung

Die Welt der Künstlichen Intelligenz (KI) entwickelt sich rasant. Um den verantwortungsvollen Einsatz von KI-Technologien zu gewährleisten, hat die Europäische Union die KI-Verordnung (auch AI-Act genannt) verabschiedet, die schrittweise seit Februar 2025 gilt. Diese Auswirkungen hat die Verordnung auf den Einsatz von KI in Ihrem Unternehmen:

Was ist die KI-Verordnung?

Die KI-Verordnung (KI-VO) ist eine Verordnung der Europäischen Union, die darauf abzielt, den Einsatz von KI-Technologien sicherer und transparenter zu gestalten. Sie legt Regeln fest, um Risiken zu minimieren und das Vertrauen in KI-Systeme zu stärken.
Die Verordnung unterscheidet zwischen verschiedenen Risikostufen beim Einsatz von KI-Systemen sowie unterschiedlichen Rollen von Unternehmen, die mit KI-Systemen befasst sind. Diese Klassifizierungen sind entscheidend, da sie die jeweiligen Pflichten gemäß der KI-VO festlegen.

Welche Unternehmen sind betroffen? Welche Pflichten haben sie?

Grundsätzlich betrifft die KI-VO alle Unternehmen, die KI-Systeme entwickeln, bereitstellen oder nutzen, sofern diese Systeme in der EU eingesetzt werden oder deren Ergebnisse Personen in der EU beeinflussen.
Die KI-VO klassifiziert die Unternehmen in Rollen. Hier finden Sie unterschiedliche Rollen und Beispiele.
Achtung: Je nach Nutzung oder Betrieb eines KI-Systems können sich die Rollen verändern. Integriert man zum Beispiel eine importierte KI-Komponente in seine eigene Software unter eigenem Namen, so wird man vom Importeur zum Anbieter.

Anbieter

Anbieter sind Unternehmen, die KI entwickeln oder entwickeln lassen und diese unter eigenem Namen oder einer eigenen Handelsmarke in den Verkehr bringen.
Beispiel: Ein Softwarehersteller, dessen eigene Anwendung eine KI-Komponente beinhaltet
Pflichten u. a.: Sicherstellung der Konformität mit den Anforderungen der KI-VO, Durchführung von Risikobewertungen und Konformitätsprüfungen, Bereitstellung technischer Dokumentationen und Transparenzanforderungen, Sicherstellung der KI-Kompetenz von Mitarbeitern

Betreiber

Betreiber sind Unternehmen, die KI-Systeme in ihrer wirtschaftlichen Tätigkeit und in eigener Verantwortung nutzen oder in ihren Prozessen integrieren.
Beispiele: Ein Gastronomiebetrieb, der seine Einsatzplanung mit einem KI-System organisiert; ein Unternehmen, das seine Websitetexte mit generativer KI erstellt
Pflichten u. a.: Kennzeichnung von Deep Fakes oder Text mit öffentlichem Interesse, Sicherstellung der KI-Kompetenz von Mitarbeitern

Importeure/Einführer

Unternehmen, die ein KI-System aus einem Drittland in die EU importieren und in Verkehr bringen.
Beispiel: Eine deutsche Tochtergesellschaft eines US-Unternehmens, die ein KI-System auf den EU-Markt bringt.
Pflichten u. a.: Überprüfung der Konformität der Anbieter

Händler

Unternehmen, die Produkte mit integrierten KI-Systemen an Endnutzer (Unternehmen oder Privatpersonen) oder weiterverarbeitende Unternehmen vertreiben.
Beispiel: Ein Händler, der ein System zur Gesichtserkennung anbietet.
Pflichten u. a.: Informationen über die Eigenschaften und die sichere Nutzung des Produkts bereitzustellen

Ausnahmen

  • Es gibt keine Ausnahmen für kleine und mittlere Unternehmen.
  • Nicht in den Anwendungsbereich der KI-VO fällt der Betrieb bzw. Nutzung von KI für persönliche, nicht-berufliche Tätigkeiten.
  • Weitere Ausnahmebestände, wie zum Beispiel KI für militärische, Verteidigungs- oder nationale Sicherheitszwecke oder der Einsatz für wissenschaftliche Zwecke oder Forschungstätigkeiten finden sich im Art. 2 der KI-VO.

Was sind die so genannten „Risikogruppen“ der KI-Verordnung?

Die KI-VO kategorisiert KI-Systeme in verschiedene Risikogruppen. Je höher das Risiko einer KI-Anwendung, umso strenger sind die Anforderungen. Hier finden Sie die Klassifizierung, Beispiele und einen Auszug wesentlicher Pflichten:

Unvertretbares Risiko

KI-Systeme, die mit den Grundrechten der EU nicht vereinbar sind und somit ein inakzeptables Risiko darstellen.
Beispiele: Social Scoring, kognitive Verhaltensmanipulation, KI zur Emotionserkennung am Arbeitsplatz
Pflichten: Diese KI-Systeme sind seit dem 2. Februar 2025 verboten

Hohes Risiko

Als Hochrisiko-Systeme werden KI-Systeme bezeichnet, die ein bedeutendes Risiko für Gesundheit, Sicherheit oder Grundrechte bergen. Hierzu können unter anderem KI-Systeme in kritischer Infrastruktur wie Medizin oder Verkehr, im Personalmanagement, in der beruflichen Bildung oder im Bankwesen fallen.
Beispiele: KI-gestützte Systeme zur Analyse von MRT-Bildern oder Systeme, die Kreditvergaben analysieren
Pflichten u. a.: Diese KI-Systeme unterliegen strengen Anforderungen im Hinblick auf Risikobewertung, Transparenz, Robustheit und menschlicher Aufsicht.

Begrenztes Risiko

KI-Systeme mit begrenztem Risiko sind Systeme, die mit Personen interagieren und nur ein geringes Risiko für die Benutzer darstellen. Der Nutzer muss darüber informiert werden, dass er mit einem KI-System interagiert, beispielsweise bei Chatbots.
Beispiel: Chatbots im Kundenservice
Pflichten u. a.: Hier sind Transparenzpflichten vorgesehen. Der Nutzer muss darüber informiert werden, dass er mit einem KI-System interagiert.

Minimales Risiko

Dies sind KI-Systeme, die keine wesentlichen Risiken für Nutzer darstellen.
Beispiel: KI-gestützte Rechtschreibprüfung, KI-gestützte Spiele oder Spam-Filter
Pflichten u. a.: Hier entstehen zu den Rollenpflichten (wie z. B. KI-Kompetenz) keine zusätzlichen rechtlichen Verpflichtungen. Unternehmen wird nahegelegt, freiwillig einen KI-Verhaltenskodex umzusetzen. Laut KI-VO ist die Kommission verpflichtet, innerhalb von zwölf Monaten nach in Kraft treten der KI-VO einen KI-Verhaltenskodex unterstützend anzubieten.

Was gilt bei der Nutzung und Integration von „Basismodellen“ (GPAI-Systeme)?

GPAI steht für „General Purpose Artificial Intelligence“ (KI-Systeme mit allgemeinem Verwendungszweck). Diese Systeme werden auch „Basismodelle“ genannt, weil es sich um KI handelt, die einem allgemeinen Verwendungszweck dienen, mit großen Datensätzen trainiert werden und sich an verschiedene Aufgabenstellungen anpassen können. Sie können auch in weitere KI-Systeme in verschiedenen Risikogruppen integriert werden. Das bekannteste GPAI Beispiel ist ChatGPT.
Dabei unterscheidet die KI-VO noch zwischen GPAI ohne systematischem Risiko und mit systematischem Risiko. Sind GPAI besonders leistungsfähig, weit verbreitet und könnten tiefgreifende Auswirkungen auf Wirtschaft, Gesellschaft oder Sicherheit haben, so werden Sie als GPAI mit systemischem Risiko eingestuft.
Diese Unterscheidung betrifft vor allem Anbieter dieser KI-Systeme, die besondere Vorschriften beachten müssen. Bei den Betreibern (Nutzern) von GPAI gibt es keine gesonderten Vorschriften.

Welche Anforderungen und Pflichten enthält die KI-Verordnung?

Die genauen Anforderungen und Pflichten ergeben sich immer aus der Risiko-Klassifizierung der KI-Systeme und der Rolle des Unternehmens.

Hier finden Sie Beispiele für Anbieter und Betreiber:

KI-Verordnung

Ab wann gilt die KI-Verordnung und welche Fristen sind einzuhalten?

Die KI-VO ist am 1. August 2024 in Kraft getreten. Sie wird schrittweise in den nächsten Jahren wirksam, um den Unternehmen ausreichend Zeit zur Anpassung zu geben:
  • 2. Februar 2025:
    Verbotene KI-Systeme, die ein unvertretbares Risiko darstellen, dürfen nicht mehr verwendet werden.
    Anbieter und Betreiber müssen ausreichende KI-Kompetenz sicherstellen.
  • 2. August 2025:
    Anwendbarkeit der Bestimmungen für KI-Systeme mit „allgemeinem Verwendungszweck“ (Basismodell wie zum Beispiel Chat-GPT)
  • 2. August 2026:
    allgemeine Anwendbarkeit der KI-VO
  • 2. August 2027:
    Anwendbarkeit der KI-VO für bestimmte Hochrisikosysteme

Aufsicht und Sanktionen

Jedes EU-Mitgliedsland muss Aufsichtsbehörden benennen, bei denen etwaige Verstöße gegen die KI-VO zukünftig gemeldet werden können. Verstöße gegen die KI-VO können mit Geldbußen bis zu 35 Millionen Euro oder sieben Prozent des weltweiten Umsatzes eines Unternehmens sanktioniert werden.

Was ist noch bei der Nutzung von KI zu beachten?

Neben der KI-VO sind weitere Rechtsvorgaben zu beachten, wie zum Beispiel Arbeits-, Datenschutz- und gewerblicher Rechtschutz (Urheberrecht, Markenrecht). Die wichtigsten Aspekte haben wir hier zusammengestellt.

Arbeitsrecht

Für Arbeitgebende bietet die KI vielfältige Einsatzmöglichkeiten. Insbesondere im Personalbereich kann der KI-Einsatz eine erhebliche Arbeitserleichterung sein. Im Bereich des Recruitings kann die KI für das Erstellen von Stellenanzeigen, bei der Sichtung von Bewerbungsunterlagen, für die Kommunikation mit Bewerbenden oder für Bewerbungsgespräche eingesetzt werden. Auch die Ausarbeitung eines Musterarbeitsvertrags mittels KI ist denkbar.
KI kann auch in der Personaladministration unterstützen, beispielsweise bei der Formulierung und Auswertung von Zielen, der Kommunikation gegenüber einzelner Mitarbeitenden oder der Belegschaft sowie bei der Vorbereitung von Vertragsunterlagen und sonstiger Dokumente im bestehenden Arbeitsverhältnis.
Zu beachten ist jedoch, dass durch den Einsatz eines KI-Tools Diskriminierungen und Verstöße gegen das Allgemeine Gleichbehandlungsgesetz (AGG) denkbar sind. Zwar vermittelt der KI-Einsatz im Recruiting den Anschein, dass diese Systeme besonders objektiv und diskriminierungsfrei arbeiten, jedoch sind KI-Tools Trainingsdaten, die sich stetig fortentwickeln. Finden sich in einem KI-Tool (mittelbar) diskriminierende Inhalte, können diese auch in neu generierten Arbeitsergebnissen wiederzufinden sein. Daher ist eine kritische Kontrolle der KI-Ergebnisse unumgänglich.
Der Einsatz von KI-Tools wird zudem durch Art. 22 der Datenschutzgrundverordnung (DSGVO) begrenzt, wonach Personen davor geschützt werden, ausschließlich KI-basierten Entscheidungen unterworfen zu sein. Unzulässig wäre es beispielsweise, wenn ein KI-Tool im Recruitingprozess autonom entscheidet, wer eine Zu- oder Absage erhält. Daher muss die endgültige Entscheidung durch den Arbeitgebenden erfolgen und der KI-Einsatz darf sich lediglich auf Vorentscheidungen oder Vorschläge beschränken.
Setzt ein Unternehmen eine KI-Anwendung mit hohem Risiko am Arbeitsplatz ein, müssen sowohl die Beschäftigten als auch der Betriebsrat hierüber informiert werden. Zwar ist ein KI-Einsatz als solcher nicht mitbestimmungspflichtig, es können aber – auch bei KI-Anwendungen, die nicht als Hochrisiko einzustufen sind – einzelne Mitbestimmungsrechte des Betriebsrats wie zum Beispiel § 87 Abs. 1 Nr. 6 Betriebsverfassungsgesetz (Einführung und Anwendung von technischen Einrichtungen, die dazu bestimmt sind, das Verhalten oder die Leistung der Arbeitnehmer zu überwachen) berührt werden.

Urheberrecht und Markenrecht

Das Urheberrecht schützt persönliche geistige Schöpfungen. Künstliche Intelligenz kann solche Werke nicht erschaffen, daher sind rein durch KI-generierte Inhalte nicht urheberrechtlich geschützt (z. B. Texte, Bilder).
Es ist jedoch darauf zu achten, für welche Zwecke nach den Nutzungsbedingungen des KI-Tools eine Verwendung der Ergebnisse erlaubt ist. Außerdem kann ein Urheberschutz bestehen, wenn das KI-Tool nur zur Unterstützung bei der Erarbeitung von Bild-, Audio- oder Videoinhalten verwendet wird und dadurch ein „Mischwerk“ entsteht.
Auch kann eine wortgenaue Übernahme von KI-generierten Textstellen eine Urheberrechtsverletzung darstellen, wenn an dem Ursprungstext ein Urheberrecht besteht. Gleiches gilt für Bilder.
Unabhängig oder auch gleichzeitig zu Urheberrechten, können die Inhalte unter den Markenschutz fallen. Zeigen die KI-erzeugten Inhalten eingetragene Marken oder ähneln sich solchen so sehr, dass sich eine Verwechslungsgefahr bei Marktteilnehmern aufdrängt, kann eine Markenrechtsverletzung gegeben sein.
Markenrechtsverletzungen können vermieden werden, indem der Verwendende für die KI-generierten Inhalt eine umfassende Markenrecherche durchführt, bevor der Inhalt verwendet wird. Von einer KI-gesteuerten Markenrecherche ist aufgrund der dynamischen KI-Systeme abzuraten, da keine kontinuierliche Anpassung der Markenrechtsvorschriften und ein umfassender Markenschutz gewährleistet werden kann.
Hat sich ein Unternehmen gegenüber seinen Kunden zur Einräumung (exklusiver) Nutzungsrechte verpflichtet, kann die Nutzung von KI-Tools durch Beschäftigte Haftungsrisiken begründen. Sollen Nutzungsrechte übertragen werden, sollte mit anwaltlicher Unterstützung eine vertragliche Regelung hierzu vereinbart werden.

Kennzeichnungspflichten

Bild-, Audio- oder Videoinhalte, die mit Künstlicher Intelligenz erzeugt und als echt wahrgenommen werden können (sog. Deepfakes), müssen gekennzeichnet werden. Die Kennzeichnungspflicht entfällt, wenn die Verwendung zur Aufdeckung, Verhütung, Ermittlung oder Verfolgung von Straftaten gesetzlich zugelassen ist.
Die KI-VO enthält keine Regelung, ob und wie KI-Werke gekennzeichnet werden müssen, die keine Deepfakes darstellen. Es ist davon auszugehen, dass es maßgeblich auf das Irreführungspotenzial ankommen wird, ob KI-Inhalte gekennzeichnet werden müssen. Wird ein Teil eines künstlerischen, fiktionalen oder analogen Werks KI-generiert erzeugt, so beschränkt sich die Transparenzpflicht darauf, in geeigneter Weise die KI-Nutzung offenzulegen, ohne die Darstellung des Werkes zu beeinträchtigen.

Handlungsempfehlungen

Unternehmen müssen sicherstellen, dass alle Mitarbeitenden, die KI-Systeme verwenden, ein ausreichendes KI-Verständnis haben. Die Erstellung einer unternehmensinternen KI-Richtlinie, mit den rechtlichen Rahmenbedingungen, ist empfehlenswert. Die bestehenden Mitbestimmungsrechte des Betriebsrates sind auch hierbei zu beachten. Für Detailfragen sollte anwaltlicher Rat eingeholt werden.

Weitere praktische Schritte:

  • Identifizierung der KI-Systeme: Unternehmen sollten zunächst eine Bestandsaufnahme ihrer KI-Systeme machen und deren Risikostufe sowie ihre Rolle nach der KI-VO bestimmen.
  • Erfüllung der Anforderungen: Für Hochrisiko-KI-Systeme müssen Unternehmen strenge Auflagen erfüllen, einschließlich der Durchführung von Risikobewertungen und der Implementierung von Überwachungsmechanismen.
  • Transparenz und Dokumentation: Unternehmen sollten sicherstellen, dass ihre KI-Systeme transparent sind und alle relevanten Informationen dokumentiert sind, um im Falle einer Überprüfung durch die Behörden nachweisen zu können, dass sie die Vorschriften einhalten.
  • Schulung und Sensibilisierung: Es ist wichtig, dass Mitarbeitende, die mit KI-Systemen arbeiten, über die Anforderungen der KI-Verordnung informiert und entsprechend geschult sind.
Die KI-VO stellt sicher, dass KI-Technologien verantwortungsvoll und sicher eingesetzt werden. Für Unternehmen bedeutet dies, dass sie sich proaktiv mit den Vorschriften auseinandersetzen und entsprechende Maßnahmen ergreifen müssen, um den gesetzlichen Anforderungen gerecht zu werden. Durch eine gründliche Vorbereitung und Einhaltung der Vorgaben können Unternehmen nicht nur rechtliche Risiken minimieren, sondern auch das Vertrauen ihrer Kunden in ihre KI-gestützten Produkte und Dienstleistungen stärken.