In diesem Artikel möchten wir die wichtigsten Fragen rund um den EU AI Act erörtern:

• Welche regulatorische Verpflichtungen entstehen für dich als Kund:in und Nutzer:in?
• Welche regulatorischen Verpflichtungen haben wir (skillconomy) und wie kommen wir Ihnen nach?

​

Allgemeines

Der EU AI Act ist die weltweit erste umfassende Verordnung zur Regulierung von Künstlicher Intelligenz. Er verfolgt einen risikobasierten Ansatz und verpflichtet Entwickler sowie Betreiber von KI-Systemen zur Einhaltung transparenter, fairer und sicherer Rahmenbedingungen – insbesondere bei sensiblen Anwendungsbereichen wie dem Recruiting.

​

Ab wann gilt der EU AI Act?

Inkrafttreten: 1. August 2024

Obwohl der EU AI Act bereits im Sommer 2024 inkraftgetreten ist, erfolgt die Umsetzung über einen dreijährigen Zeitraum. Ab August 2027 gilt dann der volle Umfang des EU AI Act in allen EU-Mitgliedstaaten.

​

Zeitplan für die Umsetzung

​

Für wen gelten die Vorschriften des EU AI Act?

Der EU AI Act regelt unter anderem Verpflichtungen und Verbote für:

• Anbieter von KI-Systemen (Art. 3 Abs. 3)
• Betreiber von KI-Systemen (Art. 3 Abs. 4)

Beide Gruppen umfassen sowohl natürliche, als auch juristische Personen. Der Begriff “Betreiber” ist weit gefasst und beinhaltet jede:n, der KI-Systeme unter eigener Aufsicht zu nicht ausschließlich privaten Zwecken einsetzt.

Darüber hinaus unterscheidet der EU AI Act vier Risikokategorien von KI-Systemen:

• Unvertretbares Risiko (Art.5)
• Hohes Risiko (Art. 6 Abs. 2)
• Begrenztes Risiko
• Minimales Risiko

Die regulatorische Verpflichtungen ergeben sich aus dem EU AI Act also im Wesentlichen aus der Risikokategorie des KI-Systems und der Rolle des jeweiligen Akteurs. Es ist also zentral, eine Einstufung der verwendeten KI-Systeme vorzunehmen und zu bestimmen, wem welche Rolle(n) zufallen.

​

Einordnung im Kontext skillconomy

Hier zunächst eine Übersicht über die KI-Systeme, die bei skillconomy zum Einsatz kommen mit ihrer jeweiligen Risikoklassifikation und den Rollen gem. EU AI Act von skillconomy und dir und deinem Unternehmen (Kunde).

​

Risikoeinstufung der KI von skillconomy

Die nachfolgenden Ausführung beziehen sich vorwiegend auf das KI-System zur Erstellung von Shortlists, also die Auswahl der Kandidat:innen die für eine Stelle angesprochen werden sollen. Der EU AI Act benennt u.a. “KI-Systeme, die für die Einstellung oder Auswahl natürlicher Personen verwendet werden sollen, insbesondere zur Schaltung gezielter Stellenanzeigen, …” (Anhang III Absatz 4) explizit als KI-Systeme mit hohem Risiko. Unsere KI zur Erstellung der Shortlists fällt also in diese Kategorie.

​

Rolle(n) von skillconomy und Kund:innen

Der Active Sourcing Ansatz von skillconomy zielt darauf ab, den gesamten Prozess von der Erfassung der Anforderungen aus Stellenbeschreibungen, über die Erstellung der Medien für die Candidate Experience (Nachrichten, Jobsites, Inhalte des Bewerbungschats) bis hin zur Auswahl und Ansprache geeigneter Kandidat:innen vollständig zu übernehmen. Anders als viele andere Anbieter, stellen wir keine Tools bereit, mit denen du eigenverantwortlich Arbeitsschritte im Active Sourcing ausführen musst oder kannst. Auch die Shortlist, also das unmittelbare Ergebnis der KI-Entscheidungsprozesse, kann von dir nicht geprüft werden, sodass dir keine Verantwortung dafür zufällt. Die unmittelbaren Ergebnisse der KI (die Shortlist) werden von unseren Mitarbeiter:innen manuell vollständig geprüft, bevor eine Ansprache erfolgt. Nur Kandidat:innen, die sich aktiv auf die Stelle bewerbern und explizit die Weitergabe ihrer Daten von skillconomy an dich veranlassen, werden dir übergeben.

Du interagierst also weder selbst mit unseren KI-System, noch finden KI-basierte Prozesse unter deiner unmittelbaren oder mittelbaren Aufsicht statt. Du gibst lediglich eine Stelle frei und erhältst dann Bewerbungen. Der Einsatz der KI zu diesem Zweck erfolgt vollständig durch uns und unter unserer Aufsicht.

Daraus ergeben sich große Vorteile für dich als Kund:in in Bezug auf regulatorische Anforderungen aus dem EU AI Act: Du bist kein Akteur gem. den Definitionen in Artikel 3, sodass das Gesetz auf dich als Kund:in von skillconomy nicht anwendbar ist. Die regulatorischen Verpflichtungen inklusive der Haftung für Versäumnisse lasten vollständig auf uns, da wir alleine Anbieter und Betreiber unserer KI-Systeme sind. Du unterliegst lediglich allgemeinen Sorgfaltspflichten in der Übergabe von Daten an uns und dem Umgang mit den Bewerbungen, die du von uns erhältst.

​

Welchen Verpflichtungen unterliegt skillconomy?

Der EU AI Act stellt an uns als Anbieter und Betreiber eines hochriskanten KI-Systems besondere Anforderungen. Wir möchten im Folgenden größtmögliche Transparenz schaffen in Bezug auf die Frage, welche das sind und wie wir die Erfüllung sicherstellen. Die Ausführungen beziehen sich auf unser KI-System zur Erstellung der Shortlists. Die regulatorischen Anforderungen der anderen von uns verwendeten KI-Systeme berücksichtigen wir ebenfalls. Da diese jedoch weitaus geringer sind, fokussieren wir uns hier auf das KI-System mit hohem Risiko.

In unserer Rolle als Anbieterin und Betreiberin eines Hochrisikosystems unterliegen wir (skillconomy) den folgenden Pflichten:

​

Wie kommt skillconomy seinen Verpflichtungen nach?

Wir möchten nachfolgend jeweils kurz auf die jeweiligen Punkte eingehen und Transparenz schaffen, wie wir konkret den jeweiligen Verpflichtungen konkret nachkommen.

​

Einrichtung und Umsetzung eines Qualitätsmanagements

Unser Qualitätsmanagementsystem (QMS) setzt Leitlinien für die Entwicklung und den Betrieb unserer KI-Systeme und definiert Prozesse und Verantwortlichkeiten für die Erfüllung und Überwachung sämtlicher regulatorischer Anforderungen und der kontinuierlichen Verbesserung des QMS.

Insbesondere haben wir Standards für halbjährlich durchzuführende interne Sicherheits- und Compliance-Audits definiert. Diese umfassen das im nachfolgenden Absatz beschriebene Risikomanagementsystem, darüber hinaus eine Überprüfung der Dokumentationspraktiken, ein Review der Managementpraktiken und -prozesse sowie der technischen und organisatorischen Maßnahmen. Verantwortlich für die Steuerung und Überwachung der QM-Prozesse ist Lars Branscheid, Geschäftsführer.

​

Einrichtung und Umsetzung eines Risikomanagements

Unser Risikomanagementsystem (RMS) stellt sicher, dass wir den Risiken gemäß EU AI Act adäquat und proaktiv begegnet wird. Darüber hinaus adressiert unser RMS auch Risiken, die sich aus anderen regulatorischen Anforderungen ergeben. Dies sind insbesondere die Datenschutzgrundverordnung (DSGVO), sowie das Allgemeine Gleichbehandlungsgesetz (AGG).

Unser RMS stellt eine breite Betrachtung möglicher Risiken sicher. Darüber hinaus haben wir drei Schwerpunkte definiert, die aufgrund ihrer herausragenden Bedeutung jeweils spezifisch adressiert werden und Risiken identifizieren sollen in Bezug auf:

• Schutz personenbezogener Daten in der Erbringung unserer Leistungen
• Schutz personenbezogener Daten im Training unserer KI-Modelle
• Sicherstellung der Diskriminierungsfreiheit unsere KI- und Nicht-KI-Prozesse

Über die Schulung der an der KI-Enwicklung beteiligten Mitarbeiter:innen und formalisierung von best practices stellen wir eine kontinuierliche Einbeziehung möglicher Risiken sicher. Darüber hinaus konsolidieren wir Erkenntnisse in internen Risiko-Audits und dokumentieren im Zuge dessen die lückenlose Durchführung der RM-Prozesse.

Wir definieren eine Reihe von Auslösern (“Triggern”) die ein Risiko-Audit obligatorisch nach sich ziehen:

Das Risiko-Audit wird in folgenden Fällen obligatorisch durchgeführt:

• Turnusmäßig einmal pro Quartal
• Vor der Inbetriebnahme neuer Lösungen oder umfangreicher Features
• Vor der Inbetriebnahme von Gegenmaßnahmen zu in früheren Audits erkannte Risiken
• Vor der Inbetriebnahme von Modellen, die auf modifizierten oder erweiterten Datensätzen trainiert wurden
• Vor der Inbetriebnahme von Modellen, deren Architektur modifiziert wurde
• Bei Änderungen oder Konkretisierungen regulatorischer Anforderungen oder deren Ankündigung
• Bei Meldung von Vorfällen durch Aufseher:innen oder Nutzer:innen

Verantwortlich für die Steuerung und Überwachung der RM-Prozesse ist: Marc Branscheid, Geschäftsführer, marc@skillconomy.com

​

Verwendung hochwertiger Datensätze

Wir betreiben einen hohen Aufwand, um sicherzustellen dass

• Wir ausreichend viele Daten zur Verfügung haben
• Die Qualität der Daten durchgehend gewährleistet ist

Wir verwenden ausschließlich pseudonymisierte Daten. Wir analysieren die Verteilung von Merkmalen in den Datensätzen und stellen diese allgemein zugänglichen Statistiken oder - falls es diese nicht gibt - fundierten Abschätzungen gegenüber. So stellen wir die Representativität der Daten sicher. Darüber hinaus nehmen wir in umfangreichen Stichproben eine sachkundige manuelle Analyse der Daten vor und erkennen und beheben so mögliche Risiken.

​

Dokumentation des KI-Systems und der Entwicklung

Wir haben eine technische Dokumentation für unsere KI-Modelle erstellt und protokollieren wichtige Änderungen. Dies beinhaltet eine nachvollziehbare Begründung dazu, aus welcher Motivation und unter welchen Annahmen eine Entscheidung getroffen wurde, sowie die Ergebnisse der Risikobewertung gemäß unseres RMS. Die Dokumentation erfolgt unter lückenloser Versionskontrolle.

​

Sicherstellung menschlicher Kontrolle

Der EU AI Act fordert Möglichkeiten zu menschlicher Aufsicht über und Eingriffsmöglichkeiten in hochriskante KI-Systeme. Diese stellen wir über unser Administrationssystem (“Backend”) sicher. Unsere Mitarbeiter:innen können hier die Ergebnisse sämtlicher KI-Prozesse einsehen und nachvollziehen. Im Bezug auf Eingriffsmöglichkeiten gehen wir über die Anforderungen des EU AI Act hinaus und haben an allen relevanten Stellen aktive Freigabeprozesse implementiert. Das bedeutet: Für jede Stelle werden das Anforderungsprofil, die Medien der Candidate Experience (Nachrichten, Jobsites, Chatbot), sowie die Shortlist der Kandidat:innen von einer erfahrenen Recruiter:in sorgfältig geprüft. Erst nach aktiver Freigabe (auch diese wird protokolliert) werden Prozesse eingeleitet, in denen sich Fehler konkret auswirken können (insbesondere die Ansprache der Kandidat:innen). Mit diesem Mechanismus stellen wir also nicht nur die Anforderungen hinsichtlich menschlicher Einflussnahme sicher, sondern etablieren eine zusätzliche Sicherungsebene zur größtmöglichen Reduktion der Risiken des KI-Systems.

​

Sicherstellung und Überwachung der bestimmungsgemäßen Nutzung

Aus zwei Gründen ist das Risiko für einen nicht bestimmungsgemäße Nutzung unserer KI-Systeme sehr gering:

• Die KI und die Benutzeroberflächen sind technisch auf die bestimmungsgemäße Nutzung begrenzt.
• Die KI wird ausschließlich von geschulten skillconomy Mitarbeiter:innen verwendet

Im Rahmen der QM-Audits findet eine Sichtung der Log-Daten statt. Hierbei sind Hinweise auf nicht bestimmungsgemäße Nutzung ein Prüfungsmerkmal. Darüber hinaus haben unsere Mitarbeiter:innen die Möglichkeit, Indizien für nicht bestimmungsgemäßen Gebrauch anonym zu melden.

​

Gewährleistung und Monitoring von Robustheit, Genauigkeit und Sicherheit

Dieser Punkt bezieht sich gem. EU AI Act insbesondere auf:

• Eine Definition dazu, was Genauigkeit für ein bestimmtes KI-System bedeutet und diese grundsätzlich, aber auch unter ungünstigen Umständen (z.B. fehlerhafte oder böswillige Nutzung) sicherzustellen.
• Sicherheit gegen Systemausfälle
• Widerstandsfähigkeit gegen Manipulation in der Nutzung oder über Einflussnahme auf Trainingsdaten

Da unser KI-System ausschließlich von Mitarbeiter:innen unseres Unternehmens bedient wird und nicht öffentlich zugänglich ist, haben wir ein hohes Maß an Kontrolle über mögliche Einflussnahmen auf das System. Darüber hinaus gewährleisten wir die Sicherheit durch die Umsetzung von best practices entlang der gesamten Wertschöpfungskette und umfangreich zertifiziertes Hosting innerhalb der EU (Amsterdam, Frankfurt).

Ein Monitoring von Metriken für Robustheit, Genauigkeit und Sicherheit steht noch aus. Genauigkeitsmetriken auf Validierungsdatensätze werden schon jetzt für das Modelltraining erfasst und dokumentiert. Da unsere Modelle nicht automatisiert im Produktivbetrieb nachtrainiert oder getuned werden, ist die Anforderung aus unserer Sicht damit zu einem hohen Maße dennoch erfüllt.

​

Logging von Systementscheidungen und -vorfällen

Unsere KI-Systeme erstellen und speichern automatisiert Log-Daten, insbesondere:

• Zeitpunkt und Dauer der Nutzung des KI-Systems
• Input-Daten und Ergebnisse der jeweiligen Nutzung
• Identifikationsdaten der jeweiligen Nutzer:in
• Performance-Metriken der jeweiligen Nutzung (Ausführungszeiten)
• Versionsnummer der verwendeten KI-Modelle

​

Bereitstellung von Informationen und Schulung der Mitarbeiter

Wir unterliegen zwei Anforderungen hinsichtlich der Befähigung zum verantwortungsvollen Umgang mit unseren KI-Systemen: Einerseits sind wir zur Bereitstellung von Informationen an Nutzer:innen zu diesem Zweck verpflichtet. Darüber hinaus sind wir nach Art. 4 zur Schulung unserer Mitarbeiter in Bezug auf KI verpflichtet. In unserem besonderen Fall sind Mitarbeiter:innen und Nutzer:innen aber die selben Personen, sodass wir dies in der praktischen Umsetzung zusammenfassen. Hierzu werden schriftliche Materialien bereitgestellt und halbjährlich Workshops durchgeführt.

​

Aufklärung der vom KI-System ausgewählten Kandidat:innen

Werden Kandidat:innen von unserem KI-System oder mit dessen Unterstützung ausgewählt, unterrichten wir sie auf der Jobsite darüber, dass dies der Fall ist, zu welchem Zweck sie ausgewählt wurden und dass sie ein Auskunftsrecht in Bezug auf eine Erklärung der Entscheidungsfindung haben.

​

Nutzungs-Stop bei schwerwiegenden Vorfällen

Wir haben ein Meldesystem für schwerwiegende Vorfälle für unsere internen Nutzer:innen implementiert, dass die anonyme Meldung von Vorfällen oder Verdachtsfällen ermöglicht. Vorfälle werden unverzüglich allen Geschäftsführern zugeführt, sodass diese angemessene Maßnahmen ergreifen und ggf. einen Nutzungsstopp veranlassen können.

Für den Fall eines Nutzungsstopp erlaubt unser System eine vollständige Substituierung aller KI-Prozesse durch menschengeführte Prozesse, sodass unsere Leistungserbringung dann - wenn auch unter ggf. hohem personellen Aufwand - aufrechterhalten werden kann.

​

Konformitätserklärung, CE-Kennzeichnung, Registrierung

Die Konformitätserklärung und CE-Kennzeichnung wird kurzfristig vorgenommen. Eine Registrierung in der dafür vorgesehenen EU-Datenbank wird durchgeführt, sobald diese verfügbar ist.

​

Häufige Fragen