Hochrisiko-KI-Systeme: Definition und Pflichten nach EU AI Act

Kernaussage: Hochrisiko-KI-Systeme nach EU AI Act sind KI-Anwendungen in sensiblen Bereichen, die erhebliche Risiken für Gesundheit, Sicherheit oder Grundrechte bergen. Sie unterliegen den strengsten Compliance-Anforderungen der Verordnung.

Was sind Hochrisiko-KI-Systeme?

Der EU AI Act unterscheidet KI-Systeme primär nach ihrem Risikopotenzial. Als "hochriskant" gelten Systeme, die in Bereichen eingesetzt werden, in denen fehlerhafte oder diskriminierende KI-Entscheidungen erheblichen Schaden anrichten können.

Die Hochrisikokategorie umfasst zwei Gruppen: erstens KI-Systeme, die als Sicherheitskomponenten regulierter Produkte eingesetzt werden (z. B. in Fahrzeugen, Medizinprodukten, Spielzeugen) — geregelt nach Anhang I des EU AI Acts. Zweitens eigenständige KI-Systeme in bestimmten Anwendungsbereichen — geregelt nach Anhang III.

Anhang III: Die acht Hochrisikobereiche

  1. Biometrische Identifizierung und Kategorisierung
  2. Kritische Infrastruktur (Energie, Wasser, Verkehr)
  3. Allgemeine und berufliche Bildung (Zugang zu Bildung, Leistungsbewertung)
  4. Beschäftigung und Personalmanagement (Recruiting, Arbeitsleistungsbewertung, Entlassungen)
  5. Wesentliche private und öffentliche Dienstleistungen (Kreditscoring, Notfalleinsatzdienste, Sozialleistungen)
  6. Strafverfolgung
  7. Migration, Asyl und Grenzkontrolle
  8. Rechtspflege und demokratische Prozesse

Für DACH-Unternehmen besonders relevant: Kategorie 4 (HR/Recruiting-KI) und Kategorie 5 (Kreditscoring, Versicherung).

Pflichten für Anbieter von Hochrisiko-Systemen

  • Risikomanagementsystem einrichten und aufrechterhalten (Artikel 9)
  • Anforderungen an Trainingsdaten und Datenqualität erfüllen (Artikel 10)
  • Technische Dokumentation erstellen (Artikel 11, Anhang IV)
  • Automatische Protokollierung (Logging) sicherstellen (Artikel 12)
  • Transparenz gegenüber Deployer gewährleisten (Artikel 13)
  • Menschliche Aufsicht technisch ermöglichen (Artikel 14)
  • Genauigkeit, Robustheit und Cybersicherheit sicherstellen (Artikel 15)
  • EU-Konformitätsbewertung durchführen und EU-Konformitätserklärung ausstellen
  • Im EU-KI-Register registrieren

Pflichten für Deployer (Nutzer) von Hochrisiko-Systemen

Neben den Anbieterpflichten haben auch Unternehmen, die Hochrisiko-KI-Systeme einsetzen, eigene Pflichten: menschliche Aufsicht sicherstellen, das System nur gemäß Anweisungen nutzen, Mitarbeitende schulen und Vorfälle melden.

Praxisbeispiel im DACH-Kontext

Personalberatung in Frankfurt: Ein HR-Tech-Unternehmen, das eine KI-gestützte Bewerberselektion anbietet, fällt unter Anhang III Kategorie 4. Es muss eine Konformitätsbewertung durchführen, technische Dokumentation erstellen, das System im EU-KI-Register eintragen und seinen Kunden (Deployer) klare Anweisungen zur menschlichen Aufsicht mitliefern.

Wie Knowlee die Anforderungen für HR-KI adressiert

Knowlee-Recruting-Workflows sind so konzipiert, dass alle KI-generierten Kandidaten-Shortlists zwingend menschlicher Überprüfung unterzogen werden. Die Plattform liefert die technische Dokumentation und Audit-Trails, die für die Compliance-Anforderungen an Hochrisiko-HR-KI-Systeme benötigt werden.

FAQ

Woran erkenne ich, ob mein KI-System als Hochrisiko eingestuft wird? Prüfen Sie, ob das System in einem der acht Anhang-III-Bereiche eingesetzt wird. Beachten Sie auch Anhang I für KI in sicherheitsrelevanten Produkten. Im Zweifel empfiehlt sich eine rechtliche Einschätzung oder die Konsultation der Leitlinien der EU-Kommission.

Gelten die Hochrisikopflichten auch für KI-Systeme, die vor 2026 entwickelt wurden? Ja, für alle Systeme, die ab August 2026 auf dem Markt sind oder in Betrieb genommen werden. Systeme, die bereits vor dem 2. August 2026 in Betrieb sind, haben in bestimmten Fällen bis 2027 oder 2028 Zeit zur Anpassung.

Kann ein Unternehmen vermeiden, als Anbieter eines Hochrisiko-KI-Systems zu gelten? Eine Neueinstufung ist möglich, wenn das System seinen Zweck oder Anwendungsbereich nachweislich so ändert, dass es aus Anhang III herausfällt. Dies ist jedoch kein einfacher Ausweg — die Klassifizierung richtet sich nach dem tatsächlichen Einsatz, nicht nur nach der Bezeichnung.