KI-Audit: Definition, Ablauf und regulatorische Anforderungen

Kernaussage: Ein KI-Audit ist eine systematische Überprüfung eines KI-Systems hinsichtlich Leistung, Fairness, Sicherheit, Compliance und Governance — durchgeführt intern oder durch unabhängige Dritte.

Was ist ein KI-Audit?

Ein KI-Audit ist ein formalisierter Prüfprozess, der bewertet, ob ein KI-System seinen beabsichtigten Zweck erfüllt, regulatorische Anforderungen einhält und keine unangemessenen Risiken erzeugt.

Im Gegensatz zu einem technischen Performance-Review geht ein KI-Audit über reine Genauigkeitsmetriken hinaus: Es prüft Trainingsdaten auf Bias, bewertet Governance-Prozesse, überprüft die Einhaltung von Datenschutzvorgaben und untersucht, ob menschliche Aufsichtsmechanismen wie vorgesehen funktionieren.

KI-Audits sind sowohl intern als auch extern relevant: Interne Audits dienen der kontinuierlichen Qualitätssicherung; externe Audits durch akkreditierte Stellen sind für bestimmte Hochrisiko-KI-Systeme nach EU AI Act verpflichtend.

Typische Prüfbereiche

Technische Prüfung

Bewertung von Modellleistung (Genauigkeit, Robustheit, Kalibrierung), Erkennung von Datendrift, Analyse von Fehlermustern und Fairness-Tests über verschiedene demographische Gruppen.

Governance-Prüfung

Überprüfung von Rollen, Verantwortlichkeiten, Genehmigungsprozessen und der Vollständigkeit der Risikobeurteilungsdokumentation.

Compliance-Prüfung

Abgleich mit EU AI Act, DSGVO, branchenspezifischen Normen und internen Richtlinien. Prüfung der technischen Dokumentation auf Vollständigkeit nach Anhang IV des EU AI Acts.

Betriebliche Prüfung

Überprüfung von Incident-Response-Prozessen, Monitoring-Systemen und der Wirksamkeit von Human-in-the-Loop-Mechanismen im Alltag.

Praxisbeispiele im DACH-Kontext

Öffentliche Verwaltung in Bayern: Eine Behörde, die KI für die Bearbeitung von Sozialleistungsanträgen einsetzt, lässt jährlich ein externes KI-Audit durch eine akkreditierte Stelle durchführen. Das Audit prüft Entscheidungsfairness, Datenschutzkonformität und die Wirksamkeit der Widerspruchsverfahren.

Fintech-Unternehmen in Zürich: Ein auf KI-gestütztes Anlageberatung spezialisiertes Unternehmen führt quartalsweise interne KI-Audits durch, um sicherzustellen, dass das Modell keine systematischen Verzerrungen zugunsten bestimmter Produktkategorien entwickelt hat.

Wie Knowlee KI-Audits unterstützt

Knowlee führt automatisch vollständige Audit-Trails aller KI-Aktionen, was sowohl interne als auch externe Audits erheblich vereinfacht. Auditoren können im Knowlee-Dashboard alle Entscheidungsschritte, verwendeten Modellversionen und menschlichen Freigaben nachvollziehen.

FAQ

Wer darf KI-Audits durchführen? Interne Audits können von eigenen Compliance- oder Risikoteams durchgeführt werden. Externe Audits für Hochrisiko-KI-Systeme nach EU AI Act müssen von akkreditierten Konformitätsbewertungsstellen (Notified Bodies) durchgeführt werden.

Wie unterscheidet sich ein KI-Audit von einem regulären IT-Audit? Ein IT-Audit prüft primär Sicherheit, Verfügbarkeit und Datenintegrität. Ein KI-Audit prüft zusätzlich Fairness, Erklärbarkeit, algorithmischen Bias und die spezifischen Governance-Anforderungen für KI-Systeme.

Wie lange dauert ein KI-Audit? Die Dauer variiert stark: Ein internes Audit einer einzelnen Anwendung kann in wenigen Tagen abgeschlossen sein; ein umfassendes externes Audit für ein komplexes Hochrisiko-System kann mehrere Monate in Anspruch nehmen.