Template: Human Oversight-Konzept nach Art. 14 EU AI Act

Wofür

Das Human-Oversight-Konzept dokumentiert, wie ein Hochrisiko-KI-System so gestaltet ist, dass natürliche Personen seinen Betrieb wirksam beaufsichtigen können — und was diese Personen im konkreten Einsatzkontext tun müssen, damit die Aufsicht nicht nur auf dem Papier existiert. Es beantwortet die Frage, die bei jeder Fehlentscheidung eines Systems gestellt wird: Konnte ein Mensch das erkennen, einordnen und stoppen — und war er dafür ausgestattet? Das Konzept trennt sauber, welche Aufsichtsmaßnahmen der Provider in das System einbaut (Mensch-Maschine-Schnittstelle, Stopp-Funktionen, Erklärbarkeit) und welche der Deployer organisatorisch umsetzen muss (Qualifikation, Zuständigkeit, Zeitbudget). Es wird pro KI-System und Einsatzkontext geführt und bei geänderter Autonomiestufe, neuen Nutzergruppen oder Architektur-Änderungen fortgeschrieben.

Wann es Pflicht ist

Art. 14 der KI-Verordnung (VO 2024/1689) verpflichtet dazu, Hochrisiko-KI-Systeme so zu konzipieren und zu entwickeln, dass sie während der Verwendung durch natürliche Personen wirksam beaufsichtigt werden können — mit dem Ziel, Risiken für Gesundheit, Sicherheit oder Grundrechte zu verhüten oder zu minimieren. Die Aufsichtsmaßnahmen müssen den Risiken, der Autonomiestufe und dem Einsatzkontext des Systems angemessen sein. Art. 14 unterscheidet Maßnahmen, die der Provider vor dem Inverkehrbringen in das System integriert, von Maßnahmen, die der Provider identifiziert und die der Deployer umsetzt. Die beaufsichtigenden Personen sollen die Fähigkeiten und Grenzen des Systems verstehen, gegenüber Automation Bias wachsam bleiben, den Output richtig interpretieren, sich gegen dessen Nutzung entscheiden oder ihn überschreiben sowie den Betrieb unterbrechen können (Stopp-Funktion). Für biometrische Fernidentifizierungssysteme nach Anhang III Nr. 1 verlangt Art. 14 zusätzlich, dass keine Maßnahme allein aufgrund der Identifizierung erfolgt, bevor sie von mindestens zwei kompetenten Personen gesondert überprüft und bestätigt wurde. Das Human-Oversight-Konzept ist der strukturierte Nachweis, dass diese Anforderungen im Design und in der Betriebsorganisation verankert sind, und fließt in die technische Dokumentation nach Anhang IV ein.

Das Artefakt selbst

# Human-Oversight-Konzept — [KI-System-Name], Version [X.Y]

## 1. Geltungsbereich
- KI-System / Modell-Version:
- Einsatzkontext(e) und Intended Purpose:
- Autonomiestufe (Empfehlung / Teilautomatisierung / Vollautomatisierung):
- Verantwortlich (Rolle, nicht Person):
- Datum / Review-Zyklus:

## 2. Aufsichtsziele (Art. 14 Abs. 2)
- Zu schützende Rechtsgüter (Gesundheit / Sicherheit / Grundrechte):
- Konkrete Fehlerszenarien, die Aufsicht abfangen soll:
- Bezug zum Risk Assessment nach Art. 9:

## 3. Provider-seitige Maßnahmen (Art. 14 Abs. 3 lit. a)
| Maßnahme | Umsetzung im System | Nachweis |
|---|---|---|
| Mensch-Maschine-Schnittstelle | | |
| Konfidenz-/Unsicherheitsanzeige | | |
| Erklärung des Outputs | | |
| Stopp-/Interrupt-Funktion | | |
| Warnhinweise / Grenzen der Nutzung | | |

## 4. Deployer-seitige Maßnahmen (Art. 14 Abs. 3 lit. b)
| Maßnahme | Umsetzung in der Organisation | Nachweis |
|---|---|---|
| Zuständige Rolle für Aufsicht | | |
| Qualifikation / Schulung | | |
| Zeit-/Ressourcen-Budget für Prüfung | | |
| Eskalations- und Override-Prozess | | |

## 5. Befähigung der Aufsichtsperson (Art. 14 Abs. 4)
- Verständnis von Fähigkeiten und Grenzen des Systems:
- Maßnahmen gegen Automation Bias:
- Korrekte Interpretation des Outputs (Hilfsmittel, Trainings):
- Recht, Output zu verwerfen / zu überschreiben:
- Möglichkeit, den Betrieb zu unterbrechen (Stopp):

## 6. Vier-Augen-Prinzip bei Biometrie (Art. 14 Abs. 5)
- Anwendbar (nur Anhang III Nr. 1)?  ja / nein / nicht einschlägig:
- Verfahren der gesonderten Bestätigung durch zwei Personen:
- Kompetenzanforderung der bestätigenden Personen:

## 7. Grenzfälle und Restrisiken
- Situationen, in denen Aufsicht praktisch schwer ist (Zeitdruck, Volumen):
- Kompensierende Maßnahmen:
- Verbleibendes Restrisiko + Begründung der Akzeptanz:

## 8. Freigabe
- Geprüft durch / am:
- Nächstes Review:

Ausfüll-Anleitung

1. Autonomiestufe zuerst festlegen (Abschnitt 1). Je höher die Autonomie, desto stärker müssen die Aufsichtsmaßnahmen sein — ein System, das nur Empfehlungen liefert, verlangt anderes als eines, das ohne menschliche Bestätigung handelt.
2. Aufsichtsziele aus dem Risk Assessment ableiten (Abschnitt 2), nicht generisch formulieren. Jedes im Risk Assessment nach Art. 9 identifizierte Risiko sollte ein benanntes Aufsichtsziel haben.
3. Provider- und Deployer-Maßnahmen strikt trennen (Abschnitte 3 und 4). Art. 14 verlangt beides — eine gute Schnittstelle nützt nichts, wenn beim Deployer niemand zuständig oder geschult ist.
4. Automation Bias explizit adressieren (Abschnitt 5). Der bloße Satz "ein Mensch prüft" reicht nicht; benennen Sie, wie verhindert wird, dass die Aufsichtsperson dem System reflexhaft folgt.
5. Stopp-Funktion konkret beschreiben. Wer kann wie und mit welcher Wirkung unterbrechen? "Notaus" ohne definierten Ablauf ist kein belastbarer Nachweis.
6. Zeit und Ressourcen benennen (Abschnitt 4). Aufsicht, für die im Betrieb keine Zeit eingeplant ist, findet nicht statt — Auditoren fragen danach.
7. Abschnitt 6 nur bei Biometrie nach Anhang III Nr. 1 ausfüllen, sonst als "nicht einschlägig" markieren und den Grund kurz notieren — leere Felder wirken wie Übersehen.
8. Restrisiken offen dokumentieren (Abschnitt 7). Ein Konzept, das keine Grenzfälle kennt, ist unvollständig, nicht perfekt. Verantwortlichkeit durchgängig als Rolle führen, damit das Konzept Personalwechsel übersteht.

Audit-Erwartung

Auditoren prüfen das Human-Oversight-Konzept gegen die gelebte Praxis: Sie sprechen mit den benannten Aufsichtspersonen und lassen sich zeigen, dass diese Fähigkeiten und Grenzen des Systems tatsächlich verstehen, den Output einordnen und einen Override oder Stopp auslösen können. Quergelesen wird mit dem Risk Assessment nach Art. 9 (jedes relevante Risiko braucht ein Aufsichtsziel), dem Logging-Konzept nach Art. 12 (Human-Overrides müssen protokolliert sein) und der technischen Dokumentation nach Anhang IV. Rote Flaggen sind reine Schnittstellen-Beschreibungen ohne organisatorische Umsetzung beim Deployer, fehlende Auseinandersetzung mit Automation Bias, eine Stopp-Funktion ohne definierten Ablauf und — bei biometrischen Systemen — ein fehlendes Vier-Augen-Verfahren. Stark wirkt ein Konzept, das an einem durchgespielten Fehlerszenario zeigt, wie die Aufsicht greift.

Verwandte Artefakte

• Template: AI Risk Assessment nach Art. 9 — Aufsichtsziele leiten sich aus der Risikoanalyse ab
• Template: Logging-Konzept nach Art. 12 — Human-Overrides und Eingriffe gehören ins Logging
• Template: Technische Dokumentation nach Anhang IV — dort wird das Oversight-Konzept referenziert
• Welche Use-Cases überhaupt hochrisiko sind: Use-Case-Bibliothek auf hochrisiko-ki.com

Mehr Kontext zu den Pflichten für Hochrisiko-KI im EU AI Act gesamt: Leitfaden auf eu-ai-verordnung.de.

AEGIRA AI Guardian operationalisiert diese Artefakte als laufende Trust-Infrastructure — aegira.ai.