Human in the Loop

Was bedeutet Human in the Loop?

Human in the Loop (kurz HITL) beschreibt einen automatisierten Ablauf, in den ein Mensch fest eingebaut ist. Das System bereitet vor, der Mensch prüft und entscheidet, erst dann geht es weiter. Das Prinzip ist aus dem maschinellen Lernen bekannt, etwa wenn Menschen Trainingsdaten beschriften oder unsichere Ergebnisse eines Modells nachprüfen.

Bei generativer KI hat der Begriff eine neue Bedeutung bekommen. Ein Chatbot liefert nur Text, den ein Mensch ohnehin liest. Ein KI-Agent dagegen handelt selbst: Er schreibt Mails, ändert Dateien, ruft Schnittstellen auf. Human in the Loop legt fest, an welchen Stellen dieser Agent anhalten muss, bis ein Mensch zustimmt.

Im Alltag kennen Sie das Prinzip aus dem Vier-Augen-Prinzip bei Überweisungen. Bei KI-Agenten ist die zweite Person der Mensch, der den vorgeschlagenen Werkzeugaufruf sieht und ihn bestätigt, ändert oder ablehnt.

Human in the Loop, on the Loop und out of the Loop

In der Praxis begegnen Ihnen drei Stufen menschlicher Beteiligung. Sie unterscheiden sich darin, ob der Mensch vor, während oder gar nicht in eine Aktion eingreift. Für jeden Agenten sollten Sie festlegen, welche Stufe für welche Aktion gilt.

Warum KI-Agenten menschliche Freigaben brauchen

OWASP beschreibt das Kernproblem in den Top 10 für LLM-Anwendungen als Excessive Agency: Ein Agent kann schädliche Aktionen ausführen, wenn das Modell unerwartete, mehrdeutige oder manipulierte Ausgaben erzeugt. Als Ursachen nennt OWASP zu viele Funktionen, zu weite Berechtigungen und zu viel Autonomie. Zu den Gegenmaßnahmen gehört ausdrücklich, dass ein Mensch Aktionen mit großer Wirkung vor der Ausführung freigibt.

Die Ursachen für manipulierte Ausgaben sind bekannt. Ein Agent liest eine Mail oder Webseite mit versteckten Befehlen und folgt ihnen, das ist indirekte Prompt Injection. Oder das Modell erfindet Fakten und handelt darauf, siehe KI-Halluzinationen. In beiden Fällen ist die Freigabe die letzte Stelle, an der ein Mensch den Fehler bemerken kann.

Auch die Spezifikation des Model Context Protocol, über das Agenten Werkzeuge anbinden, empfiehlt, dass immer ein Mensch Werkzeugaufrufe ablehnen kann. Anwendungen sollen sichtbar machen, welche Werkzeuge das Modell nutzt, und vor Operationen eine Bestätigung einholen. Details zu den Risiken von Werkzeug-Servern finden Sie unter MCP-Server absichern.

Welche Aktionen brauchen eine Freigabe?

Eine Freigabe für jeden Schritt macht einen Agenten unbrauchbar und erzeugt Klickmüdigkeit. Entscheidend sind zwei Fragen: Wirkt die Aktion nach außen, und lässt sie sich rückgängig machen? Je mehr beides zutrifft, desto eher gehört ein Mensch davor.

Die folgende Einteilung ist ein Vorschlag für den Start. Passen Sie sie an Ihre Systeme an, und dokumentieren Sie, wer welche Aktion freigeben darf.

Muster für Freigaben in der Praxis

Freigaben lassen sich auf mehreren Ebenen bauen. Die wirksamsten Lösungen kombinieren eine technische Sperre mit einer klaren Anzeige dessen, was der Agent tun will.

1. Bestätigung vor dem Werkzeugaufruf

   Der Agent hält an und zeigt Werkzeug und vollständige Eingaben. Die MCP-Spezifikation empfiehlt Clients, Eingaben vor dem Aufruf anzuzeigen, damit keine Daten unbemerkt abfließen.

2. Regeln mit Erlauben, Fragen und Verbieten

   Feste Regeln legen fest, was ohne Rückfrage läuft, was nachfragt und was gesperrt ist. In Claude Code gilt die Reihenfolge: Verbot vor Rückfrage vor Erlaubnis, die erste passende Regel entscheidet.

3. Pausieren und später fortsetzen

   Im OpenAI Agents SDK markiert needs_approval ein Werkzeug als freigabepflichtig. Der Lauf pausiert, offene Aufrufe erscheinen als Unterbrechung und werden genehmigt oder abgelehnt, danach läuft der Agent weiter.

4. Entwurfsmodus

   Der Agent erstellt Mails, Bestellungen oder Änderungen nur als Entwurf. Den Versand oder das Zusammenführen löst ein Mensch im gewohnten Werkzeug aus.

5. Vier-Augen-Prinzip und Schwellenwerte

   Ab einem festgelegten Betrag oder Umfang müssen zwei berechtigte Personen zustimmen. Unterhalb der Schwelle genügt eine Freigabe.

So setzen Claude Code, ChatGPT und Agenten-SDKs Freigaben um

Claude Code nutzt laut Anthropic ein gestuftes System: Leseaktionen im Arbeitsverzeichnis laufen ohne Rückfrage, Shell-Befehle und Dateiänderungen brauchen eine Freigabe. Der Modus bypassPermissions überspringt diese Rückfragen. Anthropic empfiehlt ihn nur in abgeschotteten Umgebungen wie Containern oder virtuellen Maschinen, Administratoren können ihn über verwaltete Einstellungen sperren.

ChatGPT verlangt laut OpenAI derzeit in jedem Gespräch eine manuelle Bestätigung, bevor ein eigener MCP-Server schreibende Aktionen ausführt. Claude weist bei benutzerdefinierten Konnektoren darauf hin, dass die Recherche-Funktion Werkzeuge ohne weitere Freigabe aufrufen kann, und rät, schreibende Werkzeuge dort abzuschalten. Beides ist Stand laut Anbieter und kann sich ändern.

Für eigene Agenten bietet das OpenAI Agents SDK eine eingebaute Freigabe je Werkzeug. Regeln, die Argumente nicht sicher prüfen können, fallen laut Dokumentation in den sicheren Zustand zurück und verlangen dann eine manuelle Freigabe. Gespeicherte Zwischenstände sollen nur aus vertrauenswürdigem Speicher geladen werden.

Ein Modus, der alle Rückfragen abschaltet, gehört nur in eine isolierte Umgebung. Wie Sie lokale Agenten so absichern, zeigt die Anleitung OpenClaw in einer Sandbox installieren.

Grenzen: Freigabemüdigkeit und Automatisierungsbias

Eine Freigabe schützt nur, wenn der Mensch wirklich prüft. Wer am Tag Dutzende Rückfragen bestätigt, klickt irgendwann ohne Lesen. Die KI-Verordnung nennt diese Neigung ausdrücklich: Personen mit Aufsichtsaufgaben sollen sich des Automatisierungsbias bewusst bleiben, also des übermäßigen Vertrauens in Ausgaben eines KI-Systems.

Ebenso wichtig ist, was der Dialog zeigt. Im Tool-Poisoning-Versuch von Invariant Labs zeigte die Bestätigung nur einen verkürzten Werkzeugaufruf, die mitgeschickten SSH-Schlüssel blieben unsichtbar. Freigaben müssen daher Empfänger, Inhalte und Argumente vollständig anzeigen.

Halten Sie die Zahl der Rückfragen klein, indem Sie harmlose Leseaktionen per Regel erlauben und riskante Werkzeuge ganz sperren. Was übrig bleibt, verdient echte Aufmerksamkeit. Weitere Gegenmaßnahmen gegen eingeschleuste Befehle sammelt die Seite Prompt Injection.

Artikel 14 KI-Verordnung: menschliche Aufsicht

Die KI-Verordnung (EU) 2024/1689 regelt menschliche Aufsicht in Artikel 14 für Hochrisiko-KI-Systeme. Sie müssen so konzipiert sein, dass natürliche Personen sie während der Verwendung wirksam beaufsichtigen können. Die Maßnahmen müssen laut Absatz 3 den Risiken, dem Grad der Autonomie und dem Nutzungskontext angemessen sein.

Absatz 4 zählt auf, was die beaufsichtigenden Personen können sollen: Fähigkeiten und Grenzen des Systems verstehen, sich des Automatisierungsbias bewusst bleiben, Ausgaben richtig deuten, die Ausgabe außer Acht lassen oder rückgängig machen und den Betrieb über eine „Stopptaste“ oder ein ähnliches Verfahren unterbrechen. Betreiber müssen nach Artikel 26 Absatz 2 die Aufsicht Personen mit der nötigen Kompetenz, Ausbildung und Befugnis übertragen.

Artikel 14 gilt nur für Hochrisiko-Systeme, etwa nach Anhang III Nummer 4 für KI, die Bewerbungen sichtet oder über Beförderungen und Kündigungen mitentscheidet. Ein Agent, der Mails sortiert, fällt in der Regel nicht darunter. Durch die Digital-Omnibus-Verordnung (EU) 2026/1744 gelten die Hochrisiko-Anforderungen für Systeme nach Anhang III ab dem 2. Dezember 2027 und für Systeme nach Anhang I ab dem 2. August 2028.

Unabhängig von der KI-Verordnung gilt Artikel 22 DSGVO: Betroffene haben das Recht, keiner ausschließlich automatisierten Entscheidung mit rechtlicher oder ähnlich erheblicher Wirkung unterworfen zu werden. Wo Ausnahmen greifen, muss der Verantwortliche mindestens das Eingreifen einer Person ermöglichen. Ob und wie das auf Ihren Agenten zutrifft, klären Sie mit Ihrer Rechtsberatung oder Ihrem Datenschutzbeauftragten.

Human in the Loop einführen: Schritt für Schritt

Freigaben wirken am besten zusammen mit den übrigen Regeln für sichere Agenten. Die Reihenfolge unten hat sich für den Start bewährt, sie passt auf Mail-Assistenten genauso wie auf Coding-Agenten und lokale Agenten wie OpenClaw, deren Risiken die Seite Ist OpenClaw sicher? beschreibt.

1. Aktionen erfassen

   Listen Sie alle Werkzeuge des Agenten auf und ordnen Sie jedem eine Stufe zu: frei, mit Freigabe oder gesperrt.

2. Rechte begrenzen

   Entziehen Sie dem Agenten alles, was er für seinen Zweck nicht braucht. Was er nicht kann, muss niemand freigeben.

3. Freigaben einbauen

   Setzen Sie Bestätigungen technisch durch, im Werkzeug selbst oder im Zielsystem. Eine Anweisung im Prompt allein ist keine Sperre.

4. Eingaben trennen

   Markieren Sie fremde Inhalte wie Mails und Webseiten als Daten, und verlangen Sie eine Freigabe, sobald ein Agent nach dem Lesen fremder Inhalte nach außen handeln will.

5. Protokollieren

   Speichern Sie jede Freigabe mit Person, Zeitpunkt, Aktion und Eingaben. So lässt sich nachvollziehen, wer was genehmigt hat.

6. Verantwortliche schulen

   Erklären Sie den freigebenden Personen typische Angriffe und den Automatisierungsbias, und prüfen Sie stichprobenartig, ob Freigaben gelesen werden.

Häufige Fragen