Human in the Loop: Wer darf sehen, was der KI-Agent entschieden hat?

Status Quo: Agentische KI im Enterprise Content Management 

Bis vor Kurzem half KI im Enterprise Content Management vor allem beim Erschließen von Inhalten. Sprachmodelle fassten Dokumente zusammen, beantworteten Fragen an Aktenbestände und schlugen Metadaten vor. Der Mensch blieb dabei durchgängig am Steuer. Mit Agenten verschiebt sich diese Arbeitsteilung. So können Agenten z.B. selbstständig auf Fachsysteme zugreifen und Aktionen auslösen. 

Ein Beispiel aus der Rechnungsverarbeitung 

Im Freigabekorb liegt eine Eingangsrechnung. Der Agent hat sie bereits bearbeitet: den Beleg erkannt, die Positionen gegen die Bestellung abgeglichen, die Kostenstelle zugeordnet und vorkontiert. Zusätzlich hat er vermerkt, dass die Zahlungsfrist von der Rahmenvereinbarung abweicht. Die Freigabe erfolgt durch eine Kollegin aus der Nachbarabteilung, da der zuständige Kollege im Urlaub ist und eine Vertretung hinterlegt wurde. Sie sieht die Empfehlung des Agenten, die zugrunde liegende Begründung, die Einschätzung der Ergebnisqualität sowie ein vollständiges Protokoll des Bearbeitungswegs. Die eigentliche Rahmenvereinbarung hingegen bleibt ihr verborgen. Da Vertragsdokumente dieses Bereichs nicht zu ihrem Verantwortungsbereich gehören, verfügt sie über keine entsprechenden Zugriffsrechte. Auf Basis der bereitgestellten Informationen kann sie den Vorgang dennoch freigeben.

Der Agent hat sauber gearbeitet und jeden Schritt nachvollziehbar dokumentiert. Die Freigabe basiert jedoch auf Informationen, die die freigebende Person nicht überprüfen konnte.

Entscheidend ist daher nicht, ob ein Mensch eingreifen darf, sondern ob ihm alle Informationen zur Verfügung stehen, die er für eine fundierte Entscheidung benötigt.

Was ist ein KI-Agent? 

Ein KI-Agent ist ein Softwaresystem, das ein vorgegebenes Ziel selbstständig in einzelne Arbeitsschritte zerlegt, verfügbare Werkzeuge und Datenquellen nutzt und eigenständig Aktionen ausführt, bis das Ziel erreicht oder eine definierte Grenze erreicht ist.

Drei Merkmale unterscheiden ihn von verwandten Ansätzen:

• Gegenüber einem Assistenten oder Chatbot: Der Agent antwortet nicht nur, sondern kann selbstständig Aktionen in angebundenen Systemen ausführen.
• Gegenüber klassischer Automatisierung: Nicht jeder konkrete Ausführungsschritt ist vorab festgelegt. Der Agent kann abhängig von Situation, Daten und Zwischenergebnissen entscheiden, welcher Schritt als Nächstes sinnvoll ist.
• Gegenüber vollautonomer Software: Sein Handlungsspielraum ist begrenzt. Welche Werkzeuge, Daten und Aktionen erlaubt sind, welche Freigaben erforderlich sind und wann das System anhält, wird durch Regeln und Konfiguration bestimmt.

Für die Praxis ist insbesondere das dritte Merkmal entscheidend. Denn ein KI-Agent ist kein System, das unbegrenzt autonom handelt, sondern ein System mit einem gezielt einstellbaren Autonomiegrad.

Was ein KI-Agent im ECM konkret übernimmt 

Im ECM sind es überwiegend vorbereitende und prüfende Aufgaben. Dazu zählen zum Beispiel: 

• Vertragsprüfung: Klauseln gegen Rahmenvereinbarungen oder interne Vorgaben abgleichen und Auffälligkeiten markieren.
• Rechnungseingang: Belege erkennen, gegen Bestellung und Wareneingang abgleichen, vorkontieren, Abweichungen kennzeichnen.
• Akten- und Vorgangsanlage: Eingänge zuordnen, verknüpfen, Fristen erkennen und Aufgaben erzeugen.
• Recherche über Bestände hinweg: Sachverhalte aus mehreren Dokumenten zusammenführen und belegen.

In allen oben genannten Fällen entsteht am Ende kein fertiger Beschluss, sondern ein aufbereiteter Vorgang mit einer Empfehlung. Die finale Entscheidung bleibt immer beim Menschen. In der Praxis stellt sich damit die Frage, wie diese menschliche Entscheidungsverantwortung organisatorisch und technisch verankert wird. Genau hier setzt das Konzept „Human in the Loop“ an: Es definiert den Punkt im Prozess, an dem ein Mensch die Kontrolle übernimmt, eine Empfehlung prüft und über das weitere Vorgehen entscheidet. 

Human in the Loop: der menschliche Kontrollpunkt in agentischen Architekturen 

Beim Human in the Loop arbeitet der Agent weitgehend selbstständig. Der Mensch überwacht den Ablauf und greift nur ein, wenn es erforderlich ist. Die festgelegten Freigabe- und Kontrollpunkte erfüllen dabei drei wichtige Aufgaben:

Klare Verantwortlichkeiten schaffen: Ein KI-Agent kann keine Verantwortung übernehmen. Deshalb bleibt an entscheidenden Stellen ein Mensch eingebunden, der die Freigabe erteilt und für das Ergebnis verantwortlich ist. 

Kontrollen dort einsetzen, wo sie nötig sind: Nicht jeder Arbeitsschritt muss geprüft werden. Besonders wichtig sind Freigaben bei Entscheidungen mit rechtlichen, finanziellen oder sonstigen weitreichenden Folgen. Zu viele Freigaben machen Prozesse hingegen langsam und können dazu führen, dass Prüfungen weniger sorgfältig erfolgen. 

Effizienz gewinnen, ohne die Kontrolle zu verlieren: Routinemäßige Aufgaben übernimmt der Agent. Die Entscheidung über wichtige oder kritische Schritte bleibt jedoch beim Menschen. 

Auch aus regulatorischer Sicht gewinnt dieses Prinzip an Bedeutung. Der EU AI Act verlangt für Hochrisiko-KI-Systeme eine wirksame menschliche Aufsicht. Zudem setzt die DSGVO Grenzen für Entscheidungen, die ausschließlich automatisiert getroffen werden und erhebliche Auswirkungen auf Betroffene haben können. Entscheidend ist dabei, dass die menschliche Kontrolle tatsächlich wirksam ist. Eine Person muss die Vorschläge des Systems nachvollziehen, hinterfragen und gegebenenfalls korrigieren können. Eine reine Formalität, bei der Ergebnisse ohne Prüfung freigegeben werden, erfüllt diese Anforderung nicht.

Nachvollziehbarkeit ist nicht Einsehbarkeit 

Im Beispiel aus der Rechnungsverarbeitung war der gesamte Vorgang vollständig dokumentiert. Trotzdem fehlten der freigebenden Person wichtige Informationen, um die Empfehlung des Agenten sachlich prüfen zu können. Das ist nicht zwangsläufig ein Konfigurationsfehler. Vielmehr zeigt sich hier eine typische Herausforderung agentischer ECM-Lösungen.

Zwei Bereiche lassen sich heute bereits zuverlässig abbilden:

1. Berechtigungen für den Agenten: Der Agent arbeitet mit den Zugriffsrechten seines Nutzers. Was ein Mitarbeiter nicht sehen darf, kann auch sein Agent nicht einsehen. Die bestehenden Berechtigungen gelten also weiterhin.
2. Dokumentation von Entscheidungen: Wer wann auf welcher Grundlage gehandelt hat, wird revisionssicher festgehalten. Dadurch lässt sich ein Vorgang auch später nachvollziehen.

Damit sind zwei wichtige Fragen geklärt: Worauf darf der Agent zugreifen, und wie wird sein Handeln dokumentiert? Für eine menschliche Freigabe reicht das jedoch nicht immer aus. Die freigebende Person muss die Informationen einsehen können, auf denen die Empfehlung des Agenten basiert. Ein vollständiges Protokoll im Nachhinein ersetzt diese Prüfung nicht. Genau darin liegt die Herausforderung: Ein Prozess kann vollständig nachvollziehbar sein, obwohl die Entscheidungsgrundlage für die freigebende Person nicht vollständig einsehbar ist.

Für Human in the Loop-Szenarien stellt sich daher eine zentrale Frage: Wie kann eine Person eine fundierte Entscheidung treffen, wenn ihr nicht alle relevanten Informationen zur Verfügung stehen?

Warum klassische ECM-Berechtigungen nicht zu jeder Freigabesituation passen

Berechtigungen in Enterprise Content Management Systemen sind meist auf Dauer angelegt. Sie orientieren sich an Rollen, Abteilungen und Aktenstrukturen und werden häufig innerhalb dieser Strukturen vererbt. Das ist sinnvoll, weil auch organisatorische Zuständigkeiten in der Regel längerfristig bestehen. 

Freigabesituationen funktionieren jedoch anders. Sie entstehen oft nur vorübergehend und beziehen Personen ein, die normalerweise keinen Zugriff auf die betreffenden Inhalte haben:

• Vertretung und Urlaub: Eine Person entscheidet vorübergehend über Vorgänge außerhalb ihres üblichen Zuständigkeitsbereichs.
• Eskalation: Eine Entscheidung wird an eine höhere Ebene weitergegeben, die nicht automatisch über alle fachlichen Zugriffsrechte verfügt.
• Vier-Augen-Prinzip: Eine zweite Person prüft bewusst mit einer anderen Rolle und einem anderen Berechtigungsprofil.
• Fachfremde Prüfung: Datenschutz, Revision oder andere Fachstellen müssen einzelne Vorgänge prüfen, ohne dauerhaft Zugriff auf den gesamten Bereich zu erhalten.

Hier entsteht die beschriebene Lücke zwischen Nachvollziehbarkeit und Einsehbarkeit. Die vorhandenen Berechtigungen schützen zwar Informationen zuverlässig, können aber gleichzeitig verhindern, dass eine freigebende Person die vollständige Entscheidungsgrundlage eines konkreten Vorgangs einsehen kann. Mit dem Einsatz von KI-Agenten gewinnt diese Herausforderung zusätzlich an Bedeutung. Je häufiger eine Architektur menschliche Freigaben vorsieht, desto häufiger entstehen Situationen, in denen Personen für eine Entscheidung Informationen benötigen, auf die sie regulär keinen Zugriff haben. Die Frage ist daher nicht nur, wie Entscheidungen dokumentiert werden, sondern auch, wie die für eine Freigabe erforderlichen Informationen kontrolliert und situationsbezogen bereitgestellt werden können.

Typische Lösungsansätze und ihre Grenzen 

In der Praxis wird dieser Zielkonflikt häufig auf zwei Arten gelöst: 

1. Zusätzliche Rechte vergeben: Eine Vertretung erhält Zugriff auf eine Vertragsakte, eine Führungskraft auf einen zusätzlichen Bereich oder ein Prüfer auf bestimmte Unterlagen. Damit stehen die Informationen für die Entscheidung zur Verfügung. Bleiben solche Berechtigungen jedoch länger bestehen als erforderlich, kann die Rechtestruktur mit der Zeit unübersichtlicher werden. Dann wird es schwieriger nachzuvollziehen, aus welchem Anlass ein Zugriff ursprünglich vergeben wurde.
2. Auf Basis der verfügbaren Informationen freigeben: Die freigebende Person bewertet den Vorschlag des Agenten und die ihr vorliegenden Informationen. Wenn die zugrunde liegenden Dokumente nicht vollständig einsehbar sind, kann die Prüfung allerdings nur eingeschränkt erfolgen.

Beide Ansätze können in der Praxis funktionieren, haben aber Grenzen. Im ersten Fall steht die notwendige Einsicht zur Verfügung, dafür müssen zusätzliche Berechtigungen sorgfältig verwaltet werden. Im zweiten Fall bleibt das bestehende Berechtigungsmodell unverändert, dafür ist möglicherweise nicht die gesamte Entscheidungsgrundlage sichtbar. Für Hochrisiko-KI-Systeme ist dieser Punkt auch regulatorisch relevant. Denn Artikel 14 des EU AI Act verlangt eine wirksame menschliche Aufsicht. Dafür muss die verantwortliche Person in der Lage sein, die Ergebnisse des Systems angemessen zu verstehen, zu bewerten und bei Bedarf einzugreifen.

In regulierten oder besonders schutzbedürftigen Bereichen kann diese organisatorische Herausforderung auch für Compliance und Prüfungen relevant werden. 

Forschung und Hochschulen: Projekt-, Drittmittel- und Kooperationsunterlagen können zwischen Instituten, Projekten oder Organisationseinheiten getrennt sein. Eine Person kann für einen Beschaffungsvorgang freigabeberechtigt sein, ohne deshalb dauerhaft Zugriff auf sämtliche zugrunde liegenden Projektunterlagen erhalten zu sollen.

Finance: Funktionstrennung und Vier-Augen-Prinzip sehen bewusst unterschiedliche Rollen vor. Für eine konkrete Prüfung kann die zweite Person zusätzliche Unterlagen benötigen, ohne dass daraus ein dauerhaftes Zugriffsrecht auf den gesamten Bereich entstehen sollte.

HR: Eine Freigabeberechtigung ist nicht automatisch mit vollständiger Akteneinsicht gleichzusetzen. Wer über eine konkrete Maßnahme entscheidet, benötigt die dafür relevanten Informationen, nicht zwangsläufig Zugriff auf die gesamte Personalakte. 

In allen drei Fällen zeigt sich derselbe Zielkonflikt: Für eine konkrete Entscheidung müssen bestimmte Informationen einsehbar sein, ohne daraus ein dauerhaftes Zugriffsrecht abzuleiten. Organisatorische Regeln allein reichen dafür nicht immer aus. Sinnvoll ist deshalb auch eine technische Unterstützung, etwa durch kontextbezogene, zeitlich begrenzte und auf den jeweiligen Entscheidungszweck beschränkte Zugriffsrechte.

Was ECM-Lösungen von der Infrastruktursicherheit lernen können 

Für einen ähnlichen Zielkonflikt gibt es in der Infrastruktursicherheit ein etabliertes Prinzip: Just-in-Time Access. Dabei werden zusätzliche Berechtigungen nicht dauerhaft vergeben, sondern nur für einen konkreten Bedarf und einen begrenzten Zeitraum aktiviert. Ergänzt wird dieser Ansatz durch Just Enough Access: Der Zugriff wird auf genau die Rechte beschränkt, die für die jeweilige Aufgabe erforderlich sind.

Übertragen auf Enterprise Content Management bedeutet das: Der Zugriff entsteht mit der Aufgabe und endet mit ihr. Wer einen Vorgang zur Freigabe erhält, bekommt für die Dauer der Bearbeitung Zugriff auf die dafür notwendigen Entscheidungsgrundlagen – begrenzt auf den konkreten Vorgang und den erforderlichen Umfang.

Damit lässt sich nicht vermeiden, dass für einzelne Freigaben dauerhaft zusätzliche Rechte vergeben werden. Für einen nachvollziehbaren Human in the Loop Prozess reicht der temporäre Zugriff allein jedoch nicht aus. Zusätzlich sollte erkennbar sein, welche Entscheidungsgrundlagen die freigebende Person im Rahmen der Prüfung tatsächlich eingesehen hat. Viele Systeme protokollieren bereits einzelne Aspekte: die Vergabe einer Berechtigung, den Zugriff auf ein Dokument oder die anschließende Freigabe. Entscheidend ist, diese Informationen im Kontext des jeweiligen Vorgangs zusammenzuführen.

So entsteht ein nachvollziehbarer Zusammenhang zwischen Aufgabe, temporärem Zugriff, eingesehenen Unterlagen und Entscheidung. Das beweist zwar nicht, wie sorgfältig eine Person geprüft hat. Es zeigt aber, ob die vorgesehenen Informationen zugänglich waren und im Rahmen der Bearbeitung genutzt wurden.

Idealerweise entsteht dieser Nachweis automatisch aus dem normalen Arbeitsablauf. Zusätzliche Dokumentationsschritte oder Formulare sollten dafür nicht erforderlich sein. Damit wird deutlich: Die eigentliche Anforderung ist weniger eine einzelne Produktfunktion als eine Architekturfrage. Freigabeprozess, Berechtigungsmodell, Identitätsmanagement und Protokollierung müssen so zusammenspielen, dass Zugriffe kontextbezogen erteilt, begrenzt, dokumentiert und automatisch wieder entzogen werden. 

EU AI Act: ein Planungsfenster für KI-Architekturen

Die Anwendungsfristen für bestimmte Hochrisiko-KI-Systeme wurden verlängert. Für Hochrisiko-Systeme nach Artikel 6 Absatz 2 und Anhang III gelten die entsprechenden Anforderungen ab dem 02. Dezember 2027. Für Hochrisiko-Systeme, die unter Artikel 6 Absatz 1 und Anhang I fallen, gilt der 02. August 2028. Zu den in Anhang III erfassten Bereichen gehören unter bestimmten Voraussetzungen unter anderem Anwendungen in der Personalauswahl und Mitarbeitersteuerung, beim Zugang zu Bildung sowie bei der Bewertung der Kreditwürdigkeit. 

Für Organisationen, die heute agentische Architekturen planen, bedeutet die Verschiebung deshalb nicht, dass Architekturfragen vertagt werden sollten. Systeme, die jetzt konzipiert oder eingeführt werden, können zu diesem Zeitpunkt bereits produktiv im Einsatz sein. 

Gerade Anforderungen an menschliche Aufsicht, Berechtigungen und Protokollierung sollten deshalb früh berücksichtigt werden. Werden kontextbezogene Zugriffe und nachvollziehbare Freigabeprozesse erst später ergänzt, kann zusätzlicher Integrations- und Anpassungsaufwand entstehen.

Die verlängerten Fristen sind damit weniger ein Aufschub als ein Planungsfenster: Sie geben Organisationen Zeit, regulatorische Anforderungen bereits in die Architektur agentischer Prozesse einzubeziehen. 

Fazit: Human in the Loop steht und fällt mit der Zugriffsfrage

Agentische KI verlagert Bearbeitungsschritte, nicht die Verantwortung. Der Mensch am Kontrollpunkt bleibt zuständig. Ob er dieser Zuständigkeit nachkommen kann, hängt nicht vom Agenten ab, sondern davon, wer die Entscheidungsgrundlage sehen darf und für wie lange. 

Solange Berechtigungen dauerhaft und rollengebunden vergeben werden, führt jeder zusätzliche Kontrollpunkt entweder zu wachsenden Dauerrechten oder zu Freigaben ohne Prüfung. Beides ist im Nachweis nicht haltbar. Die Antwort ist aus der Infrastruktursicherheit bekannt, im Dokumentenzugriff bislang aber nicht angekommen.