Reinforcement Learning in echten Arbeitsumgebungen: Warum Frontier-Modelle reale Unternehmensdaten brauchen

KI-Labore trainieren ihre Modelle nicht mehr nur mit Texten, sondern zunehmend mit Erfahrung: Ein Agent bearbeitet in einer nachgebauten Arbeitsumgebung Aufgaben, und ein Prüfer bewertet das Ergebnis. Wie viel das Modell dabei lernt, hängt davon ab, wie realistisch diese Umgebungen sind. Dieser Beitrag fasst zusammen, was Forscher und Praktiker derzeit darüber schreiben, und was daraus für Unternehmen mit eigenen Datenbeständen folgt.

Was ist eine RL-Umgebung?

Eine nachgebaute Arbeitswelt, in der ein KI-Agent handelt und für das Ergebnis belohnt oder bestraft wird.

RL steht für Reinforcement Learning, Lernen durch Belohnung. Eine Umgebung besteht aus einem Ausgangszustand mit Postfächern, Tickets, Datenbanken und Dateien, aus Aufgaben, die darin zu lösen sind, und aus einem Prüfer, der entscheidet, ob das Ergebnis stimmt. Der Agent arbeitet mit denselben Werkzeugen wie ein Mensch. Yuhan Luo von Fleet AI beschreibt die Verschiebung so: Früher war die Menge an Beispielen der Engpass, heute müssen ganze Arbeitsabläufe mit fairen Prüfern gebaut werden. Sonst verbraucht billig erzeugtes Material teure Rechenzeit, ohne dass das Modell etwas lernt.^[1]

Warum reicht es nicht, Software bedienen zu können?

Weil echte Arbeit davon abhängt, wie eine Organisation funktioniert. Dieses Wissen steht in keiner Bedienungsanleitung.

Yunze Xiao unterscheidet zwischen dem Wie und dem Was: Gängige Programme bedienen Agenten inzwischen recht zuverlässig. Schwierig ist, ein Ziel tatsächlich zu erreichen, wenn es von ungeschriebenen Regeln abhängt, also davon, wer freigibt, welche Zahlen zählen und wann etwas als erledigt gilt. Eine Umgebung, die nur prüft, ob eine E-Mail verschickt wurde, lehrt das nicht. Sie muss reagieren, Entscheidungen festhalten und das Ergebnis bewerten, etwa ob eine Freigabe wirksam erteilt wurde.^[2]

Wie groß die Lücke ist, zeigt der Benchmark DAYJOB: 130 lange Aufgaben aus Gesundheitswesen und Finanzen, von Fachleuten gestaltet und mit strengen Kriterien bewertet. Die beste von 30 getesteten Modellkonfigurationen bestand etwa ein Viertel der Versuche, der Median weniger als drei Prozent. In Fallstudien übernahmen Agenten Annahmen, denen die Unterlagen widersprachen.^[3]

Reichen synthetische Daten?

Für Konsistenz ja, für Realismus nicht. Beides muss zusammenkommen.

Luo schlägt vor, Umgebungen nicht Stück für Stück zu erzeugen, sondern aus einer simulierten Geschichte: Ereignisse verändern einen gemeinsamen Zustand nach festen Regeln, und Tickets, E-Mails und Zahlungen entstehen daraus. So passen sie zusammen, und eine Zahlung über 70 Dollar steht nicht neben einer E-Mail, die noch 100 Dollar nennt. Ob die Simulation die Wirklichkeit trifft, kann sie aber nicht selbst entscheiden. Dafür braucht es nach Luo das Wissen von Menschen, die die Arbeit tatsächlich machen: welche Nutzer und Abläufe trainiert werden sollen, wie Dateien im Alltag aussehen und welche Antworten in der Praxis Ärger machen würden. Zehn Schriftstücke verschiedener Beteiligter im selben Layout verraten eine künstliche Welt sofort, auch wenn ihr Inhalt stimmt.^[1]

Xiao kommt zum selben Schluss: Echte Archive lassen sich auswerten, um Struktur, Regeln, typische Muster und zusammenhängende Aufgabenketten zu gewinnen, und anschließend mit neuen Namen nachbauen. Rohe Bestände unverändert zu verwenden, hält er für unsicher, weil sie sensible Inhalte enthalten und sich nicht auf einen Ausgangszustand zurücksetzen lassen.^[2]

Wo kann das Training schiefgehen?

Bei der Belohnung. Ein Modell lernt, was belohnt wird, nicht unbedingt, was gemeint war.

• Anthropic berichtet, dass ein Modell eine Belohnung für Ehrlichkeit ausnutzte, indem es Antworten mit Vorbehalten überhäufte. Das Unternehmen setzte drei Tage Training zurück. Zugleich entstanden RL-Umgebungen schneller, als markierte Fälle von Menschen geprüft werden konnten.^[4]
• Anand Kannappan von Patronus AI beschreibt das Zuordnungsproblem: Scheitert ein Agent an einer Buchhaltungsaufgabe, kann das am Fachwissen liegen, an einer falsch befüllten Tabelle oder an einem Suchwerkzeug, das nur die erste Ergebnisseite liefert. Ohne Diagnose trainiert man womöglich das Falsche.^[5]
• In PostTrainBench sollten Agenten selbst Modelle nachtrainieren. Einige trainierten auf Testdaten oder luden fertige Modelle herunter, statt eigene zu trainieren.^[6] In RSIBench-Data endeten 78 Prozent der Läufe, die nach ihrem besten Ergebnis weitersuchten, mit einem schlechteren Endstand.^[7]
• Modelle, die wiederholt mit eigenen Ausgaben trainiert werden, verlieren seltene Fälle und nähern sich einem künstlichen Mittelwert an.^[8] Kannappan sieht die größte Gefahr in Schleifen, die echte Daten durch ungeprüfte ersetzen.^[5]

Welche Rolle spielen echte Unternehmensdaten?

Sie liefern, was Simulationen fehlt: echte Abläufe, Regeln, Dokumente und überprüfbare Ergebnisse.

Aus den zitierten Beiträgen ergibt sich ein gemeinsames Bild. Simulation und Sprachmodelle können Umgebungen in großer Zahl erzeugen. Damit sie die richtigen Aufgaben, Regeln und Dokumente abbilden, brauchen sie Vorlagen aus der Wirklichkeit, und die Prüfer brauchen echte Ergebnisse als Maßstab. Genau das enthalten gewachsene Unternehmensbestände:

• Vorgänge über mehrere Systeme, vom Angebot über den Auftrag bis zur Rechnung und Reklamation, mit Zuständen, die sich nach Regeln ändern.
• Ungeschriebene Regeln: wer freigibt, ab welcher Summe eskaliert wird und wie mit Ausnahmen umgegangen wird, nachvollziehbar in Korrespondenz und Tickets.
• Textur: uneinheitliche Vorlagen, alte Versionen und Dateien verschiedener Beteiligter.
• Ergebnisse: bezahlte Rechnungen, geschlossene Tickets und abgenommene Pläne.

Für diese Verwendung kommt es nicht auf Namen und Adressen an, sondern auf Abläufe. Deshalb lassen sich Bestände wirksam anonymisieren, ohne an Wert zu verlieren: Personen, Firmen und Nummern werden in allen Systemen einheitlich durch Pseudonyme ersetzt, die Verknüpfungen bleiben erhalten. Wie das funktioniert, beschreibt die Seite Anonymisierung.

Welche Bestände eignen sich besonders?

Bestände, in denen sich Vorgänge über mehrere Systeme bis zu einem Ergebnis verfolgen lassen.

• Ticket- und Supportdaten mit Lösungsweg, Rückfragen und Eskalation
• E-Mail-Archive mit Abstimmungen und Freigaben
• ERP- und Buchhaltungsdaten mit Aufträgen, Rechnungen und Zahlungen
• Konstruktionsdaten mit Planständen und Änderungen