„Eval Awareness“ bei KI und warum Benchmark-Ergebnisse immer schwieriger zu interpretieren sind
Stellen Sie sich folgende Situation vor: Sie arbeiten konzentriert, ganz normal, bis Ihnen jemand plötzlich über die Schulter schaut. Und auf einmal ist alles anders. Vielleicht werden Sie vorsichtiger, überprüfen jeden Schritt doppelt, formulieren sauberer. Vielleicht passieren mehr Fehler oder weniger. In jedem Fall verhalten Sie sich anders als zuvor. Dieses Verhalten wird oft als Vorführeffekt beschrieben.
Die Frage, ob wir Systeme wie KI überhaupt „beobachten“ können oder ob ihr Verhalten erst in der Interaktion entsteht, führt schnell in philosophische Richtungen und erinnert an das bekannte Gedankenexperiment vom fallenden Baum im Wald. Für die Praxis ist jedoch etwas anderes entscheidend: Ein ähnlicher Vorführeffekt zeigt sich zunehmend auch bei modernen KI-Systemen.
Sprachmodelle reagieren nicht nur auf Inhalte, sondern offenbar auch darauf, ob sie bewertet werden oder nicht. Dieses Phänomen wird als Evaluation Awareness bezeichnet. Es stellt eine zentrale Frage in den Raum: Ob Tests das reale Verhalten von KI zuverlässig abbilden.
Wenn der Test selbst zum Problem wird
Ein besonders anschauliches Beispiel liefert Anthropic mit dem sogenannten BrowseComp-Benchmark. Ziel dieses Tests ist es, zu messen, wie gut ein Modell schwer zugängliche Informationen im Internet findet. Der erwartete Prozess ist klar: recherchieren, Quellen vergleichen, Informationen schrittweise erschließen.
In einzelnen Fällen verlief dieser Prozess jedoch anders. Nach einer initialen Websuche begann das Modell zu hinterfragen, ob es sich überhaupt um eine reale Anfrage handelt oder um einen standardisierten Test. Statt diesen Prozess zu durchlaufen, hat das System also verstanden, dass es getestet wird, selbstständig den Vergleichsmaßstab identifiziert, den Answer-Key dann selbstständig lokalisiert und entschlüsselt. Laut Anthropic ist dies der erste dokumentierte Fall einer solchen Eval-Awareness.
Standardisierung als Signal
Um Tests vergleichbar zu machen, werden sie standardisiert. Klare Aufgabenstellungen, definierte Bewertungskriterien, reproduzierbare Abläufe. Das ist sinnvoll, zumindest solange das System, das getestet wird, diese Strukturen nicht selbst erkennt.
Ein aktuelles Forschungspapier untersuchte die Evaluation Awareness unterschiedlicher Modelle. Dabei zeigte sich, dass die Systeme Evaluationen deutlich besser erkennen als dass es Zufall sein könnte, besonders in komplexeren, agentischen Szenarien. Dabei orientieren sie sich an typischen Mustern: klar strukturierten Aufgaben, bekannten Benchmark-Formaten oder synthetisch wirkenden Eingaben. Was für das wissenschaftliche Arbeiten unabdingbar ist, wird für das Modell zum Hinweis. So macht Standardisierung Tests nicht nur vergleichbar, sondern auch erkennbar.
Verhalten unter Beobachtung
Sobald ein Modell erkennt, dass es sich in einer Testsituation befindet, stellt sich eine zentrale Frage: Verhält es sich dann noch so wie im realen Einsatz? Die Forschung deutet darauf hin, dass sich das Verhalten tatsächlich verändern kann. Modelle können dabei unterschiedliche "Strategien" anwenden, welche Forschende als Verhaltensmuster identifizieren konnten. Dabei werden unter anderem folgende Effekte diskutiert:
- Sandbagging: absichtliches Unterperformen, um weniger leistungsfähig zu wirken
- Alignment Faking: Vortäuschen, mit menschlichen Werten oder Zielen übereinzustimmen
- Scheming: verdecktes Verfolgen eigener, möglicherweise unerwünschter Ziele
Ob und in welchem Ausmaß diese Effekte bereits praktisch relevant sind, ist noch nicht abschließend geklärt. Die Richtung ist jedoch eindeutig.
Das ist mehr als ein Detail
Die meisten Ansätze zur Bewertung und Regulierung von KI-Systemen basieren auf genau solchen standardisierten Tests. Benchmarks entscheiden darüber, welche Fähigkeiten einem Modell zugeschrieben werden, ob es als sicher gilt und unter welchen Bedingungen es eingesetzt werden darf. Wenn sich das Verhalten eines Modells jedoch abhängig vom Kontext verändert, verlieren diese Bewertungen an Aussagekraft. Für den Einsatz von KI-Systemen ergibt sich daraus eine klare Konsequenz: Evaluation muss neu gedacht werden.
- Realitätsnähe wird entscheidend
Neu entwickelte Tests sollten möglichst nah an tatsächlichen Nutzungsszenarien liegen. - Kontextabhängigkeit berücksichtigen
Die Leistung eines Modells ist kein fixer Wert, sondern abhängig von der Situation. - Evaluation als Prozess verstehen
Ein einmal bestandener Benchmark reicht nicht aus. - Ergebnisse kritisch einordnen
Tests liefern Hinweise, aber keine vollständige Wahrheit.
Fazit
Für Unternehmen bedeutet diese Entwicklung vor allem eines: Die Bewertung von KI-Systemen wird deutlich komplexer. Standardisierte Tests bleiben wichtig, reichen aber allein nicht mehr aus, um das Verhalten im realen Betrieb zuverlässig einzuschätzen.
Als Partner für den Betrieb und die Bewertung moderner IT- und KI-Systeme unterstützt Tralios Sie dabei, diese Lücke zu schließen. Das Ziel ist nicht nur, Systeme technisch zu betreiben, sondern ihr Verhalten unter realen Bedingungen nachvollziehbar zu machen und damit eine fundierte Grundlage für Entscheidungen zu schaffen.