BOE-Studie: LLMs bilden Inflationserwartungen ab
Drei Ökonomen der Bank of England untersuchen, wie große Sprachmodelle (LLMs) Inflationswahrnehmungen und -erwartungen bilden. Ihre Studie vergleicht KI-Outputs mit Haushaltsumfragen und offiziellen Statistiken.
KI-Modelle im Inflations-Stresstest
Die Studie der Bank of England untersucht die Fähigkeit großer Sprachmodelle (LLMs), Inflationswahrnehmungen und -erwartungen basierend auf makroökonomischen Preissignalen zu bilden.
Die Autoren vergleichen LLM-Outputs mit Haushaltsumfragen und offiziellen Statistiken, indem sie die 'Inflation Attitudes Survey' (IAS) nachbilden.
Ein quasi-experimentelles Design nutzt den Trainings-Cut-off von GPT im September 2021, wodurch das Modell keine Kenntnis des nachfolgenden britischen Inflationsanstiegs hat.
Dies ist entscheidend, um aggregierte Umfrageergebnisse und offizielle Statistiken kurzfristig zu verfolgen.
Auf disaggregierter Ebene repliziert GPT wichtige empirische Regelmäßigkeiten der Inflationswahrnehmungen von Haushalten, insbesondere für Einkommen und soziale Schicht.
Eine neuartige Shapley-Wert-Zerlegung liefert Einblicke in die Treiber der Modellergebnisse.
GPT zeigt eine erhöhte Sensibilität für Informationen zur Lebensmittelinflation, ähnlich wie menschliche Befragte.
Es zeigt sich jedoch, dass dem Modell ein konsistentes Verständnis der Verbraucherpreisinflation fehlt, was sich in unerklärlichen Knicken der Komponentenempfindlichkeit manifestiert.
Potenzial und Fallstricke der KI-Analyse
Die Forscher tragen zur Literatur über die Verwendung von LLMs für die Wirtschaftsanalyse bei, indem sie die Wahrnehmung und Erwartungsbildung von Akteuren untersuchen.
Sie stellen neuartige Interpretationswerkzeuge für LLMs vor, die die Auswirkungen von Informationsbehandlungen messen.
Die Ergebnisse sind ermutigend: Aggregierte Antwortverteilungen lassen sich gut anpassen.
Auf Meso-Ebene stimmen die GPT-Outputs oft mit Umfrageergebnissen demografischer Gruppen überein und sind näher an offiziellen Statistiken als menschliche Antworten.
Interessanterweise zeigt GPT menschenähnliche Verzerrungen, wie eine Überempfindlichkeit gegenüber salienten Inflationskomponenten.
Dennoch ist Vorsicht geboten: Die Mikro-Ebene-Korrespondenz zwischen LLM- und menschlichen Antworten ist schwach und instabil, was auf ein Fehlen kohärenter Argumentation oder eines konsistenten Weltmodells hindeutet.
Ein vielversprechender, aber holpriger Weg
Diese Studie liefert wertvolle Einblicke in das Potenzial von LLMs zur Simulation menschlicher Wirtschaftsagenten, zeigt aber auch deren Grenzen auf.
Obwohl die Modelle aggregierte Muster gut abbilden, offenbaren sie auf Mikroebene Inkonsistenzen und menschenähnliche Verzerrungen.
Für den Einsatz in der Politikgestaltung ist daher eine sorgfältige Validierung unerlässlich, um Fehlinterpretationen zu vermeiden.
Quelle: Inflation attitudes of large language models
IN: