FinBERT übertrifft klassische Wortlisten bei Stimmungsanalyse
Ein Forscherteam der EZB und italienischer Universitäten weist nach, dass transformerbasierte Sprachmodelle wie FinBERT die Stimmung in 143.755 Finanzartikeln deutlich präziser messen als traditionelle Wörterbücher. Die Validierung erfolgte anhand von 1.776 menschlichen Bewertungen.
Kontext schlägt reine Wortzählung
Die Autoren um Maria Saveria Mavillonio analysierten 143.755 englischsprachige Finanzartikel aus Dow Jones Factiva aus dem Jahr 2025.
Während gängige Wörterbuch-Methoden wie Shapiro et al. oder das Wirtschaftslexikon von Barbaglia et al. Texte nur über Wortzählungen erfassen, nutzt das Modell FinBERT die semantische Satzstruktur.
Bei der Klassifikation von 588 manuell annotierten Artikeln erzielten die Transformer-Indikatoren einen Macro-F1-Wert von bis zu 0,69, während lexikonbasierte Maße lediglich 0,19 erreichten.
Wörterbücher stuften fast alle Texte fälschlich als neutral ein.
Auch außerhalb der Stichprobe erklärten die Sprachmodelle 68,8 Prozent der menschlichen Bewertungsvarianz, verglichen mit maximal 29,5 Prozent bei klassischen Methoden.
Geldanreize für menschliche Präzision
Zur externen Validierung bewerteten 444 über die Plattform Prolific rekrutierte Personen die Testartikel auf einer fünfstufigen Likert-Skala.
Ein Auszahlungsbonus belohnte Übereinstimmungen mit dem Konsensurteil, wodurch 1.776 unabhängige Urteile gesichert wurden.
Bei der Aggregation zu täglichen Stimmungsindizes zeigten sich zudem deutliche Wochentagseffekte: Dienstags war der Nachrichtenton mit einem Mittelwert von 0,74 am positivsten, während Freitage mit minus 0,03 leicht negativ ausfielen.
Wortzählen hat in Notenbanken ausgedient
Traditionelle Wörterbücher erweisen sich endgültig als unbrauchbar für verlässliches Nowcasting.
Notenbanken müssen zwingend auf kontextsensitive KI-Modelle umsteigen, um Stimmungsnuancen präzise zu erfassen.
Wer in der Marktbeobachtung nur Schlagworte zählt, analysiert methodisches Rauschen statt echter Signale.