Neues R-Paket ForeComp präzisiert Tests auf Prognosegenauigkeit
Ökonomen der Federal Reserve Bank of Philadelphia haben die R-Software ForeComp veröffentlicht. Das Paket bündelt erweiterte Inferenzmethoden, um Verzerrungen bei Diebold-Mariano-Tests zur Prognosegenauigkeit in kleinen Datensätzen zu vermeiden.
Fixed-Smoothing gegen das Überverwerfungs-Problem
Klassische Diebold-Mariano-Tests führen in kurzen Evaluierungszeiträumen häufig zu falschen Verwerfungen der Nullhypothese gleicher Prognosegüte.
Ursache ist meist die fehlerhafte Schätzung der langfristigen Varianz der Verlustdifferenzen bei serieller Korrelation.
Das neue R-Paket ForeComp bündelt fortschrittliche Fixed-Smoothing-Asymptotiken nach Kiefer-Vogelsang und Sun sowie den Equal-Weighted-Cosine-Schätzer von Lazarus.
Damit berücksichtigt das Verfahren den Schätzfehler der Varianz direkt in den Referenzverteilungen.
Zudem bietet das Paket mit der Funktion Plot Tradeoff ein visuelles Diagnosewerkzeug, das die Robustheit von Testergebnissen gegenüber der gewählten Bandbreite transparent macht.
Replikationstest bestätigt methodischen Mehrwert
Die Autoren illustrieren ForeComp an Daten des Survey of Professional Forecasters.
In Monte-Carlo-Simulationen mit 5.000 Replikationen über 240 Parameterkombinationen zeigt sich die Überlegenheit der neuen Ansätze.
Während Standard-DM-Tests bei Stichproben von P = 75 und horizonalen Fristen von h = 12 Rejektionsraten von bis zu 16 Prozent aufweisen, halten Fixed-Smoothing-Methoden das nominale Fünf-Prozent-Niveau zuverlässig ein, ohne dabei an größenkorrigierter Teststärke einzubüßen.
Ein längst überfälliger Standard für die Praxis
ForeComp schließt eine eklatante Lücke im Werkzeugkasten empirischer Ökonomen.
Klassische Prognosetests liefern in kleinen Datensätzen zu oft Scheinresultate.
Die Nutzung robuster Fixed-Smoothing-Verfahren sollte deshalb rasch zum Standard werden.