Netzschau-Spezial: 6 Gründe warum Spiegel Onlines „Fußballdaten“ problematisch sind

world-cup-364634_1280

Spiegel Online hat den Datenjournalismus für sich entdeckt. Pünktlich zur Weltmeisterschaft gibt es eine Artikelserie die den ganz bescheidenen Namen „Die Vermessung des deutschen Fußballs“ trägt. Da werden Assoziationen zu Humboldt und Gauß wach und man fragt sich sofort, ob damit Spiegel Online die ultimative Wahrheit mit Löffeln gefressen hat und in Pofallascher Manier, alle Fußballdiskussionen für beendet erklärt.

Das ist leider nicht der Fall.

Datenjournalismus ist zwar der letzte Schrei—die ZEIT, der Guardian, und die New York Times haben alle ihre eigenen Datenblogs, Nate Silvers FiveThirtyEight hat sich längst vom kleinen NYT blog zur eigenständigen Webseite etabliert—aber birgt auch Tücken.

Das SpON Fußballdatenspecial ist da leider keine Ausnahme. Hier sind (mindestens) sechs Gründe, warum wir SpONs Zahlen mit Vorsicht genießen sollten.

1. Methodentransparenz

Die Autoren versuchen herauszufinden, welche Faktoren bestimmen, ob Deutschland ein Spiel bei einer WM gewinnt:

Aus dem Konvolut an Daten, die der Dienstleister Opta erhoben hat, haben wir jene Faktoren herausdestilliert, die eine hohe Korrelation mit der Tordifferenz ergeben, die also dann einen auffälligen Wert aufweisen, wenn Deutschland erfolgreich war.

Jetzt kann man das auf mehrere Arten machen, wahrscheinlich ist das die Autoren eine einfache multiple Regression mit OLS geschätzt haben. Genau steht das da aber leider nicht. Gut, das ist jetzt SpON, kein referierter Fachartikel. Aber trotzdem wäre eine Fußnote zur verwendeten Methode sinnvoll gewesen. OLS bspw. ist extrem anfällig für Outlier, also extreme Werte von Variablen. Schaut man sich SpONs Übersicht über die deutschen Tordifferenzen an, fragt man sich ob das 8:0 gegen Saudi Arabien 2002 oder das 6:0 gegen Mexiko 1978 das Ergebnis beeinflussen.

2. Auswahlproblem

Die Autoren haben für ihre Auswertung der Bestimmungsfaktoren deutscher Siege nur Daten des deutschen Teams über Zeit hergenommen. Das macht natürlich erst mal Sinn. Um die Ergebnisse allerdings in Relation zu setzen, wäre ein Vergleich mit anderen Ländern im gleichen Turnier sinnvoll gewesen. Die Bestimmungsfaktoren der Tordifferenz beim Fußball sind sicherlich ähnlich zwischen den Teilnehmern einer WM. Beziehungsweise falls sie es nicht sind, wäre das doch mal ein interessantes Ergebnis. Das fehlt hier aber.

3. Sinnvolle Ergebnisse

Die Autoren bemerken selbst, dass ihre Ergebnisse inhaltlich nicht sehr aussagekräftig sind. Sie beobachten,

dass die Zahl der herausgespielten Torvorlagen und die Effektivität vor dem gegnerischen Tor das Ergebnis erheblich beeinflussen – wer seine Chancen verwertet, hat gute Chancen, auch zu gewinnen. Und es überrascht kaum, dass Deutschland in der Regel gewann, wenn das Team viele Torschüsse abgab.

Das sagt uns leider nicht viel bis gar nichts. Dass mehr Torvorlagen zu mehr Toren führen ist banal. XKCD fasst das so zusammen:

Interessantere Fragen reißen die Autoren an, beantworten sie dann aber nicht. Zum Beispiel den Zusammenhang zwischen Fouls und Spielerfolg. Immerhin messen sie ja die Anzahl der gelben und roten Karten.

4. Kodierung / Definition

SpON bleibt uns auch eine Kodierungsregel bzw. eine genaue Definition ihrer Variablen schuldig. Solche Dinge wie Effektivität (Chancenverwertung), Torvorlagen, Torschüsse, sind in der Regel meist eindeutig. Aber trotzdem wäre es sinnvoll zu wissen, welche exakte Definition diese Konzepten zugrunde liegt—und vor allem ob sich dieses Konzept bzw. seine statistische Erfassung über Zeit verändert hat. Denn das kann die Ergebnisse durchaus beeinflussen.

5. Unsicherheit / Effektgröße

Wir erfahren auch nicht a) wie sicher sich die Autoren ihrer Ergebnisse sind, und b) wie groß die berichteten Effekte sind. Statistik beruht auf Wahrscheinlichkeitsrechnung, weshalb die Ergebnisse ohne Konfidenzintervalle oder zumindest Signifikanzniveaus nur mit einem Gschmäckle zu genießen sind. Gleichzeitig kann man zwar Bestimmungsfaktoren der Tordifferenz errechnen—ohne aber gleichzeitig zu berichten wie groß der Effekt ist, bringt diese Erkenntnis nur recht wenig. Denn bspw. der Effekt von Chancenprävention auf die Tordifferenz kann zwar mit hoher Wahrscheinlichkeit unterschiedlich von 0 sein (statistisch signifikant), aber wenn der Effekt an sich nicht groß ist, ist er möglicherweise substantiell insignifikant. SpON liefert allerdings weder Angaben zur Unsicherheit, noch zur Effektgröße.

6. Datentransparenz

Wenn SpON jetzt die gesammelten Daten den Lesern zur Verfügung stellen würde, könnten sich solche Erbsenzähler wie ich, viele der oben genannten Punkte selbst ausrechnen. Offenlegung der Daten gehört auch nicht ohne Grund zu den Grundprinzipien von gutem Datenjournalismus. Leider gibt es nirgendwo einen Link, unter dem man sich eine komprimierte Version der Daten herunterladen kann. Dass das besser geht zeigt The Upshot, der Datenblog der New York Times. Auf der Plattform GitHub bieten die Upshot-Autoren Daten + Code an, mit denen die Analysen transparent gemacht werden. Das ist vorbildlich, allerdings zu SpON noch nicht durchgedrungen.

Allerdings vermute ich, dass die Autoren die Daten gar nicht veröffentlichen dürfen, da diese von dem Sportdatenanbieter Opta erhoben wurde und wahrscheinlich ein Produkt darstellen, dass man nicht einfach so zur freien Verfügung stellen darf. Falls das der Fall ist (was ja erst mal nicht verwerflich ist), sollte darauf explizit hingewiesen werden. Gleichzeitig würde das die oben bemängelten Informationen noch notwendiger machen, um die Analyse einigermaßen verlässlich beurteilen zu können. Leider ist auch hier bei SpON Fehlanzeige.

Viel Lärm um nichts?

Ich habe oben schon geschrieben, dass SpON für ein breites Publikum schreibt und sich nicht an einer wissenschaftlichen Publikation versucht. Rege ich mich also zu unrecht auf? Vielleicht. Aber selbst wenn das Zielpublikum kein wissenschaftliches ist—gerade dann!—ist Pflicht zur Sorgfalt und Transparenz gegeben. Daten und Statistiken geben einer solchen Artikelserie den Hauch von Genauigkeit und Exaktheit, was man als Laie allerdings nicht beurteilen kann. Gerade dann ist es notwendig so transparent wie möglich zu sein, damit die Ergebnisse nachgeprüft und für gut—oder falsch—bewertet werden können.

Fazit: Leute, das geht besser.

One comment

  1. […] nicht bekannt; das gilt auch für die Daten der FIFA. (Update: In einem Kommentar unten wird auf diesen Text hingewiesen: “6 Gründe warum Spiegel Onlines ‘Fussballdaten’ problematisch […]

Schreibe einen Kommentar

Trage deine Daten unten ein oder klicke ein Icon um dich einzuloggen:

WordPress.com-Logo

Du kommentierst mit Deinem WordPress.com-Konto. Abmelden / Ändern )

Twitter-Bild

Du kommentierst mit Deinem Twitter-Konto. Abmelden / Ändern )

Facebook-Foto

Du kommentierst mit Deinem Facebook-Konto. Abmelden / Ändern )

Google+ Foto

Du kommentierst mit Deinem Google+-Konto. Abmelden / Ändern )

Verbinde mit %s

%d Bloggern gefällt das: