Wie Datenvisualisierungen irreführend sein können

Karriere TipsArbeitsleben

Es gibt Lügen, verdammte Lügen und Statistiken. Und dann gibt es noch Datenvisualisierungen.

Burton Malkiel, Autor des berühmten Investitionsleitfadens A Random Walk Down Wall Street, entwickelte eine Methode, um eine Theorie zu testen, die besagt, dass die Bewegungen der Aktienkurse im Wesentlichen zufällig und unvorhersehbar sind. Er setzte einen Anfangspreis von 50 Dollar für eine erfundene Aktie fest und ließ jeden Tag eine Münze werfen. Wenn die Münze Kopf zeigte, stieg der Kurs ihrer fiktiven Aktie um einen halben Basispunkt. Wenn die Münze auf "Zahl" fiel, sank der Aktienkurs um den gleichen Betrag. Malkiel ließ die Studenten im Laufe des Kurses Diagramme über ihre "Aktienkurse" führen.

Gegen Ende des Semesters brachte Malkiel diese Zeitreihen der gefälschten Aktienkurse zur Analyse zu Chartisten. Chartisten waren ein früherer Berufsstand von Prognostikern, die behaupteten, sie könnten anhand der vergangenen Entwicklung von Aktienkursen bestimmen, wie sich die Aktienkurse in Zukunft entwickeln würden. Diese Chartisten gaben Malkiel zuversichtliche Meinungen, die von "Jetzt kaufen!" bis "Jetzt verkaufen!" reichten und alles dazwischen. Interessanterweise erkannte keiner der Chartisten, denen Malkiel diese Grafiken vorlegte (die auf einem reinen Rauschprozess durch das Werfen von Münzen basierten), dass es sich dabei nur um zufälliges Rauschen ohne ein sinnvolles Muster handelte. Sie alle gingen davon aus, dass ein lesbares System am Werk sein musste.

Malkiel schlug vor, dass die Psychologie die wahrscheinlichste Erklärung dafür ist, warum der Mensch in Zufallsdaten Muster lesen muss. Menschen kommen mit dem Mangel an Ordnung nur schwer zurecht und sehen daher oft Muster in Daten, wo es keine gibt.

Scheinbare Korrelation

Auf diese Weise wird die Visualisierung von Daten zu einem heiklen Unterfangen. Im besten Fall kann eine Datenvisualisierung echte Trends in den zugrunde liegenden Daten isolieren und deutlich machen. Leider kann sie aber auch zu einer Fata Morgana des Verständnisses führen. Zufällige Prozesse sehen in der Regel nicht zufällig aus, vor allem nicht für das bloße Auge. Das unglückliche Nebenprodukt des immer leichteren Zugangs zu visualisierten Informationen ist eine Explosion des analytischen Dilettantismus. Der Glaube des Einzelnen an die Geschichten, die er in grafischen Daten "sieht", kann zu völlig falschen Einschätzungen über komplexe, zufällige Prozesse führen.

Ein Beispiel für diesen Trugschluss, den Malkiels unglückliche Chartisten schließlich entdeckten, ist die so genannte Scheinkorrelation. Sie tritt auf, wenn Variablen eine hohe Korrelation aufweisen und es so aussieht, als ob sie sich in einem Diagramm in einer eindeutigen Beziehung zueinander bewegen, obwohl sie völlig unabhängig voneinander sind. Tyler Vigen betreibt eine Website, die sich der Visualisierung der lächerlichsten Beispiele für diese Daten widmet. So gibt es beispielsweise keinen logischen Zusammenhang zwischen dem Geld, das die Vereinigten Staaten für Wissenschaft, Raumfahrt und Technologieinitiativen ausgeben, und der Gesamtzahl der Selbstmorde durch Erhängen, Strangulieren und Ersticken. Vigen hat jedoch beide Werte über den 10-Jahres-Zeitraum von 1999 bis 2009 grafisch dargestellt und zeigt eine enge visuelle Entwicklung der beiden Reihen und einen Korrelationskoeffizienten von 99,8 Prozent. Diese Visualisierung erweckt den Eindruck, dass es einen Grund geben muss, warum diese beiden Messgrößen so eng miteinander verbunden sind.

Die Website (und das Buch) von Vigen zeigen, dass falsche Korrelationen entstehen können, wenn zufällige Prozesse miteinander verglichen werden. Die Leichtigkeit, mit der heute jeder Datenvisualisierungen erstellen kann, und die ständig wachsenden Möglichkeiten der Datendarstellung können Forscher dazu verleiten, sich die ansprechendsten Diagramme herauszupicken, um ihre Argumente vorzubringen.

Das ganze Bild

Wenn das Ziel eines Forschers also darin besteht, die Menschen von der Richtigkeit seiner Schlussfolgerung zu überzeugen, besteht der Anreiz darin, der Öffentlichkeit nur die überzeugendsten grafischen Beweise zu präsentieren. Für Beobachter ist es unmöglich zu erkennen, welche Grafiken nicht berücksichtigt wurden. Würden jedoch alle relevanten Visualisierungen veröffentlicht, könnte ein überzeugendes Diagramm anhand aller verschiedenen grafischen Entscheidungen, Maßstäbe und Transformationen, die es vor seiner endgültigen Form durchlaufen hat, verglichen werden. Auf diese Weise könnte die Öffentlichkeit alle Behauptungen mit einer gesunden Skepsis bewerten.

Ein solcher Rahmen wäre auch nicht völlig aus der Luft gegriffen. Die meisten Forscher kennen diese "Freiheitsgrade der Forscher" und sind zu Recht misstrauisch, was dazu führt, dass sie statistischen Schätzungen aus mathematischen Modellen skeptisch gegenüberstehen. Oft versäumen sie es jedoch, Visualisierungen mit der gleichen Skepsis zu betrachten. Noch schlimmer ist, dass Datenvisualisierungen im Allgemeinen einem viel breiteren und weniger fragenden Publikum präsentiert werden als formale statistische Ergebnisse. Schöne Grafiken, die überzeugende Geschichten erzählen, stoßen in der Regel nicht auf heftigen Widerstand, insbesondere bei Laienpublikum.

Nicht genug Informationen

Ein weiteres Problem, das sich bei der Visualisierung von Daten ergibt, sind die Informationen, die die Zahlen auslassen. Abraham Wald war ein berühmter Mathematiker des frühen 20. Jahrhunderts. Während des Zweiten Weltkriegs arbeitete Wald mit der Statistical Research Group der Columbia University zusammen, einem Team von Forschern, das sich mit Fragen befasste, die sich während der Kriegsführung ergaben. Sie hatten die Aufgabe, ein einzigartiges Problem zu lösen, mit dem die Flugzeugbesatzungen bei Bombenangriffen konfrontiert waren. Das Militär wollte die Zahl der abgeschossenen Bomber verringern. Um dies zu erreichen, kam man auf die Idee, die Bereiche des Flugzeugs, die bei der Rückkehr am stärksten beschädigt waren, besser zu schützen.

Wald erkannte, dass es nicht darauf ankam, wo die zurückkehrenden Flugzeuge getroffen wurden, sondern darauf, wo diese Flugzeuge nicht getroffen wurden. Wald kam zu dem Schluss, dass die Wahrscheinlichkeit, im Luftkampf getroffen zu werden, überall an einem Bomber gleich groß ist. Diese Erkenntnis führte ihn zu dem Schluss, dass das Militär genau das Gegenteil tun und die Teile der zurückkehrenden Bomber, die nicht getroffen wurden, stärker panzern sollte. Der Grund dafür war, dass die Bomber, die nicht zurückkehrten, wahrscheinlich genau an den Teilen getroffen worden waren, die bei den zurückkehrenden Flugzeugen keine Schäden aufwiesen. Glücklicherweise nutzte Wald sein tiefes Verständnis für statistische Verteilungen, um richtig zu erkennen, was die visuellen Beweise auf den zurückkehrenden Flugzeugen anzeigten. Ohne Walds Einsicht hätten die visuellen Beweise jedoch zu einer Verschwendung von Ressourcen geführt, da das Militär die am wenigsten gefährdeten Teile der Flugzeuge überpanzerte, was wahrscheinlich das Leben weiterer alliierter Flugzeugbesatzungen gekostet hätte.

Vierzig Jahre nach Ende des Zweiten Weltkriegs ereignete sich eine Tragödie in der Luft, die größtenteils auf Daten zurückzuführen war, die in einer Visualisierung nicht berücksichtigt wurden. Im Jahr 1986 explodierte die Raumfähre Challenger eineinhalb Minuten nach dem Start. Alle sieben Besatzungsmitglieder kamen bei der Explosion ums Leben. Der Grund für die Explosion war, dass sich ein O-Ring, eine Art Dichtung zwischen den Abschnitten des Raketentriebwerks, nicht genügend ausdehnte, um den Abschnitt ordnungsgemäß zu füllen. Der anschließende Halt im Motor verursachte einen Feuerball, der die Rakete in die Luft sprengte.

Nach dem Absturz ergab eine Untersuchung, dass im Vorfeld des Starts eine Grafik die Anzahl der beschädigten O-Ringe pro Übungsstart und die Umgebungstemperatur am Tag des Übungsstarts für Starts, die mit mindestens einem beschädigten O-Ring zurückkamen, zeigte. Das Muster in der Grafik zeigte keinen visuellen Hinweis darauf, dass die Lufttemperatur in irgendeiner Weise mit den O-Ringen zusammenhängt, die während des Starts in Mitleidenschaft gezogen wurden. Indem man nur die Flüge mit mindestens einem beschädigten O-Ring aufzeichnete, wurde die Mehrzahl der Übungsstarts, die keine Anzeichen für eine Beschädigung des O-Rings aufwiesen, in der Grafik nicht berücksichtigt. Jeder dieser Starts fand an Tagen mit Temperaturen zwischen 65 und 81 Grad Fahrenheit statt. Der Start, bei dem die meisten O-Ring-Schäden auftraten, fand an einem Morgen mit einer Außentemperatur von 51 Grad statt. Wie die Kommission, die die Explosion untersuchte, feststellte, führten die fehlenden Daten der Grafik zu der Annahme, dass der Zusammenhang zwischen der Lufttemperatur und der Wahrscheinlichkeit eines O-Ring-Versagens gering bis nicht vorhanden war. Dies wiederum führte zu der katastrophalen Entscheidung, den Start an einem für die Jahreszeit ungewöhnlich kalten Morgen durchzuführen, was sieben Menschen das Leben kostete.

Klüger visualisieren

Wie kann man also in einer Welt, die zunehmend von Datenvisualisierungen dominiert wird, von denen viele in Echtzeit aktualisiert werden, vermeiden, dass man aus diesen Grafiken falsche oder ungerechtfertigte Schlüsse zieht? Amanda Makulec hat in einem Artikel vom März 2020 10 Vorschläge dazu gemacht. Ende letzten Jahres hat sie diese Empfehlungen weiterverfolgt. Ihre Hinweise stehen im Zusammenhang mit den Informationen zu COVID-19. Einige ihrer Tipps gehen jedoch über pandemiebezogene Daten hinaus und bieten die besten Mittel, um sich vor Irreführung durch visuelle Darstellungen zu schützen.

Die erste Regel ist die zwingendste: Tun Sie mehr, um die Daten zu verstehen, als sie nur herunterzuladen und in ein Dashboard oder eine Grafik zu packen. Wenn die Feinheiten der Datenerfassung nicht berücksichtigt werden, z. B. was die Zahlen tatsächlich zählen, wie sie gemeldet wurden, wer sie gesammelt hat und andere Überlegungen, kann dies ebenso leicht in die Irre führen wie erhellend sein. Wenn Sie Ihre Daten nicht kennen, kennt Ihr Publikum sie höchstwahrscheinlich auch nicht.

Der zweite Tipp von Makulec ist die Vermeidung von Überaggregation und bedeutungslosen oder unzutreffenden Vergleichen. Dies gilt insbesondere für die Berechnung von Quoten, da die Schwierigkeit, die richtigen Basisgruppen für den Vergleich zu bestimmen, unterschätzt wird. So argumentiert Makulec, dass Daten sehr irreführend sein können, wenn die Basisgruppen für den Vergleich von Messgrößen unterschiedlich oder nicht leicht zu identifizieren sind. Dieses Problem ist in allen Disziplinen weit verbreitet und betrifft die Art und Weise, wie Länder COVID-Fälle zählen, wie verschiedene Gemeinden Informationen über Kriminalität zusammenstellen oder sogar wie Unternehmen den Anteil der Arbeitnehmer berechnen, die im letzten Jahr an verschiedenen Arbeitsplätzen gekündigt haben.

Ein weiterer wichtiger Hinweis, den Makulec gibt, ist, dass Visualisierungen ehrlich darüber sein sollten, was nicht dargestellt wird. Es ist also entscheidend, neben den bekannten Daten auch die Unsicherheit zu visualisieren. Dies ist besonders wichtig, wenn Modellschätzungen in grafischer Form dargestellt werden, und geht mit einem weiteren Tipp von Makulec einher: Seien Sie sich darüber im Klaren, was die Daten sind, was die Modellschätzungen sind und wo die Unsicherheit liegt.

Lassen Sie sich nicht von Datenvisualisierung täuschen

Im besten Fall ist die Datenvisualisierung ein leistungsfähiges Instrument, um Muster in verrauschten Daten zu erkennen. Außerdem können grafische Darstellungen ein hervorragendes pädagogisches Mittel sein, um wichtige Aspekte der gesammelten Informationen zu veranschaulichen. Wenn sie jedoch voreilig und ohne Berücksichtigung der blinden Flecken in der menschlichen Wahrnehmung erstellt werden und durch Grafiken auf aktueller Ebene in die Irre geführt werden können, können Datenvisualisierungen genauso problematisch sein, wenn nicht sogar noch problematischer, als herkömmliche Statistiken. Indem sie dem Betrachter eine Fassade der Gewissheit präsentieren ("ein Bild sagt mehr als tausend Worte", wie das Klischee besagt), kann eine irreführende Datenvisualisierung zu falschen Schlussfolgerungen oder zu einer mangelnden Anerkennung der tatsächlichen Risiken führen, die kritischen Entscheidungen zugrunde liegen. Das Hinterfragen der visuellen Darstellungen und der dahinter stehenden Zahlen ist eine ebenso wichtige Art der skeptischen Untersuchung wie auf jeder anderen Ebene der statistischen Analyse.