Richtige Daten, falsche Schlüsse

Juli Tkotz
Martin Papenberg

02.04.2019

Manipulierte Daten?

Daten können “frisiert” werden, um eine bestimmte Aussage zu vermitteln
Und/oder: irreführende Darstellung
Wir wollen aber auf die Fälle eingehen, wo es ohne (bewusste) Manipulation zu Fehlern kommt

Illusionen

Wieso können wir überhaupt so gut (von anderen und uns selbst) getäuscht werden?
Wir sind “pattern seeking primates”.
- Manchmal sehen wir Muster, wo nur Rauschen ist.

Visuelle Illusionen

“Datenbasierte” Illusionen

Vigen (2019)

“Datenbasierte” Illusionen

Vigen (2019)

It’s not a bug, it’s a feature!

Kosten, etwas zu übersehen üblicherweise höher, als etwas “überzuinterpretieren”.

It’s not a bug, it’s a feature!

Kosten, etwas zu übersehen üblicherweise höher, als etwas “überzuinterpretieren”.

It’s not a bug, it’s a feature!

Kosten, etwas zu übersehen üblicherweise höher, als etwas “überzuinterpretieren”.

It’s not a bug, it’s a feature!

Kosten, etwas zu übersehen üblicherweise höher, als etwas “überzuinterpretieren”.

Lasst Daten sprechen?

Problem: Daten sprechen eben nicht “für sich”.
Wir verstehen sie nicht auf den ersten Blick.

Lasst Daten sprechen?


x	1.972	1.112	0.000	0.665	0.235	0.247	1.275	0.702	1.760	1.691	1.628	1.957
y	1.236	1.994	1.009	1.942	0.356	1.658	1.961	0.045	0.350	0.277	1.778	1.290

x	0.111	0.902	0.598	1.613	1.298	0.651	1.949	0.099	0.862	0.027	0.706	1.042
y	0.542	0.005	0.085	1.790	1.955	1.937	1.316	0.567	0.010	0.768	1.956	1.999

Daten von: Rauser (2016)

Besser?

Was ist der Zusammenhang zwischen x und y?

Besser!

Was ist der Zusammenhang zwischen x und y?

Noch besser

Was ist der Zusammenhang zwischen x und y?

Fazit

Wir sind auf Interpretation der Daten (durch andere?) angewiesen.
Manchmal auch mit bestem Gewissen: fehlerhaft bzw. Selbsttäuschung

Falsche Fragen stellen

Daten geben falsche Antworten, wenn man die falschen Fragen stellt.

Würfel …

… verzaubert

Würfel-Magie

frage

Ist das die richtige Frage?

Der Würfel kann nicht anders

Es wurde eine 1 geworfen:

Der Würfel kann nicht anders

Es wurde eine 1 geworfen:

Der Würfel kann nicht anders

Es wurde eine 6 geworfen:

Der Würfel kann nicht anders

Es wurde eine 6 geworfen:

Klappt auch ohne Magie

Beispiel Erkältung

Erwartungen

Was erwarten wir von unseren Daten?
Erwartungen beeinflussen, welche Fragen wir stellen.
- … und wann wir überhaupt skeptisch werden.

Falsche Frage

Richtige Frage

Survivership Bias

Grafik erstellt von McGeddon, veröffentlicht mit einer CC BY-SA 4.0 Lizenz

Konsequenzen

der Fall Sally Clark (1999): vor Gericht, nachdem zwei ihrer Kinder an plötzlichem Kindtstod gestorben waren
- Die Wahrscheinlichkeit hierfür laut Gutachter Prof. Sir Roy Meadow: 1 zu 73 Millionen.
- Klare Sache: Das muss Mord gewesen sein!

Goldacre (2015)

Sally Clark

Fehler 1: Innerhalb einer Familie ist es wahrscheinlicher, dass zwei Kinder am plötzlichen Kindstod sterben

Sally Clark

Fehler 2 ist kniffliger:
- Zwei Mal plötzlicher Kindtstod ist extrem unwahrscheinlich …
- … zwei Mal Mord aber auch!

zufall

Wir verstehen Zufälle nicht (intuitiv)

Einschätzung von Wahrscheinlichkeiten

Gemäß: Tversky & Kahneman (1992)

krebs

Hughes (2011) - ‘Three-fold variation’ in UK bowel cancer death rates

Krebsfälle pro Region

Barden (2011) Creative Commons Attribution-Noncommercial-Share Alike 2.0 UK: England & Wales License

Sind wir ausgeliefert?

Fehlschlüsse lassen sich oft durch Aufklärung/statistische Auswertung umgehen
- Man kann lernen, bessere Fragen zu stellen.
- Man kann lernen, vor verlockenden “Denkabkürzungen” innezuhalten.
Aber Vorsicht bei der Annahme: “Ich denke kritisch - mir kann so was nicht passieren!”
- Ich kann nicht immer wissen, was ich nicht weiß!

So schlimm ist es nicht ;-)

Skepsis ist nicht perfekt - aber immer noch die beste Option!
Die richtige Darstellung kann uns helfen.
- Wenn wir das wissen, können wir es uns leichter machen.
Und …

danke

Ihr habt uns zugehört :-)
Danke dafür!

Referenzen

Barden, P. (2011). Three-fold variation in UK bowel cancer death rates (?). https://understandinguncertainty.org/three-fold-variation-uk-bowel-cancer-death-rates.

Goldacre, B. (2015). I Think You’ll Find It’s a Bit More Complicated Than That. HarperCollins Publishers.

Hughes, D. (2011). ’Three-fold variation’ in UK bowel cancer death rates. https://www.bbc.com/news/health-14854019.

Rauser, J. (2016). How Humans See Data. https://github.com/jrauser/writing/tree/master/how_humans_see_data.

Tversky, A., & Kahneman, D. (1992). Advances in prospect theory: Cumulative representation of uncertainty. Journal of Risk and Uncertainty, 5(4), 297–323. http://doi.org/10.1007/BF00122574

Vigen, T. (2019). Spurious Correlations. http://tylervigen.com/spurious-correlations.