Wie prüft man Argumente und Fehlschlüsse in Data Science?

Ein Argument verbindet Gründe mit einer Schlussfolgerung

Buchaussage Das Buch beschreibt ein Argument zunächst klassisch als Verbindung von einer oder mehreren Prämissen mit einer Schlussfolgerung. In Data Science können Messwerte, Stichprobenergebnisse, Modellmetriken oder dokumentierte Beobachtungen solche Gründe liefern.

Aus den Daten entsteht die Schlussfolgerung jedoch nicht automatisch. Der Satz „Der Umsatz ist um zehn Prozent gestiegen“ ist noch etwas anderes als „Unsere neue Vertriebsstrategie war erfolgreich“. Zwischen beiden Aussagen liegen zusätzliche Annahmen über Ursachen, Vergleichszeiträume und alternative Einflüsse.

Einordnung Die wichtigste Prüffrage lautet daher nicht nur „Sind die Zahlen richtig?“, sondern auch: Warum sollen gerade diese Zahlen gerade diese Schlussfolgerung rechtfertigen?

Die argumentative Brücke sichtbar machen

Buchaussage Das Buch greift Stephen Toulmin didaktisch auf und trennt Daten oder Belege, eine Behauptung und die Begründung, die beide verbindet.

Argumentationstheorie Cambridge University Press dokumentiert in The Uses of Argument Toulmins Untersuchung der detaillierten Struktur praktischer Argumente. Cambridge: The Layout of Arguments

Quellengrenze Die dreiteilige Darstellung auf dieser Seite ist eine didaktische Vereinfachung des Buches. Sie wird nicht als vollständige oder wortgetreue Wiedergabe aller Bestandteile von Toulmins Argumentationstheorie ausgegeben.

Deduktion, Induktion und Abduktion behaupten unterschiedlich viel

Buchaussage Das Buch trennt drei Argumentationsformen, weil sie unterschiedliche Ansprüche an ihre Schlussfolgerungen stellen.

Keine dieser Formen ist generell „besser“. Die entscheidende Frage ist, ob die Stärke der Schlussfolgerung zur verwendeten Argumentform und zur vorhandenen Evidenz passt.

Gültigkeit und Wahrheit der Prämissen sind zwei verschiedene Prüfungen

Buchaussage Bei deduktiven Argumenten trennt das Buch ausdrücklich die logische Gültigkeit des Arguments von der Wahrheit seiner Prämissen. Ein gültiges deduktives Argument schließt aus, dass alle Prämissen wahr und die Schlussfolgerung zugleich falsch sind. Das garantiert jedoch nicht, dass die Prämissen tatsächlich wahr sind.

Für Data Science ist diese Trennung besonders wichtig. Ein technisch fehlerfreier Rechengang kann auf einer ungeeigneten Stichprobe, einer problematischen Variablendefinition oder einer falschen fachlichen Annahme beruhen. Dann kann die Ableitung innerhalb ihres formalen Rahmens korrekt sein, während die empirische Grundlage unzureichend bleibt.

Einordnung Deshalb sollte die Prüfung zweistufig erfolgen: Erstens: Folgt die Schlussfolgerung tatsächlich aus den angegebenen Prämissen? Zweitens: Sind diese Prämissen selbst ausreichend belegt, richtig operationalisiert und für die Fragestellung relevant? Formale Korrektheit kann die zweite Prüfung nicht ersetzen.

Ein Argument kann an unterschiedlichen Stellen scheitern

Redaktionelle Synthese Die Beispiele aus Kapitel 13 bis 17 und den Anhängen zeigen, dass nicht jeder problematische Schluss denselben Fehler besitzt. Für die Diagnose ist es hilfreicher, zunächst den Ort der Schwäche zu bestimmen, bevor ein Fehlschlussname vergeben wird.

• Problem in der Datenbasis: Relevante Fälle fehlen, die Stichprobe ist ungeeignet oder nur günstige Ausschnitte werden ausgewählt. Cherry Picking und Selektionsfehler gehören in diesen Bereich.
• Problem in der verbindenden Annahme: Die Daten sind korrekt, tragen die Behauptung aber nur unter einer zusätzlichen Voraussetzung, die weder ausgesprochen noch geprüft wurde.
• Problem der Reichweite: Aus wenigen Fällen wird zu weit verallgemeinert oder aus einem beobachteten Zusammenhang wird eine stärkere Aussage abgeleitet, als die Evidenz rechtfertigt.
• Problem der Kausalität: Zeitliche Reihenfolge oder statistische Association werden als ausreichender Kausalnachweis behandelt, obwohl konkurrierende Erklärungen offenbleiben.
• Problem der Sicherheit: Nachkommastellen, Modelloutputs oder technische Komplexität erzeugen den Eindruck größerer Gewissheit, obwohl relevante Unsicherheit weiterhin besteht.

Diese Diagnose ist stärker als das bloße Benennen einer Fallacy: Sie zeigt, welcher argumentative Übergang repariert werden müsste – etwa durch bessere Daten, eine explizite Annahme, vorsichtigere Generalisierung oder zusätzliche Prüfung.

Ein Argument systematisch prüfen

Redaktionelle Synthese Aus den Buchkapiteln lässt sich ein siebenstufiges Prüfschema ableiten. Es ist kein formaler Beweisalgorithmus, sondern eine praktische Arbeitshilfe.

1. Schlussfolgerung isolieren. Was soll am Ende akzeptiert, erklärt oder getan werden?
2. Prämissen und Daten benennen. Welche Beobachtungen, Kennzahlen oder Annahmen werden als Gründe angeboten?
3. Verbindende Annahme offenlegen. Warum sollen die Gründe die Schlussfolgerung tragen?
4. Prämissen prüfen. Sind Definitionen, Datenbasis, Messung und Auswertung belastbar?
5. Reichweite prüfen. Ist die Schlussfolgerung stärker als das, was die Daten tatsächlich rechtfertigen?
6. Alternativen suchen. Welche andere Erklärung passt ebenfalls zu den Beobachtungen?
7. Gegenbelege suchen. Welche Information würde die bevorzugte Schlussfolgerung schwächen?

Ein Fehlschlussname ist noch keine Widerlegung

Informal Logic Die Stanford Encyclopedia of Philosophy weist darauf hin, dass es keine allgemein akzeptierte Taxonomie sämtlicher Fehlschlüsse gibt. Zudem können einige traditionelle Argumentmuster in bestimmten Kontexten vernünftig sein. Stanford Encyclopedia: Informal Logic

Das ist praktisch wichtig. Ein Hinweis auf einen Interessenkonflikt wäre beispielsweise nicht automatisch ein unzulässiger Angriff auf die Person, wenn gerade die Unabhängigkeit einer Quelle beurteilt werden muss.

Einordnung Deshalb sollte man ein Argument nicht allein mit einem Fallacy-Etikett verwerfen. Entscheidend ist die konkret benennbare argumentative Schwäche: etwa irrelevante Gründe, unzureichende Evidenz, eine ungerechtfertigte Generalisierung oder eine andere nachvollziehbare Lücke.

Typische Fehler in datenbasierten Schlussfolgerungen

Buchaussage Kapitel 17 nennt mehrere wiederkehrende Probleme. Sie liegen nicht alle auf derselben Ebene: Manche sind Argumentfehler, manche Probleme der Evidenzauswahl und manche kognitive Verzerrungen.

Confirmation Bias betrifft schon die Auswahl und Interpretation von Evidenz

Buchaussage Das Buch beschreibt den Bestätigungsfehler als Tendenz, bevorzugt Hinweise zu betrachten, die eine bereits vorhandene Annahme stützen, während widersprechende Hinweise weniger Beachtung erhalten.

Psychologische Evidenz Raymond Nickersons Review beschreibt Confirmation Bias entsprechend als bevorzugtes Suchen oder Interpretieren von Evidenz zugunsten bestehender Überzeugungen, Erwartungen oder einer bereits vorhandenen Hypothese. Nickerson 1998

Begriffsgrenze Confirmation Bias ist zunächst ein kognitiver Bias und nicht identisch mit einer einzelnen formal-logischen Fallacy. Er kann jedoch Argumente schwächen, wenn Gegenbelege systematisch nicht gesucht oder geringer gewichtet werden.

Ein auffälliger Fall ist noch keine Häufigkeitsverteilung

Buchaussage Das Buch nennt auch die Verfügbarkeitsheuristik. Ein spektakulärer Fehler eines KI-Systems kann besonders leicht erinnerbar sein und dadurch den Eindruck erwecken, solche Fehler seien allgemein sehr häufig.

Urteilsforschung Tversky und Kahneman beschreiben Verfügbarkeit als eine Heuristik zur Einschätzung von Häufigkeiten oder Wahrscheinlichkeiten anhand leicht abrufbarer Beispiele. Sie beschreiben solche Heuristiken als ökonomisch und meist wirksam, zeigen aber zugleich, dass sie systematische und vorhersagbare Fehler erzeugen können. Tversky & Kahneman 1974

Ein einzelner anschaulicher Fall kann daher ein sinnvoller Hinweis sein. Für eine Häufigkeitsbehauptung benötigt man jedoch eine geeignete Datenbasis.

„Das Modell hat es berechnet“ ist keine ausreichende Begründung

Buchbegriff Kapitel 17 verwendet didaktisch die Bezeichnung Argumentum ad Algorithmum für den Schluss: „Das Modell hat es berechnet, also muss es richtig sein.“

Ein Modelloutput kann sehr gute Evidenz liefern. Seine Überzeugungskraft hängt aber weiterhin von Datenqualität, Validierung, Modellgrenzen, Kalibrierung, Anwendungsbedingungen und der konkreten Behauptung ab.

Terminologische Grenze „Argumentum ad Algorithmum“ wird hier ausdrücklich als didaktische Bezeichnung des Buches verwendet. Die Seite behauptet nicht, dass dies ein allgemein etablierter Standardterminus der Argumentationstheorie sei.

Was ein gutes datenbasiertes Argument auszeichnet

Gute Argumentation bedeutet nicht, vollständige Gewissheit vorzutäuschen. Gerade induktive und abduktive Schlüsse können vernünftig sein, obwohl ihre Schlussfolgerungen fehlbar bleiben.

Redaktionelle Synthese Ein belastbares datenbasiertes Argument sollte deshalb mindestens vier Eigenschaften besitzen:

• Nachvollziehbare Gründe: Daten und Prämissen sind identifizierbar und prüfbar.
• Explizite Verbindung: Die Brücke zwischen Evidenz und Schlussfolgerung bleibt nicht unsichtbar.
• Angemessene Reichweite: Die Schlussfolgerung behauptet nicht mehr, als die Evidenz trägt.
• Offenheit für Gegenargumente: Alternativerklärungen, Gegenbelege und Unsicherheit werden ernsthaft berücksichtigt.

Quellen und Einordnung