Wie beurteilt man Datenquellen und Datenqualität in Data-Science-Projekten?

Datenherkunft ist bereits ein Qualitätsmerkmal

Buchaussage Abschnitt 2.1 der BookRix-EPUB beginnt mit einer grundlegenden Frage: Woher stammen die Daten eigentlich? Die Herkunft beeinflusst Qualität, Aussagekraft und Eignung für eine Fragestellung. Wer Daten verwendet, ohne ihren Ursprung zu verstehen, riskiert Fehlinterpretationen und daraus folgende Fehlentscheidungen.

Daten entstehen durch Prozesse, Systeme, Menschen und technische Messverfahren. Webformulare, Sensoren, ERP-Systeme, Anwendungen oder externe Anbieter erzeugen Daten jeweils unter anderen Bedingungen. Jeder dieser Prozesse kann Lücken, Verzerrungen, Messfehler oder uneinheitliche Bedeutungen erzeugen.

Einordnung Deshalb beginnt Qualitätsprüfung nicht erst mit isna(), Dubletten oder statistischen Ausreißern. Vor jeder technischen Diagnose steht die Frage, was ein Datensatz überhaupt repräsentiert und unter welchen Bedingungen seine Werte entstanden sind.

Welche Datenquelle passt zur Fragestellung?

Buchaussage Abschnitt 2.1 unterscheidet interne und externe sowie Primär- und Sekundärdaten. Interne Quellen wie ERP-, CRM-, Produktions-, Log-, Finanz- oder Supportsysteme sind eng mit realen Geschäftsprozessen verbunden, wurden aber häufig nicht für analytische Zwecke erhoben. Externe Quellen können zusätzliche Perspektiven eröffnen, bringen jedoch unter anderem unbekannte Erhebungsmethoden, unterschiedliche Aktualität sowie rechtliche und lizenzbezogene Einschränkungen mit.

1. Zweck: Für welchen ursprünglichen Zweck wurden die Daten erhoben?
2. Erzeugung: Wer oder welches System erzeugt die Daten?
3. Aktualisierung: Wann und wie häufig werden Werte verändert oder ergänzt?
4. Bedeutung: Welche fachliche Bedeutung besitzen Felder und Kategorien?
5. Einschränkungen: Welche bekannten Lücken, Qualitätsprobleme oder Nutzungsgrenzen existieren?

Einordnung Besonders bei Sekundärdaten entsteht ein Passungsproblem: Ein Datensatz kann technisch sauber und dennoch für die aktuelle Fragestellung ungeeignet sein, weil er ursprünglich für einen anderen Zweck erhoben wurde. Qualität ist deshalb immer auch Zweck- und Kontextqualität.

Rohdaten sind Spuren ihres Entstehungsprozesses

Buchaussage Abschnitt 2.2 beschreibt Rohdaten als ursprünglich erfasste Informationen, die noch nicht gezielt für analytische Zwecke bereinigt oder vereinheitlicht wurden. Gerade Fehler, Lücken, Mehrdeutigkeiten und Inkonsistenzen machen sie für die Diagnose wertvoll, weil sie Hinweise auf die reale Datenerfassung geben.

Fehlende Angaben können auf schlecht gestaltete Eingabemasken oder technische Störungen hinweisen. Unterschiedliche Schreibweisen können aus heterogenen Systemen stammen. Ungewöhnliche Messwerte können Erfassungsfehler sein – oder ein seltenes reales Ereignis. Die BookRix-EPUB warnt deshalb davor, Auffälligkeiten automatisch als Fehler zu behandeln.

Einordnung Eine Datenbereinigung, die den Entstehungskontext ignoriert, kann Information vernichten. Die fachliche Frage lautet nicht nur „Ist dieser Wert ungewöhnlich?“, sondern auch „Welche reale oder technische Ursache kann dieses Muster erklären?“

Datenqualität ist mehrdimensional

Buchaussage Abschnitt 2.3 nennt sechs häufige Qualitätsdimensionen: Vollständigkeit, Genauigkeit, Konsistenz, Aktualität, Eindeutigkeit und Relevanz. Keine dieser Dimensionen allein beschreibt die Qualität eines Datensatzes vollständig.

Einordnung Ein vollständiger Datensatz kann veraltet sein; aktuelle Daten können fehlerhaft sein; konsistente Daten können für die Zielentscheidung irrelevant sein. Datenqualität muss deshalb immer im Zusammenhang mit Projektziel und Nutzung beurteilt werden.

Beispiel: Fehlende Einkommensangaben sind nicht nur leere Zellen

Buchbeispiel Die BookRix-EPUB verwendet fehlende Einkommensangaben als Beispiel dafür, dass fehlende Werte systematisch auftreten können. Wenn bestimmte Kundengruppen ihr Einkommen besonders häufig nicht angeben, kann das Fehlen selbst Information über Erhebungsprozess oder Population enthalten.

Abschnitt 2.4 nennt als Ursachen fehlender Werte unter anderem technische Fehler, unvollständige oder freiwillige Eingaben, Datenverluste bei Importen und tatsächlich nicht verfügbare Informationen. Die passende Behandlung hängt deshalb von der Ursache und der Fragestellung ab.

Dasselbe Prinzip gilt für Dubletten und Ausreißer. Eine scheinbare Dublette kann ein legitimes Mehrfachereignis sein. Ein extremer Umsatz kann ein Eingabefehler sein – oder einen besonders wichtigen Kunden repräsentieren. Vor Löschen, Ersetzen oder Begrenzen steht daher die fachliche Diagnose.

Was Python prüfen kann – und was Kontextwissen leisten muss

Technischer Kontext Die BookRix-EPUB verwendet pandas für erste Qualitätsprüfungen: fehlende Werte zählen, Datentypen und Verteilungen prüfen, Dubletten erkennen sowie auffällige Werte sichtbar machen. Mit wenigen Befehlen lässt sich dadurch schnell feststellen, wo genauer untersucht werden sollte.

Python kann jedoch nur Regeln ausführen, die fachlich definiert wurden. Ob ein Alter von 151 Jahren unmöglich ist, ob zwei Datensätze echte Dubletten darstellen oder ob eine Kombination wie „Land = Deutschland“ und „Währung = US-Dollar“ plausibel ist, verlangt Kontextwissen und eine begründete Regel.

Sieben Prüffragen vor der Nutzung einer Datenquelle

Redaktionelle Synthese Aus den Abschnitten 2.1 bis 2.4 der BookRix-EPUB lässt sich eine kompakte Prüfreihenfolge ableiten. Sie ist kein validiertes Assessment und ersetzt keine projektspezifische Datenqualitätsanalyse.

1. Herkunft: Woher stammen die Daten und wie wurden sie erzeugt?
2. Zweck: Für welchen ursprünglichen Zweck wurden sie erhoben?
3. Abdeckung: Welche relevanten Fälle, Gruppen oder Zeiträume fehlen möglicherweise?
4. Entstehungsfehler: Welche manuellen, technischen oder organisatorischen Prozesse können Fehler erzeugen?
5. Auffälligkeiten: Sind fehlende Werte, Dubletten oder Ausreißer zufällig, systematisch oder fachlich erklärbar?
6. Passung: Sind Aktualität, Genauigkeit und Detailgrad für die konkrete Fragestellung ausreichend?
7. Dokumentation: Sind Definitionen, bekannte Einschränkungen und getroffene Bereinigungsentscheidungen nachvollziehbar festgehalten?

Wenn diese Fragen unbeantwortet bleiben, ist eine zusätzliche Modelloptimierung möglicherweise weniger wertvoll als eine bessere Untersuchung der Datengrundlage.

Wo die Aussage bewusst endet

Datenherkunft und Qualitätsdiagnose garantieren noch keine unverzerrten oder für jede Entscheidung geeigneten Daten. Auch ein gut dokumentierter Datensatz kann bestimmte Populationen unzureichend abbilden, historische Prozesse reproduzieren oder für eine neue Nutzung ungeeignet sein.

Ebenso folgt aus der BookRix-EPUB nicht, dass jeder fehlende Wert ersetzt, jede Dublette gelöscht oder jeder Ausreißer entfernt werden sollte. Die begrenzte Aussage lautet: Auffälligkeiten müssen erkannt, im Entstehungskontext verstanden und im Hinblick auf die konkrete Fragestellung begründet behandelt werden.

Quellen und Einordnung

Die externen Quellen werden hier ausschließlich in dem Umfang eingeordnet, in dem sie in der BookRix-EPUB als fachlicher Kontext verwendet werden. Sie ersetzen weder die konkrete Prüfung einer Datenquelle noch eine projektspezifische Qualitätsbewertung.