Grundsatz: Big Data bezeichnet Datenmengen, die sich mit klassischen Methoden nicht mehr verarbeiten lassen. Sie werden durch die 5 V beschrieben, auf spezialisierten Plattformen verarbeitet und in vier Analytics-Stufen ausgewertet.
Die 5 V von Big Data
| V | Bedeutung |
|---|---|
| Volume | Enorme Datenmenge (Terabytes bis Exabytes) |
| Velocity | Hohe Geschwindigkeit (Echtzeit-Streams, z. B. Sensordaten) |
| Variety | Strukturiert + halbstrukturiert + unstrukturiert |
| Veracity | Datenqualität und Verlässlichkeit |
| Value | Wirtschaftlicher Nutzen der Analyse |
Datentypen
| Typ | Beispiele |
|---|---|
| Strukturiert | Datenbanktabellen (SQL) |
| Halbstrukturiert | JSON, XML, CSV |
| Unstrukturiert | Texte, Bilder, Videos, Audio |
ETL — Extract, Transform, Load
ETL ist der Prozess, der Rohdaten aus verschiedenen Quellen in eine analysierbare Form bringt:
- Extract: Daten aus Quellen lesen (Datenbanken, APIs, Dateien, Sensoren).
- Transform: Bereinigen, vereinheitlichen, anreichern, aggregieren.
- Load: Bereinigte Daten in Data Warehouse oder Data Lake laden.
Data Lake und Data Warehouse
- Data Lake: Rohdaten in Originalform (strukturiert und unstrukturiert), günstig, flexibel; gut für Exploration und maschinelles Lernen.
- Data Warehouse: aufbereitete, strukturierte Daten für definierte Berichte und KPIs; gut für Business Intelligence.
Big-Data-Plattformen und Tools
| Technologie | Funktion |
|---|---|
| Verteilte Cluster-Plattformen | Speicherung und Verarbeitung grosser Datenmengen auf vielen Rechnern gleichzeitig |
| Cloud-Dienste | Speicher und Rechenleistung nach Bedarf; bei Schweizer Unternehmen zunehmend Standard |
Bei Cloud-Diensten ist der Datenort relevant: Werden Personendaten ins Ausland bekanntgegeben, gelten die Regeln von DSG Art. 16 (angemessener Datenschutz oder geeignete Garantien). In Schweizer KMUs sind cloudbasierte Lösungen typischer als eigene Cluster.
Analytics-Stufen
| Stufe | Frage | Beispiel |
|---|---|---|
| Deskriptiv | Was ist passiert? | Umsatz letzter Monat: 1.2 Mio. Fr. |
| Diagnostisch | Warum? | Rückgang wegen Lieferengpass in Woche 3 |
| Prädiktiv | Was wird passieren? | Modell prognostiziert −8 % nächsten Monat |
| Präskriptiv | Was sollen wir tun? | Lagerbestand erhöhen + Alternativlieferant aktivieren |
Data Governance
Data Governance regelt den verantwortungsvollen Umgang mit Daten:
- Ownership: Wer ist für welche Daten verantwortlich?
- Datenqualität: Vollständigkeit, Aktualität, Konsistenz sicherstellen.
- Datenkatalog: Welche Daten existieren, wo, in welchem Format?
- DSG-Konformität: Kann eine Bearbeitung ein hohes Risiko für die Persönlichkeit oder die Grundrechte mit sich bringen, erstellt der Verantwortliche vorgängig eine Datenschutz-Folgenabschätzung (DSG Art. 22). Ein hohes Risiko liegt namentlich vor bei umfangreicher Bearbeitung besonders schützenswerter Personendaten oder bei systematischer, umfangreicher Überwachung öffentlicher Bereiche. Für ein Profiling mit hohem Risiko durch eine private Person ist zudem eine ausdrückliche Einwilligung nötig (DSG Art. 6 Abs. 7).
Anwendungsbeispiele Schweiz
- Bahnunternehmen: Predictive Maintenance — Sensordaten der Züge sagen den Wartungsbedarf voraus.
- Banken: Fraud Detection in Echtzeit (Velocity-Analyse von Transaktionen).
- Spitäler: Klinische Entscheidungsunterstützung aus Patientendaten.
Häufige Fehler
- «Big = besser»: Datenqualität ist wichtiger als Datenmenge — schlechte Daten liefern falsche Erkenntnisse.
- ETL übersprungen: Unbereinigte Rohdaten führen zu falschen Analysen («Garbage in, garbage out»).
- DSG ignoriert bei hohem Risiko: DSG Art. 22 — vorgängig eine Datenschutz-Folgenabschätzung erstellen.
- Korrelation = Kausalität: Eisverkauf korreliert mit Ertrinkungsunfällen — beide werden durch das Wetter verursacht, nicht durch einander.