Technologie: Big Data und Analytics

Das Wichtigste in Kürze

  • Big Data bezeichnet Datenmengen, die mit klassischen Methoden nicht mehr verarbeitbar sind, und wird durch die 5 V beschrieben.
  • Die 5 V sind Volume, Velocity, Variety, Veracity und Value.
  • ETL bringt Rohdaten in drei Schritten (Extract, Transform, Load) in eine analysierbare Form.
  • Ein Data Lake speichert Rohdaten flexibel, ein Data Warehouse aufbereitete Daten für Berichte und KPIs.
  • Die Analytics-Stufen sind deskriptiv, diagnostisch, prädiktiv und präskriptiv.
  • Data Governance regelt Ownership, Datenqualität, Datenkatalog und Datenschutz-Konformität.

Grundsatz: Big Data bezeichnet Datenmengen, die sich mit klassischen Methoden nicht mehr verarbeiten lassen. Sie werden durch die 5 V beschrieben, auf spezialisierten Plattformen verarbeitet und in vier Analytics-Stufen ausgewertet.

Die 5 V von Big Data

VBedeutung
VolumeEnorme Datenmenge (Terabytes bis Exabytes)
VelocityHohe Geschwindigkeit (Echtzeit-Streams, z. B. Sensordaten)
VarietyStrukturiert + halbstrukturiert + unstrukturiert
VeracityDatenqualität und Verlässlichkeit
ValueWirtschaftlicher Nutzen der Analyse

Datentypen

TypBeispiele
StrukturiertDatenbanktabellen (SQL)
HalbstrukturiertJSON, XML, CSV
UnstrukturiertTexte, Bilder, Videos, Audio

ETL — Extract, Transform, Load

ETL ist der Prozess, der Rohdaten aus verschiedenen Quellen in eine analysierbare Form bringt:

  1. Extract: Daten aus Quellen lesen (Datenbanken, APIs, Dateien, Sensoren).
  2. Transform: Bereinigen, vereinheitlichen, anreichern, aggregieren.
  3. Load: Bereinigte Daten in Data Warehouse oder Data Lake laden.

Data Lake und Data Warehouse

  • Data Lake: Rohdaten in Originalform (strukturiert und unstrukturiert), günstig, flexibel; gut für Exploration und maschinelles Lernen.
  • Data Warehouse: aufbereitete, strukturierte Daten für definierte Berichte und KPIs; gut für Business Intelligence.

Big-Data-Plattformen und Tools

TechnologieFunktion
Verteilte Cluster-PlattformenSpeicherung und Verarbeitung grosser Datenmengen auf vielen Rechnern gleichzeitig
Cloud-DiensteSpeicher und Rechenleistung nach Bedarf; bei Schweizer Unternehmen zunehmend Standard

Bei Cloud-Diensten ist der Datenort relevant: Werden Personendaten ins Ausland bekanntgegeben, gelten die Regeln von DSG Art. 16 (angemessener Datenschutz oder geeignete Garantien). In Schweizer KMUs sind cloudbasierte Lösungen typischer als eigene Cluster.

Analytics-Stufen

StufeFrageBeispiel
DeskriptivWas ist passiert?Umsatz letzter Monat: 1.2 Mio. Fr.
DiagnostischWarum?Rückgang wegen Lieferengpass in Woche 3
PrädiktivWas wird passieren?Modell prognostiziert −8 % nächsten Monat
PräskriptivWas sollen wir tun?Lagerbestand erhöhen + Alternativlieferant aktivieren

Data Governance

Data Governance regelt den verantwortungsvollen Umgang mit Daten:

  • Ownership: Wer ist für welche Daten verantwortlich?
  • Datenqualität: Vollständigkeit, Aktualität, Konsistenz sicherstellen.
  • Datenkatalog: Welche Daten existieren, wo, in welchem Format?
  • DSG-Konformität: Kann eine Bearbeitung ein hohes Risiko für die Persönlichkeit oder die Grundrechte mit sich bringen, erstellt der Verantwortliche vorgängig eine Datenschutz-Folgenabschätzung (DSG Art. 22). Ein hohes Risiko liegt namentlich vor bei umfangreicher Bearbeitung besonders schützenswerter Personendaten oder bei systematischer, umfangreicher Überwachung öffentlicher Bereiche. Für ein Profiling mit hohem Risiko durch eine private Person ist zudem eine ausdrückliche Einwilligung nötig (DSG Art. 6 Abs. 7).

Anwendungsbeispiele Schweiz

  • Bahnunternehmen: Predictive Maintenance — Sensordaten der Züge sagen den Wartungsbedarf voraus.
  • Banken: Fraud Detection in Echtzeit (Velocity-Analyse von Transaktionen).
  • Spitäler: Klinische Entscheidungsunterstützung aus Patientendaten.

Häufige Fehler

  • «Big = besser»: Datenqualität ist wichtiger als Datenmenge — schlechte Daten liefern falsche Erkenntnisse.
  • ETL übersprungen: Unbereinigte Rohdaten führen zu falschen Analysen («Garbage in, garbage out»).
  • DSG ignoriert bei hohem Risiko: DSG Art. 22 — vorgängig eine Datenschutz-Folgenabschätzung erstellen.
  • Korrelation = Kausalität: Eisverkauf korreliert mit Ertrinkungsunfällen — beide werden durch das Wetter verursacht, nicht durch einander.

Verwandte Themen

Kurz-Check

Weisst du es noch? Drei Fragen zu dem, was du gerade gelesen hast.