Digitalisierung

Big Data – Alles, was Sie wissen müssen, um im Jahr 2024 wettbewerbsfähig zu sein

23.10.2023 | Erstellt von Dmitrij Ajdakov

Nach Prognosen von Statista soll das weltweit generierte Datenvolumen bis zum Jahr 2027 284 Zettabyte überschreiten. Das ist mehr als doppelt so viel als es aktuell der Fall ist.

Diese gigantischen Datenmengen, die sogenannten Big Data, schaffen derweil immenses Potenzial für Innovation und verändern rapide das Marktgeschehen.

Wer auch 2024 wettbewerbsfähig sein will, darf digitale Fortschritte wie Big Data Analytics keinesfalls aus dem Blick verlieren. Alles, was Sie in diesem Sinne über Big Data wissen müssen, zeigen wir Ihnen in folgenden Beitrag.

Unter anderem erfahren Sie: Wie Big Data funktioniert, welche Big Data Technologien und Techniken es gibt und welchen Bereichen Sie Big Data anwenden können.

Inhaltsangabe:

1. Definition: Was bedeutet Big Data? - Einfach erklärt

2. Wie lauten die drei Merkmale von Big Data?

3. Wie funktioniert Big Data?

4. Warum ist Big Data so wichtig?

5. Was ist Big Data Analytics?

6. Wo wird Big Data eingesetzt?

7. Wo wird Big Data gesammelt?

8. Gibt es eine Big-Data-Weiterbildung?

9. Fazit

Das Wichtigste in Kürze:

Big Data bezieht sich auf extrem große und komplexe Datenmengen, die oft unstrukturiert sind.
Um Big Data effektiv zu nutzen, sind fünf Schritte erforderlich: Definition einer Strategie, Erfassung von Quellen, Zugriff auf Daten, Datenmanagement und -speicherung, Datenanalyse und datengestützte Entscheidungsfindung.
Die Bedeutung von Big Data liegt nicht nur in der schieren Datenmenge, sondern darin, wie diese Daten genutzt werden. Richtig angewandte Big-Data-Technologien ermöglichen es Unternehmen, Kosten zu senken, zielgerichtete Angebote zu erstellen und fundierte Entscheidungen zu treffen.
Big Data Analytics ist eine Methode in der Business Intelligence, bei der große Datenmengen analysiert werden. Unternehmen nutzen diese, um Trends in ihren Geschäftsfeldern vorherzusagen und Wettbewerbsvorteile zu erlangen.
Big Data wird in nahezu allen Geschäftsprozessen eines Unternehmens eingesetzt. Dies betrifft Bereiche wie Marktforschung, Marketing, Informationstechnik, Forschung und Entwicklung sowie Verwaltung.

1. Definition: Was bedeutet Big Data? - Einfach erklärt

Big Data ist ein englischer Begriff, der verwendet wird, um außerordentlich große Datenmengen zu beschreiben. Daten dieser Art zeichnen sich dabei durch ihr Ausmaß, ihre hohe Komplexität, ihre Geschwindigkeit und eine schwache Strukturierung aus (Prognose von Statista).

Der Big-Data-Begriff befindet sich jedoch in einem ständigen Wandel. So wird Big Data umgangssprachlich auch als Sammelbegriff für neuartige digitale Technologien verwendet. Dazu zählen in erster Linie Technologien, die für das Erheben und Auswerten dieser Datenmengen abzielen (z.B. Cloud-Computing).

Big-Data-Technologien sind derweil mit einschneidenden Innovationen in der digitalen Kommunikations- und Verarbeitungsbranche verbunden, die im Rahmen von Industrie 4.0 den digitalen Wandel vorantreiben.

Ebenso schwingt stets eine gesellschaftliche Komponente beim Begriff Big Data mit. Denn infolge der rapiden digitalen Entwicklung, die Big Data ermöglicht, kommt es ebenfalls zu sozialen Umbrüchen.

Big Data - Wissenschaftliche Definition

Prof. Dr. Oliver Bendel vom Institut für Wirtschaftsinformatik der Fachhochschule Nordwestschweiz (FHNW), definiert den Begriff Big Data im Gabler Wirtschaftslexikon wie folgt: Big Data sind große Mengen an Daten, die auf Basis spezieller Lösungen gespeichert, verarbeitet und ausgewertet werden. Ziel von Big Data ist der Wissenserwerb durch:

Rasterfahndung
(Inter-)Dependenzanalyse
Umfeld- und Trendforschung
System- und Produktionssteuerung

Wie wird Big Data auf Deutsch bezeichnet?

Von Experten auf dem Gebiet wird Big Data auf Deutsch als Massendaten oder Megadaten bezeichnet.

Ab wann spricht man von Big Data?

Ab welcher Datenmenge genau von Big Data gesprochen wird, ist nicht konkret definiert. Grundsätzlich handelt es sich bei Big Data allerdings um Datenmengen im oberen Terabyte- oder Petabyte-Bereich, so wie alles, was darüber hinaus geht.

Die Geschichte vom Big-Data-Begriff

Das Speichern immenser Datenmengen zum Zweck der Datenanalyse ist kein neues Phänomen. Der Begriff Big Data selbst entsteht jedoch erst in den 2000er Jahren. Zum ersten Mal fällt dieser im 3-V-Modell des Branchenanalytikers Doug Laney.

2. Wie lauten die drei Merkmale von Big Data?

Big Data basiert grundsätzlich auf folgenden drei Merkmalen:

Variety (Vielfalt): Bezeichnet die Vielfalt der Datenquellen und Datentypen (z.B. strukturierte und unstrukturierte Daten, numerische Daten, Finanztransaktionsdaten)
Volume (Masse): Beschreibt das konkrete Ausmaß des Datenvolumens.
Velocity (Geschwindigkeit): Definiert die Geschwindigkeit, mit der Datenmengen generiert und übertragen werden.

Zudem haben sich für Unternehmen noch die folgenden drei Merkmale von Big Data als wesentlich herauskristallisiert:

Value (Mehrwert): Steht für den Profit, den ein Unternehmen durch Massendaten erzeugt.
Validity (Validität) oder Veracity (Richtigkeit): Umfasst die Datenqualität, die vonseiten des Unternehmens garantiert werden sollte, um Daten verknüpfen, korrelieren, abgleichen, bereinigen und transferieren zu können.
Variability (Variabilität): Stellt die tägliche, saisonale und durch Trends bedingte Varianz und Fluktuation des Datenflusses dar (z.B. neue Entwicklungen in den Social Media).

3. Wie funktioniert Big Data?

Big Data funktioniert über Datenflüsse (strukturierte, halbstrukturierte und unstrukturierte Daten), die über unterschiedliche Orte, Quellen, Systeme, Eigentümer und Nutzer verbunden sind. Um dieses Geflecht aus Daten gezielt nutzen zu können, sind 5 Schritte erforderlich:

Definition einer Big-Data-Strategie
Erfassen der Big-Data-Quellen
Zugriff auf Daten, Management der Daten und Speicherung der Daten
Big Data Analytics
Datengestützte Entscheidungsfindung

Was gehört alles zu Big Data? - Arten von Big Data im Überblick

Big Data wird aus vielen verschiedenen Quellen bezogen. Dementsprechend sind verschiedene Arten von Daten zu berücksichtigen. Im Folgenden die wichtigsten Arten von Big Data:

Strukturierte Daten: Als strukturierte Daten werden Daten bezeichnet, die in einem klar definierten Format gespeichert und verarbeitet werden können. Strukturierte Daten können bei heutigem Stand der Technik effizient ausgeschöpft werden. Da das Datenvolumen strukturierter Daten inzwischen jedoch den Zettabyte-Bereich erreicht hat, werden Speicherung und Verarbeitung immer anspruchsvoller.
Unstrukturierte Daten: Daten mit einem unbekannten Format werden als unstrukturierte Daten kategorisiert. Diese Art von Big Data ist in einem multimedialen Umfeld wie dem Internet gängig (z.B. Datenquellen, die Text, Bild und Videodateien enthalten). Schwierigkeiten bei der Verarbeitung unstrukturierter Daten entstehen dabei einerseits durch immense Datenmengen und andererseits aufgrund der Diversität der Daten.
Halbstrukturierte Daten: Halbstrukturierte Daten sind eine Mischform zwischen strukturierten und unstrukturierten Daten. Dazu gehören beispielsweise Daten, die formatiert sind, allerdings keiner Datenbank zugeordnet werden können.

Wichtig: Zur Datenverarbeitung und -analyse von unstrukturierten und halbstrukturierten Daten, ist es notwendig diese mit einem Data-Mining-Tool bzw. einem Datenaufbereitungstool aufzubereiten und umzuwandeln.

4. Warum ist Big Data so wichtig?

Im Zeitalter der Digitalisierung und dem Internet der Dinge, ist Big Data für Unternehmen entscheidend, damit sie wettbewerbsfähig bleiben. Dabei kommt es nicht auf die Datenmenge an sich an. Vielmehr ist es ausschlaggebend, wie Sie mit dem vorhandenen Datenvolumen umgehen.

Bei korrekter Anwendung erlauben es Ihnen Big-Data-Technologien Kosten und Zeit zu sparen, zielgruppenspezifische Angebote bereitzustellen und fundierte Entscheidungen auf Grundlage von Daten zu treffen.

Big Data - Vor- und Nachteile

Welche Vorteile bringt der Einsatz von Big Data?

Ermöglicht es Datenmengen zu bearbeiten, an denen klassische Datenbanksysteme scheitern
Erlaubt es Fehlfunktionen, Probleme und Defekte in Echtzeit zu registrieren und anzugehen
Schafft Raum für den Einsatz neuer Datenspeicher- und Analyse-Systeme
Schnellere Datenverarbeitung ist durch Zugriff auf eine Vielzahl an Prozessoren gleichzeitig realisierbar
Verarbeitung mehrerer Datensätze sowie von Spalten innerhalb eines Datensatzes sind ohne Einbußen bei der Leistung möglich
Effizienter Import und Export großer Datenmengen
Daten können nach dem Import in Echtzeit abgerufen werden
Geringe Latenz und Verarbeitungsdauer, selbst bei schwierigen Anfragen
Verarbeitung verschiedener Informationstypen möglich (z.B. Zahlen, Bilder, Text)

Nachteile, Herausforderungen und Kritik an Big Data

Häufig kommt es in Unternehmen zu Problemen bei der Verwirklichung der angestrebten Ziele in der Datenverarbeitung und Datenauswertung
Die Erwartungen an Aktualität und die kurzfristige Verfügbarkeit von Daten steigt stetig an
Die Abfrageperformance von Big-Data-Systemen muss regelmäßig gesteigert werden
Die Erfassung von Massendaten tangiert auch private Nutzer und ihre Persönlichkeitsrechte. Es kommt deshalb zu Konflikten zwischen Unternehmen, Behörden und Privatpersonen
Der Datenschutz und die dazugehörigen Richtlinien müssen eingehalten und rigide überwacht werden
Bedenken vor einem Überwachungskapitalismus vonseiten der Kritiker
Entsolidarisierung bei Versicherungstarifen (Risiko affine Nutzer erhalten einen teureren Tarif)
Oftmals fehlende Grundkenntnisse in der Datenauswertung auf Unternehmensseite (z.B. keine repräsentative Stichprobenziehung)

5. Was ist Big Data Analytics?

Big Data Analytics ist eine in der Business Intelligence (BI) angesiedelte Methode zur Datenanalyse von großen Datenmengen. Bei dieser Methode werden mithilfe von Big-Data-Software parallel Datenbestände unterschiedlicher Informationstypen ausgewertet. Zu den zentralen Aufgaben von Big Data Analytics zählen zudem:

Die Analyse von Massendaten
Import von Daten
Datenabfrage
Datensuche

Big Data Analytics sind heutzutage für viele Branchen ausschlaggebend, da sie gezwungen sind sich an die rasanten Marktentwicklungen anzupassen. In diesem Sinne werden auf Grundlage von Big Data Analytics Trends in den unterschiedlichen Geschäftsfeldern eines Unternehmens prognostiziert.

Darüber hinaus nutzen Unternehmen Big Data Analytics, um Wettbewerbsvorteile auszubauen. Beispielsweise können Einsparungen erzielt sowie neue Geschäftsfelder ergründet werden.

Inzwischen gehört Big Data Analytics zu den wichtigsten Anwendungen in der BI. Am meisten profitieren hier Suchmaschinenbetreiber und Betreiber sozialer Netzwerke von Big Data Analytics.

Welche Big-Data-Technologien gibt es?

Die Verarbeitung von Massendaten schafft ausreichend Raum für Innovationen. Kein Wunder also, dass mit dem Aufstieg von Big Data zahlreiche neue Big-Data-Technologien entstanden sind:

Standardisierte Analytics: Standardisiere Analytics werden angewendet, um Datensätze auszuwerten, die eine geringe Datenvielfalt aufweisen und somit weniger Zeit für die Auswertungen erfordern.
In-Memory-Technologien: In-Memory-Technologien dienen dazu, große Datenauswertungen auszuführen.
Hadoop-Lösungen: Hadoop ist eine Open Source Technologie, die sich dazu eignet, ein massives Volumen verschiedener strukturierter Daten zu speichern und zu verarbeiten.
Complex Event-Processing und Streaming: Diese Form der Big-Data-Technologie wird verwendet, wenn Daten bereits beim Entstehen erfasst und ausgewertet werden sollen.

Welche Techniken gibt es zur Big Data Analyse?

Bei der Analyse von Big Data kommen unterschiedliche Techniken zum Einsatz. Am häufigsten werden die folgenden angewendet:

Benchmarking: Unternehmen nutzen Benchmarking auf Basis von Massendaten, um die Leistung Ihrer Produkte und Dienstleistungen im Vergleich zur Konkurrenz zu messen.
Marketinganalyse: Die Marketinganalyse verwendet Big Data, um neue Produkte und Dienstleistungen optimal auf dem Markt zu positionieren.
Sentimentanalyse: Eine Sentimentanalyse wird dazu genutzt, die Zufriedenheit von Kunden mit einer Marke zu ermitteln. Zu diesem Zweck werden beispielsweise Online-Bewertungen und Kommentare auf Grundlage von Big Data untersucht.
Analyse von sozialen Netzwerken: Analysen sozialer Netzwerke ermöglichen es, zu ermitteln, wie Menschen über eine Marke sprechen und somit neue Zielgruppen für Marketingkampagnen aufzuschlüsseln.

Was heißt SQL in Big Data?

SQL ist das Kürzel für „Structured Query Language“. Es handelt sich hierbei um eine Programmiersprache zur Verwaltung und Abfrage von strukturierten Daten in relationalen Datenbanken.

Fällt der Begriff SQL im Zusammenhang mit Big Data, so ist damit gemeint, dass diese Programmiersprache bei großen Datenmengen sowie unstrukturierten Daten angewendet wird (z.B. in Hadoop und NoSQL-Datenbanken).

Hierzu werden speziell auf Big Data zugeschnittene SQL-Erweiterungen genutzt (z.B. Hive). Hauptsächlich dient SQL in Big Data dazu, Daten unterschiedlicher Quellen und Formate zu extrahieren, umzuwandeln und zu untersuchen.

6. Wo wird Big Data eingesetzt?

Big Data wird in fast allen Geschäftsprozessen eines Unternehmens eingesetzt, um Betriebsabläufe zu optimieren, besseren Kundenservice zu leisten oder neue Produkte und Dienstleistungen auf den Markt zu bringen.

Insbesondere Marktforschung und Marketing, Informationstechnik, Forschung und Entwicklung sowie die Verwaltung profitieren von der Datenanalyse auf Basis von Massendaten. Aber auch Einsatzgebiete wie die Medizin und Nachrichtendienste profitieren von Big Data.

Wer nutzt Big Data?

Unternehmen aus den unterschiedlichsten Branchen nutzen Big Data. Ferner noch gibt es kaum noch einen Bereich, in dem nicht die ein oder andere Big-Data-Technologie zum Einsatz kommt. Unter anderem findet Big Data Anwendung in den folgenden Branchen:

Gesundheitswesen
Einzelhandel
Finanzdienstleistung
Bildung
Medien
Logistik
Forschung
Landwirtschaft
Energie
Umwelt

Wofür wird Big Data verwendet? - Beispiele für Big-Data-Anwendungen in Unternehmen

Beispiel 1: Big-Data-Scoring in Banken

Banken verwenden Big Data mit dem Zweck, die Bonität mehrerer Kunden in kurzer Zeit auszuwerten. Des Weiteren liefert das sogenannte Big-Data-Scoring weitaus genauere Ergebnisse als das klassische Kreditscoring.

Beispiel 2: Big Data in Direktmarketing und Werbung

Im Marketing wird Big Data dazu verwendet, Erkenntnisse zum Kaufverhalten von Zielgruppen abzuleiten. Unter anderem ermöglicht es Big Data zu erschließen:

Welches Profil die Kunden ausweisen
Welche Bedürfnisse die Kunden haben
Wo genau Kunden einkaufen
Woher Kunden Ihre Informationen beziehen
Welche Kaufgewohnheiten Kunden aufweisen
Wie man potenzielle Kunden am besten kontaktiert
Wann potenzielle Kunden Anzeigen sehen

Auf Basis dieser Erkenntnisse entwickeln Marketingexperten Kampagnen, um neue Kunden zu gewinnen, Anzeigen zu platzieren, die Kundenbindung zu erhöhen, verlorene Kunden zurückzugewinnen oder neue Produkte bzw. Leistungen zu launchen. Ferner noch ist auf diese Weise ein gezielter Einsatz des Marketingbudgets möglich.

Beispiel 3: Risikoprophylaxe in Unternehmen

Ebenso wird Big Data zur Risikoprophylaxe genutzt, um der rechtswidrigen Nutzung von digitalen Produkten oder Leistungen vorzubeugen. So erlauben es Big Data Analytics bereits früh Unstimmigkeiten festzustellen. Genauso erkennen Big Data Technologien unerwünschte oder fehlerhafte Transaktionen, sodass diese mit minimalem Aufwand behoben werden können.

Weitere Einsatzgebiete von Big Data

Einsatz von Big Data in Transportunternehmen zur Verwaltung von Lieferketten und der Wahl effizienter Lieferwege.
Verwendung von Big Data in der medizinischen Forschung (z.B. Krankheitsauslöser ermitteln, genaue Diagnosen stellen oder Epidemien prognostizieren).
Finanzdienstleister nutzen Massendaten zum Risikomanagement, in dem Sie Risikoportfolios in kürzester Zeit neu berechnen.
Erschließung neuer Bohrgebiete oder der Überwachung des Stromnetzes auf Basis von Big Data in der Energiewirtschaft.

Wie hat Big Data das Controlling verändert?

Gerade im Controlling kommt es durch Big Data zu zahlreichen einschneidenden Veränderungen. Dazu zählt unter anderem:

Big Data ermöglicht es, Echtzeitdaten von Unternehmen kontinuierlich zu erfassen und zu analysieren. Dadurch können Entscheidungen gezielter und schneller getroffen werden.
Controller können Big Data dazu nutzen, präzisere Prognosen abzugeben. Dies ermöglicht eine genauere Budgetierung und ist obendrein bei der strategischen Planung behilflich.
Mithilfe von Big Data ist es möglich, ineffiziente Prozesse und Kostenquellen zu identifizieren und zu optimieren.
Ebenfalls kann das Controlling Massendaten verwenden, um Schwachstellen schneller zu erkennen und so eine bessere Risikobewertung und -steuerung zu leisten.

7. Wo wird Big Data gesammelt?

Die Daten für Big Data werden überall dort gesammelt, wo eine Archivierung von Daten stattfindet. Das heißt in nahezu allen öffentlichen, aber auch privaten Lebensbereichen. Im Folgenden einige Beispiele für Big-Data-Quellen:

Internet (z.B. Klickprotokolle, Apps, Social Media)
Diverse datenverarbeitende Branchen (z.B. Finanzindustrie, Gesundheitswesen, Energiewirtschaft, Mobilfunk, Verkehr)
Transaktionssysteme
Kundendatenbanken
Medizinische Aufzeichnungen
Überwachungskameras
Intelligente Agenten
Kreditkarten und Kundenkarten
Digitale Geräte und Assistenzgeräte (z.B. Smart Homes, Smartwatches, Smartphones)
Flug und Fahrzeuge
Industriemaschinerie
Sensoren

Hinweis: Da Unternehmen so viele Daten wie möglich sammeln wollen, um eine möglichst präzise Analyse zu erzielen, werden oftmals Daten von Privatpersonen aufgenommen. Es kommt zum Konflikt zwischen den Interessen der Privatperson und Behörden sowie den Unternehmenszielen.

Eine Möglichkeit dieses Dilemma zu umgehen ist eine Anonymisierung der erfassten Daten durchzuführen. Auf diese Weise kann das Unternehmen weiterhin Daten aufnehmen, während die Privatsphäre der Privatperson geschützt bleibt.

Wie können Megadaten gespeichert werden?

Die schiere Datenmenge und Datenvielfalt sowie die Geschwindigkeit von Daten ist ohne eine spezielle Form der IT-Infrastruktur nicht zu bewältigen. Denn einzelne Server sowie Server-Cluster stoßen bei der Verarbeitung von Massendaten schnell an Ihre Grenzen.

Um Megadaten erfolgreich abzuspeichern sind dementsprechend Tausende Server erforderlich, die über eine Cluster-Architektur (z.B. Hadoop oder Apache Spark) miteinander kombiniert werden müssen.

Öffentliche Cloud als Alternative

Nun sind die Kosten für eine Cluster-Architektur dieser Art durchaus hoch. Alternativ greift der Großteil der Unternehmen deshalb auf eine öffentliche Cloud zurück. Public-Cloud-Lösungen wie Hadoop Distributed File System (HDFS) oder Amazon Simple Storage Service (S3) ermöglichen es den Datenspeicher unbegrenzt zu erweitern.

Der Vorteil: Das Unternehmen zahlt ausschließlich für den tatsächlich benötigten Speicherraum. Es entstehen damit keine zusätzlichen Kosten. Entsprechend geht das Voranschreiten von Big Data, mit einem Wachstum im Cloud-Computing einher.

Big-Data-Analysedienste

Darüber hinaus werben einige Cloud-Anbieter (z.B. Amazon EMR, Microsoft Azure HADInsight, Google Cloud Dataproc) mit Big-Data-Verarbeitungs- und Analysediensten. Zusätzlich gibt es einige Big-Data-Lösungen für den lokalen Einsatz. Dazu zählen:

YARN-Ressourcenmanager
MapReduce-Programmiergerüst
Kafka-Daten-Streaming-Plattform
HBase-Datenbank
SQL-Abfrage-Engines

Montag bis Donnerstag:	8:00 - 17:00 Uhr
Freitag:	8:00 - 15:00 Uhr