Hadoop Ökosystem

20 Kerntechnologien auf dem Radar

Hadoop entstand ursprünglich 2005 als freie Implementierung von Googles MapReduce Framework und gilt heute als De-facto- Standard im Open Source Big Data-Umfeld. Mit dem verteilten Dateisystem HDFS und dem Ressourcen-Manager YARN bildet das Apache-Projekt in der neuesten Version die Grundlage für eine kostengünstige sowie skalierbare verteilte Datenhaltung und –verarbeitung. Zahlreiche weitere Technologien bauen darauf auf – von verteilten Datenbanken wie HBase bis zu Workflow-Engines wie Oozie. Zur Echtzeitverarbeitung kann etwa Apache Storm in das Ökosystem integriert werden. Unsere Experten haben um die 20 Kerntechnologien rund um Hadoop auf dem Schirm.

Erfolgreich eingesetzt in diversen Projekten

Hadoop und die angrenzenden Technologien sind bereits in vielen mgm-Projekten zum Einsatz gekommen. Ein Beispiel: Um Millionen von Datensätzen in Tausenden unterschiedlichen Ursprungsformaten in einem verteilten Datenhaltungssystem zu speichern, haben wir eine Lösung mit Hadoop und HBase realisiert. Ein genereller Vorteil für die Kunden beim Einsatz von Hadoop: keine Lizenzkosten dank Open Source, damit eine mögliche Skalierung nicht an teuren Software-Lizenzen scheitert.

Nachhaltige Software-Stacks zusammenstellen

Das Hadoop-Ökosystem expandiert ständig. Bestehende Technologien entwickeln sich weiter und neue Technologien treten dazu, bei einigen Projekten wird aber auch die Weiterentwicklung eingestellt. Eine Herausforderung besteht darin, die Maturität und das Weiterentwicklungspotenzial der einzelnen Bausteine im Blick zu behalten. Und passgenau für die Anforderungen eines Projekts die richtigen Technologien zu kombinieren. Soll es Echtzeit- oder Batch-Verarbeitung sein? Wird ein konsistenter Datenzustand, sprich Transaktionalität, benötigt? Sind die Daten strukturiert, semi-strukturiert oder unstrukturiert? Um für alle Fälle die beste Lösung zu finden, beobachten und evaluieren wir neben den Kernbausteinen viele weitere Technologien.