Big Data on Sascha Dittmann

Apache HBase mit Microsoft Azure HDInsight (Teil 2)

Mon, 22 Dec 2014 00:01:00 +0100

Nachdem ich bei meinem letzten Blog-Post über Apache HBase mit Microsoft Azure HDInsight eine grobe Einführung in das Thema gegeben habe, möchte ich diesmal auf ein paar Grundlegende Konzepte eingehen…

Aufbau der HBase-Tabellen

Bei HBase-Tabellen sind die Spalten ein zentrales Element:

Eine Spalte kann eine oder mehrere Zellen enthalten
Eine oder mehrere Spalten setzten sich zu einer Zeile zusammen
Eine oder mehrere Zeilen bilden eine Tabelle

Jede Zeile hat einen eindeutigen Schlüssel (Row Key), wodurch sie über die API angesprochen werden kann (Dies ist ähnlich dem Primärschlüssel in einem RDBMS).

Apache HBase mit Microsoft Azure HDInsight (Teil 1)

Tue, 16 Dec 2014 00:01:00 +0100

Durch ein aktuelles Projekt, beschäftige ich mich intensiver mit Apache HBase, was eine hervorragenden Gelegenheit bietet meinem Blog mal wieder etwas Leben einzuhauchen…

Was ist Apache HBase

Wir leben in einem Zeitalter, indem wir alle über das Internet verbunden sind und die Erwartungshaltung haben, dass Informationen (die wir suchen) überall und sofort zur Verfügung stehen.

Aus diesem Grund haben sich Unternehmen darauf spezialisiert, uns zielgerichtet mit Informationen beliefern zu können.

Plattformen wie Hadoop bzw. HDInsight stellen dafür nötige Softwarebasis zur Verfügung.

Big Data am SQLSaturday #230 - Rheinland 2013

Mon, 10 Jun 2013 13:17:00 +0100

Nach dem großen Erfolg des ersten SQL Saturday in Deutschland (September 2012), findet am 13. Juli 2013 erneut diese kostenfreie Community-Veranstaltung statt.

Nach München geht es diesmal zur Hochschule Bonn-Rhein-Sieg nach Sankt Augustin.

Was ist ein SQL Saturday

Der SQLSaturday ist eine kostenlose 1-Tages Konferenz für SQL Server Professionals und alle, die mehr über den Microsoft SQL Server erfahren wollen.

Ursprünglich aus den USA kommend, wurden mittlerweile unter der Schirmherrschaft der PASS Global weit über 150 SQLSaturdays auf fast allen Kontinenten veranstaltet.

Apache Hadoop für Windows Azure - MapReduce mit C#

Fri, 27 Apr 2012 08:33:00 +0100

Nachdem ich in meinem Blog Post “Apache Hadoop für Windows Azure - MapReduce mit JavaScript” einen MapReduce-Algorithmus mit JavaScript vorgestellt hatte, möchte ich diesmal das Ganze mit Microsoft Bordmitteln umsetzen.

Auch hier kommt wieder die Developer Preview der Apache Hadoop-based Services for Windows Azure zum Einsatz.

Hadoop Streaming

MapReduce-Algorithmen lassen sich, dank der Streaming-Funktionalität des Apache Hadoop Frameworks, in jeder Programmiersprache umsetzen, die auf dem zu Grunde liegenden Betriebssystem ausführbar ist.

Hadoop Streaming wurde standardmäßig für Text-Datenströme ausgelegt, obwohl in der Version 0.21.0 auch Binärströme implementiert wurden.

Apache Hadoop für Windows Azure - MapReduce mit JavaScript

Tue, 14 Feb 2012 07:56:00 +0100

Meine Reise mit der Developer Preview des neuen Cloud Speicherdienstes “Apache™ Hadoop™-based Services for Windows Azure” geht weiter:

Diesmal stehen die Interaktive Konsole und ein einfacher MapReduce-Algorithmus mit JavaScript auf dem Plan.

Im letzten Blog Post “Apache Hadoop Dienste für Windows Azure (Developer Preview)” hatte ich von der Erstellung eines eigenen Hadoop Clusters berichtet.
Nachdem dieses dann einsatzbereit war, wollte ich mich auf den Weg zu ein wenig Quellcode machen.

Doch eine grundlegende Frage beschäftigte mich:

Apache Hadoop Dienste für Windows Azure (Developer Preview)

Tue, 07 Feb 2012 07:26:00 +0100

Eine weitere NoSQL Implementierung für die Windows Azure Plattform kündigt sich an:

Zum bisherigen Key-Value-Pair Speicher, dem Windows Azure Table Storage, wird in Zukunft ein weiterer Speicher für große Datenmengen (Big Data, Petabyte-Bereich) hinzukommen.

Dieser Speicherdienst baut auf dem Apache™ Hadoop™ Framework auf.

Diese Meldung erreichte mich Ende Letzten Jahres und erweckte mein Interesse.

Doch was ist eigentlich Hadoop?

Apache™ Hadoop™

Apache™ Hadoop™ ist ein freies, in Java geschriebenes Framework für skalierbare, verteilt arbeitende Software. Es basiert auf dem bekannten MapReduce-Algorithmus von Google Inc., sowie auf Vorschlägen des Google-Dateisystems. Hadoop wurde ursprünglich durch den Lucene-Erfinder Doug Cutting initiiert.