Advanced Analytics on Sascha Dittmann

Apache HBase mit Microsoft Azure HDInsight (Teil 2)

Mon, 22 Dec 2014 00:01:00 +0100

Nachdem ich bei meinem letzten Blog-Post über Apache HBase mit Microsoft Azure HDInsight eine grobe Einführung in das Thema gegeben habe, möchte ich diesmal auf ein paar Grundlegende Konzepte eingehen…

Aufbau der HBase-Tabellen

Bei HBase-Tabellen sind die Spalten ein zentrales Element:

Eine Spalte kann eine oder mehrere Zellen enthalten
Eine oder mehrere Spalten setzten sich zu einer Zeile zusammen
Eine oder mehrere Zeilen bilden eine Tabelle

Jede Zeile hat einen eindeutigen Schlüssel (Row Key), wodurch sie über die API angesprochen werden kann (Dies ist ähnlich dem Primärschlüssel in einem RDBMS).

Apache HBase mit Microsoft Azure HDInsight (Teil 1)

Tue, 16 Dec 2014 00:01:00 +0100

Durch ein aktuelles Projekt, beschäftige ich mich intensiver mit Apache HBase, was eine hervorragenden Gelegenheit bietet meinem Blog mal wieder etwas Leben einzuhauchen…

Was ist Apache HBase

Wir leben in einem Zeitalter, indem wir alle über das Internet verbunden sind und die Erwartungshaltung haben, dass Informationen (die wir suchen) überall und sofort zur Verfügung stehen.

Aus diesem Grund haben sich Unternehmen darauf spezialisiert, uns zielgerichtet mit Informationen beliefern zu können.

Plattformen wie Hadoop bzw. HDInsight stellen dafür nötige Softwarebasis zur Verfügung.

Big Data am SQLSaturday #230 - Rheinland 2013

Mon, 10 Jun 2013 13:17:00 +0100

Nach dem großen Erfolg des ersten SQL Saturday in Deutschland (September 2012), findet am 13. Juli 2013 erneut diese kostenfreie Community-Veranstaltung statt.

Nach München geht es diesmal zur Hochschule Bonn-Rhein-Sieg nach Sankt Augustin.

Was ist ein SQL Saturday

Der SQLSaturday ist eine kostenlose 1-Tages Konferenz für SQL Server Professionals und alle, die mehr über den Microsoft SQL Server erfahren wollen.

Ursprünglich aus den USA kommend, wurden mittlerweile unter der Schirmherrschaft der PASS Global weit über 150 SQLSaturdays auf fast allen Kontinenten veranstaltet.

Apache Hadoop für Windows Azure - MapReduce mit C#

Fri, 27 Apr 2012 08:33:00 +0100

Nachdem ich in meinem Blog Post “Apache Hadoop für Windows Azure - MapReduce mit JavaScript” einen MapReduce-Algorithmus mit JavaScript vorgestellt hatte, möchte ich diesmal das Ganze mit Microsoft Bordmitteln umsetzen.

Auch hier kommt wieder die Developer Preview der Apache Hadoop-based Services for Windows Azure zum Einsatz.

Hadoop Streaming

MapReduce-Algorithmen lassen sich, dank der Streaming-Funktionalität des Apache Hadoop Frameworks, in jeder Programmiersprache umsetzen, die auf dem zu Grunde liegenden Betriebssystem ausführbar ist.

Hadoop Streaming wurde standardmäßig für Text-Datenströme ausgelegt, obwohl in der Version 0.21.0 auch Binärströme implementiert wurden.

Apache Hadoop für Windows Azure - MapReduce mit JavaScript

Tue, 14 Feb 2012 07:56:00 +0100

Meine Reise mit der Developer Preview des neuen Cloud Speicherdienstes “Apache™ Hadoop™-based Services for Windows Azure” geht weiter:

Diesmal stehen die Interaktive Konsole und ein einfacher MapReduce-Algorithmus mit JavaScript auf dem Plan.

Im letzten Blog Post “Apache Hadoop Dienste für Windows Azure (Developer Preview)” hatte ich von der Erstellung eines eigenen Hadoop Clusters berichtet.
Nachdem dieses dann einsatzbereit war, wollte ich mich auf den Weg zu ein wenig Quellcode machen.

Doch eine grundlegende Frage beschäftigte mich:

Apache Hadoop Dienste für Windows Azure (Developer Preview)

Tue, 07 Feb 2012 07:26:00 +0100

Eine weitere NoSQL Implementierung für die Windows Azure Plattform kündigt sich an:

Zum bisherigen Key-Value-Pair Speicher, dem Windows Azure Table Storage, wird in Zukunft ein weiterer Speicher für große Datenmengen (Big Data, Petabyte-Bereich) hinzukommen.

Dieser Speicherdienst baut auf dem Apache™ Hadoop™ Framework auf.

Diese Meldung erreichte mich Ende Letzten Jahres und erweckte mein Interesse.

Doch was ist eigentlich Hadoop?

Apache™ Hadoop™

Apache™ Hadoop™ ist ein freies, in Java geschriebenes Framework für skalierbare, verteilt arbeitende Software. Es basiert auf dem bekannten MapReduce-Algorithmus von Google Inc., sowie auf Vorschlägen des Google-Dateisystems. Hadoop wurde ursprünglich durch den Lucene-Erfinder Doug Cutting initiiert.

SQL Server Closeup #7: Internals Viewer SSMS Add-In

Mon, 28 Feb 2011 09:25:00 +0100

Vor einer Weile bin ich bei meinen SQL Server Internals Recherchen über ein nettes Tool mit dem Namen Internals Viewer gestolpert, dass ich in diesem Posting näher vorstellen möchte.

In der aktuellen Version wurde die externe Applikation in das SQL Server Management Studio als Add-In integriert.
Nach der Installation erkennt man auf den ersten Blick “nur” ein weiteres Menü im SSMS:

Wenn man sich allerdings den Menüpunkt Allocation Map zu Gemüte führt, dann bekommt man, nachdem man sich zu einem SQL Server verbunden hat, eine grafische Übersicht über die Pages der ausgewählten Datenbank.

SQL Server Closeup #6: Ghost Data Records unter der Lupe

Sat, 26 Feb 2011 12:41:00 +0100

Nachdem in den letzten Postings der “SQL Server Closeup” Serie viel Theorie an der Reihe war, werden wir heute die Ghost Data Records einmal “Live” unter die Lupe nehmen.

Hierzu benötigen wir natürlich als erstes eine Datenbank und eine Tabelle.

Das Skript sieht hierfür wie folgt aus:

USE [master]
GO
IF DATABASEPROPERTY('SQLServerCloseup', 'Version') > 0 BEGIN ALTER DATABASE [SQLServerCloseup] SET SINGLE_USER WITH ROLLBACK IMMEDIATE; DROP DATABASE [SQLServerCloseup];
END;
GO CREATE DATABASE SQLServerCloseup;
GO USE [SQLServerCloseup];
GO CREATE TABLE [dbo].[Produkte]
(
    [ProduktID] [int] NOT NULL,
    [ProduktBezeichnung] [varchar](50) NOT NULL,
    CONSTRAINT [PK_Produkte] PRIMARY KEY CLUSTERED 
 (
        [ProduktID] ASC
 ) 
)

Nachdem nun eine Tabelle zum Testen existiert, können Datensätze hinzugefügt und gelöscht werden.

SQL Server Closeup #5: Undokumentierter SQL Befehl DBCC PAGE

Wed, 23 Feb 2011 17:19:00 +0100

In diesem Posting möchte ich einen weiteren undokumentierten Befehl des SQL Servers vorstellen.
Heute ist der Befehl DBCC PAGE an der Reihe, mit dessen Hilfe man den Inhalt einer Page darstellen kann.

Da standardmäßig der SQL Server die Ergebnisse des DBCC PAGE nicht an den Client sendet, muss vor dessen Verwendung das Trace Flag 3604 gesetzt werden, um dies zu ändern:

DBCC TRACEON(3604)

Da hierbei nichts gravierendes im SQL Server geändert wird, kann dieser Befehl auch auf Produktivsystemen angewendet werden.

SQL Server Closeup #4: Undokumentierter SQL Befehl DBCC IND

Fri, 11 Feb 2011 18:13:00 +0100

In den Tiefen des SQL Servers findet sich so mancher undokumentierter Befehl. Unter anderem gibt es eine Reihe von DBCC Befehlen, die einen Blick unter die Haube des SQL Servers erlauben.

In diesem Posting möchte ich den SQL Befehl DBCC IND vorstellen, mit dessen Hilfe man einen Überblick über die Pages einer Datenbank ausgeben kann.

Dieser Befehl gilt als Sicher und kann auch in Produktivumgebungen eingesetzt werden. Im Gegensatz zu anderen undokumentierten DBCC Befehlen, wie z.B. DBCC PAGE, muss bei DBCC IND nicht das Traceflag 3604 (Umleitung der Trace Ausgabe auf den Client) gesetzt werden, damit man eine Anzeige erhält.

SQL Server Closeup #3: Strukturen zur Speicherung von Daten – Speicherplatzverwaltung

Thu, 10 Feb 2011 20:10:00 +0100

Mit diesem Teil der “SQL Server Closeup” Serie schließe ich den Theorieteil der Strukturen zur Speicherung von Daten in der SQL Server Storage Engine ab.

Heutiges Thema soll die Speicherplatzverwaltung, also das Allocation System, sein.

Was sind Extents

Extents sind ein logisches Konstrukt, dass 8 aufeinanderfolgende Pages gruppiert. Dies soll dazu dienen die Speicherverwaltung effizienter zu machen, indem auf den Speicherübersichtseiten (Allocation Bitmaps und Bytemaps), welche in regelmäßigen Intervallen angelegt werden, die Informationen pro Extent und nicht pro Page gespeichert werden.

SQL Syntax: @variable = column = expression

Wed, 02 Feb 2011 07:58:00 +0100

Fast jeder Datenbankentwickler hat bereits seine Erfahrungen mit Benutzerdefinierten Sequenzen, Künstlichen Schlüsseln (engl. Surrogate Keys) oder ähnlichen Mechanismen sammeln können.

In solchen Fällen bekommt eine Spalte einen neuen Wert zugewiesen, und dieser Wert wird anschließend weiterverarbeitet.

Dies möchte ich an folgenden Beispiel zeigen:

In einer Lagerverwaltung soll der Bestand eines Artikels verändert werden können.
Der neue Lagerbestand wird anschließend mittels Ausgabeparameter zurückgegeben.

Der klassische Lösungsansatz

Beim klassischen Lösungsansatz werden zwei SQL Befehle, die in einer expliziten Transaktion eingebettet sind, verwendet.

SQL Server Closeup #2: Strukturen zur Speicherung von Daten – Pages

Mon, 31 Jan 2011 16:45:00 +0100

Im den ersten Postings der “SQL Server Closeup” Serie möchte ich einen Überblick über die Strukturen zur Speicherung von Daten in der SQL Server Storage Engine geben.

Im vorherigen Teil war das Thema Records an der Reihe. Hier wurden die verschiedenen Typen von Records sowie am Beispiel des Data Records die Struktur der Records beleuchtet. Dieses Mal werde ich mich dem Thema “Pages” widmen.

Welche Typen von Pages gibt es?

Data Page

Speichert ausschließlich Data Records.
Entweder als Heap oder als Blattknoten eines Index.

Anzahl der Tabellenzeilen schnell und einfach abfragen

Sun, 30 Jan 2011 13:21:00 +0100

Der klassische Ansatz

Die Fragestellung “Wie viele Zeilen hat diese Tabelle” taucht wohl bei jedem Entwickler immer mal wieder auf.

Die Standardantwort lautet dann:

SELECT COUNT(*)
FROM [dbo].[Tabelle]

Allerdings können hierbei zwei Probleme auftreten:

Der SQL Server muss zum Bearbeiten dieser Abfrage einen Table-Scan durchführen. Das kann bei Tabellen mit mehreren Millionen Datensätzen eine Weile dauern.
Man kann mit dieser Abfrage nur jeweils eine Tabelle gleichzeitig abfragen. Was macht man aber, wenn man die Zeilenanzahl aller Tabellen einer Datenbank bestimmen möchte?

Um das erste Problem zu lösen, kann man die Gespeicherte Prozedur sp_spaceused verwenden.
Ohne Parameter ausgeführt, zeigt diese den Speicherverbrauch der aktuellen Datenbank an.
Mit einem Tabellennamen als Parameter, wird der Speicherverbrauch der Tabelle inkl. Zeilenanzahl zurückgegeben.

SQL Server Closeup #1: Strukturen zur Speicherung von Daten – Records

Tue, 11 Jan 2011 12:34:00 +0100

Im den ersten Postings der “SQL Server Closeup” Serie möchte ich einen Überblick über die Strukturen zur Speicherung von Daten in der SQL Server Storage Engine geben. In diesem Teil werde ich mich dem Thema “Records” widmen.

In dieser Serie werde ich oft die englischen Originalbegriffe verwenden bzw. mit angeben, um Übersetzungsfehler zu vermeiden und auch konsistent mit den Meldungen des SQL Servers zu sein.

Ein paar Grundbegriffe vorab

Zum besseren Verständnis möchte ich einige Begrifflichkeiten stark vereinfacht erklären, die im weiteren Verlauf dieser Serie detailierter beschrieben werden.

Neue Post-Serie: SQL Server Closeup

Mon, 03 Jan 2011 08:23:00 +0100

Neue Post-Serie

Zum Start diesen Jahres, möchte ich eine Neuerung auf meinem Blog ankündigen:
In den nächsten Wochen und Monaten werde ich verstärkt die Interna des SQL Servers beleuchten.

Warum sollte man sich mit den Interna des SQL Servers auseinandersetzen?

Es ist natürlich spannend, sich in neue Themen einzuarbeiten
Das Verständnis wie Daten vom SQL Server gespeichert, abgefragt und optimiert werden, …

… bildet die Grundlage für eine performante und einfach verwaltbare Softwarearchitektur
… erklärt warum manche Design-Entscheidungen schlecht sind
… vereinfacht die Fehlersuche

Somit wünschte ich nicht nur ein Frohes und Erfolgreiches Jahr 2011, sondern auch Viel Spaß beim Lesen der “SQL Server Closeup”-Serie!