Weltweit erster Testdrive mit WhereScape auf AzureDW
Als ich das erste Mal versuchte, die Komponente Azure SQL Datawarehouse zu nutzen, hatte ich meine liebe Mühe damit. Es ist eben doch viel mehr als einfach nur eine grössere Variante von AzureSQL oder dem lokalen SQL Server (mehr Infos dazu hier). Da kam der weltweit erste Testdrive zum Thema DWH Automation mit WhereScape auf AzureDW gerade richtig. Der Tag startete mit einer profunden Einführung in die Architektur von Azure SQL Datawarehouse durch Patrik Borosch, Technical Solutions Professional Data Platform bei Microsoft Schweiz.
Agilität ist mehr als nur Tools und kurze Iterationen
Im Anschluss durfte ich selber auf die Frage „was treibt Agilität?“ eingehen. Auf Basis der Überlegungen in diesem Artikel trugen die Teilnehmer verschiedenste Aspekte zusammen:
Faszination durch Automatisierung
Danach ging es weiter mit dem eigentlichen Testdrive. Terry Mooney von WhereScape führte uns durch mehrere 15-Minuten Iterationen, in welchen wir rund zehn User Stories entwickelten.
Ich gehe an dieser Stelle nicht weiter darauf ein, wie die WhereScape DWH Automationslösung im Detail ausschaut. Das habe ich u.a. hier bereits beschrieben. Das Faszinierende ist, dass ich mit meinem bestehenden Wissen über WhereScape in der Lage war, das AzureDW auf Anhieb zu befüllen.
Dabei nutzt WhereScape als Standardansatz die Beladung von AzureDW über Polybase. Siehe dazu auch den Blogartikel von James Serra zur Frage, ob man auch relationale bzw. strukturierte Daten erst in einen Data Lake speichern soll. Dazu wird für jede Load-Tabelle ein Powershell-Skript generiert. Dieses extrahiert die Daten aus der Quelle, speichert sie als File in einen Azure Blob Storage und lädt sie dann mittels Polybase ins AzureDW. Inkl. dem Loghandling sind das immerhin rund 400 Zeilen Code, welche für eine einfache Load-Tabelle generiert werden – hier zeigt sich einmal mehr der Mehrwert einer Automationslösung. Alternativ dazu kann WhereScape auch eine Azure Data Factory Pipeline generieren. Wichtig ist dabei, dass WhereScape auch weitere Spezifikas rund um die Funktionsweise von Azure SQL Datawarhouse unterstützt, wie z.B. die Verteilung einer Tabelle anhand einer bestimmten Tabellenspalte.
Alles in allem war es ein sehr lehrreicher Tag. Eine tolle Erfahrung war auch zu sehen, wie wir das Knowhow von drei Partnerfirmen – Microsoft, WhereScape und IT-Logix – optimal kombinieren konnten. Die Teilnehmer profitierten dabei von einem ersten, praktischen Einblick in die DWH Automation auf Basis Azure SQL Datawarehouse.
