Für jeden Zweck das richtig Test-Werkzeug
Wer meine Blogs «BO MIGRATION & BO TESTING – EIN UNSCHLAGBARES TEAM» und «360BIND – EIN NEUER STAR AM BO-TESTING-HIMMEL» gelesen hat, weiss, dass ich mich gerne und vielseitig mit dem Thema (automatisiertes) Testing auseinandersetze. Im Zuge von vielen BO Migrationen ist mir immer mal wieder eine Situation begegnet in welcher ich manuelle Tests nur zu gerne automatisiert hätte und bin aber leider, dabei an Grenzen gestossen. Entweder lagen die (technischen) Grenzen an den zur Verfügung stehenden Tools, der Komplexität der Tools oder am zu hohen Zeit-/Personalaufwand. Verständlich, dass man nicht tausende von Franken dafür ausgeben möchte, dass ein Tool schwer/kompliziert zu bedienen ist, nicht alle Bereiche abdeckt und dann vielleicht nur von einem eigens dafür ausgebildeten Mitarbeiter bedient werden kann. IT-Logix hat daher bereits verschiedene Testinglösungen für die unterschiedlichsten Bereiche evaluiert und manche beim Kunden bereits erfolgreich eingeführt bzw. damit Erfahrungen gesammelt. Die eierlegende Wollmilchsau – quasi das «one tool to test them all» haben wir bis dato noch nicht gefunden, aber es gibt für die unterschiedlichsten Bereiche in der BI/DWH-Landschaft bereits sehr ausgereifte Lösungen. Schauen wir uns eine klassische BI/DWH-Landschaft an:
Für den Bereich Staging, ETL, Data Warehouse und Cubes/Marts empfehlen wir die Lösung BiG EVAL unseres Partners Bolt Technology Consulting. Damit kann die Datenqualität ab dem Daten-Import über die ETL-Strecke bis hin zur Daten-Migration automatisiert überprüft werden. BiG EVAL kann dabei mit jeglichen Arten von Datenquellen, die über einen OLEDB-Treiber ansprechbar sind, verwendet werden. Besonders hilfreich sind die Tests ganzer Tabellen, welche auch abfragesprache-übergreifend ausgewertet werden können (z.B. mittels SQL einerseits und DAX andererseits).
Für den Bereich Reports bzw. SAP BO Frontend Tools (WebIntelligence, CrystalReports, Deski) empfehlen wir die Lösung 360Bind von unserem langjährigen Partner GB&Smith. Reports können unabhängig ihrer Komplexität auf Basis von zeitgesteuerten Berichts-Exporten 1:1 (inkl. Formatierungen und Diagrammen) verglichen und so die Qualität der Berichtsentwicklung garantiert werden. Egal ob sie noch BO 4.0, BO 4.1 oder schon die neueste BO 4.2 Version verwenden – 360Bind kann mit jeder Version verwendet werden.
Endtest – nicht das Ende, sondern der Anfang
Nun hat aber nicht jeder (nur) SAP-Technologie im Einsatz und möchte vielleicht auch nicht unbedingt zwei oder drei verschiedene Tools für das Testing verwenden. Daher möchte ich im Zuge dieses Blogbeitrages die Testinglösung endtest (https://endtest.io) vorstellen und Ihnen die wichtigsten Features nennen. Vordergründig ist endtest eine Testinglösung für Software-Frontends und diese werden bei BI-Lösungen in den meisten Fällen (unabhängig des Herstellers) über ein und die selbe Technologie – den Browser – bedient.
1. Was ist endtest?
Endtest ist eine cloudbasierte (bei Bedarf auch on-premise) Testinglösung, welche Entwickler bei der Qualitätssicherung ihrer Web-Anwendungen unterstützt, ohne, dass komplexe Testing-Skripte geschrieben werden müssen.
2. Welche Applikationen können von endtest getestet werden?
Endtest bietet die Möglichkeit Web-Applikationen und Mobile Applikationen zu testen wobei ich hier dediziert auf die Möglichkeiten bei Web-Applikationen eingehen möchte.
3. Welche Technologien unterstützt endtest?
Endtest unterstützt
- verschiedenste Plattformen wie Windows, Mac, Android oder iOS
- verschiedenste Betriebssysteme wie Windows 10 oder MacOS
- verschiedenste Browser wie Google Chrome, Firefox, IE oder Edge
4. Wie kann endtest mich beim automatisierten Testen meiner BI-Lösung unterstützen?
Die meisten aktuellen BI-Lösungen haben ein Frontend(Report / Dashboard) welches per Browser zugänglich ist. Selbst Excel-Dokumente werden heutzutage oftmals über Office 365 oder auch über Sharepoint direkt im Browser visualisiert oder bearbeitet.
Damit kann endtest arbeiten und sämtliche Web-Elemente im Browser ansteuern bzw. vergleichen. Ich sehe daher aktuell drei Anwendungsfälle:
a. Informationsprodukte: Informationsprodukte sind in den meisten Fällen das Endergebnis welches der Endbenutzer am Monitor sieht. Bis es aber zu diesem Endergebnis kommt, durchlaufen die Daten verschiedenste Bereiche welche einen Einfluss darauf haben können. Seien es nun Ladeprozesse, ETL-Strecken, Semantische Layer oder Systemeinstellungen welche (unerwünschte) Änderungen hervorrufen können. D.h., dass das selbe Informationsprodukt auf unterschiedlichen Systemen (z.B. DEV & PRD) aufgrund der genannten Tatsachen nicht die selben Informationen anzeigen kann. Um den Unterschieden auf die Spur zu kommen, kann endtest Verifikationen vornehmen um sicherzustellen, dass z.B. ein Dashboard keine Abweichung im Diagramm oder in der Tabelle hat.
b. Funktionen: Nach einem Patch, einem Upgrade, einer Migration oder nach einer sonstigen Änderung an einem System, sollten sämtliche Funktionen eigentlich exakt wieder so funktionieren – tun sie nur manchmal nicht. Es ist aber leider etwas mühsam, dass man sich wieder und wieder durch unterschiedliche Bereiche im Tool durchklicken muss, um sicherzustellen, dass Buttons, Tabs, Links funktionsfähig und bestimmte Elemente (Menüs, Text, Logos, usw.) sichtbar sind. Endtest kann diese Tests bei Bedarf mit nur einem Klick durchführen.
c. Daten: endtest kann neben Web-Applikationen auch Daten aus einer Datenbank extrahieren, speichern und mit anderen Daten vergleichen. Die Extraktion erfolgt über ein reguläres SQL-Query und das Ergebnis wird als String in eine Variable geschrieben. Es können auch während des Testlaufs beliebige SQL-Befehle(z.B. Insert, Update, Delete oder call StoredProcedure) an die DB gesendet werden. Derzeit werden MySQL, PostgreSQL und Microsoft SQL Server unterstützt.
5. Für welche Informationsprodukte sollte ich endtest verwenden?
Im Grunde kann man endtest für jedes Informationsprodukt verwenden welches in einem Browser angezeigt werden kann. Es macht aber z.bsp. keinen Sinn einen 60-seitigen Report mit grösseren Tabellen mittels endtest zu testen – unabhängig davon ob ein 60-seitiger Report überhaupt Sinn macht. Endtest kann neben dem Vergleich von einzelnen Elementen (z.B. ein Diagramm in einem Dashboard) aber auch den 1:1 Vergleich von Screenshots (ganzes Browser-Fenster oder einzelnes Element) vornehmen um auch die kleinsten Abweichungen zu finden.
6. Welche coolen Features hat das Produkt noch auf Lager?
- Video des Tests: Der komplette Test-Durchlauf kann als Video gespeichert werden
- Multi-user-Environment: Mehrere User können an ein und der selben Testsuite arbeiten
- Backup-Funktion: Tests können gesichert und wiederhergestellt werden
- API: Endtest kann via Programmierschnittstelle angestossen werden und so in viele andere Produkte integriert werden
- Machine-Learning: Durch den Einsatz von Machine-Learning können sich Tests noch während des Durchlaufs sozusagen selbst «heilen» / korrigieren, wenn sich z.B. die ID eines Elements geändert hat
- Variablen: Um Elemente in endtest jederzeit wiederzuverwenden, können diese in Variablen geschrieben und anschliessend über diesen Namen in den Testcases angesprochen werden.
- Java-Script: Während der Testausführung kann auch Java-Script code mitgegeben werden
- IF Statements: Um der Testausführung eine gewisse Dynamik mitzugeben, können IF-Statements eingefügt werden, um auf unterschiedliche Wege innerhalb des Tests reagieren zu können.
7. Kann ich endtest kostenlos (z.B. für einen POC) testen?
Ja. Sobald man sich über die Homepage endtest.io angemeldet hat, ist man automatisch für den FREE-Account registriert und kann bereits die ersten Test Suits (max. 3, unbegrenzte Anzahl Test Cases) anlegen sowie eine eingeschränkte Auswahl von verschiedenen Optionen verwenden.
8. Was kostet die Pro-Version von endtest mit allen Funktionen?
Ich war an sich schon begeistert vom Funktionsumfang und der Leichtigkeit des Tools aber was mich wirklich umgehauen hat, war der Preis. Für die Pro Version verlangt der Anbieter umgerechnet CHF 136 pro Monat was einem Jahrespreis von knapp CHF 1’630 entspricht. Für diesen sensationellen Preis hat man den vollen Funktionsumfang und zusätzlich einen LiveChat mit dem stets hilfreichen Support direkt aus endtest heraus.
Komplett ohne kompliziertes Skripten, mit vielen Funktionen bestückt und mit einem sensationellen Preis kann sich endtest wirklich sehen lassen. Ich habe endtest mit dem Trial-Account einfach mal auf SAP Analytics Cloud, SAP Web Intelligence, Power BI und MS SQL Server losgelassen war erstaunt, wie einfach das gehen kann.
Sprechen Sie uns gerne für alle Fragen rund um das Thema BI-Testing und natürlich auch über die Erfahrungen mit endtest an.
