How To: Testdatenbereitstellung aus CSV-/ XLSX- Daten

Beitrag teilen über

Jeder SAP BW Berater kennt das Problem: auf Entwicklungssystemen gibt es zu wenig Daten, um zu entwickeln. Auf dem Testsystem stehen zu wenig produktivnahe Daten zur Verfügung, um zu testen.

Die Trennung der Data Warehouse Infrastruktur in mehrere Instanzen (i.d.R. Development → Quality → Production) sorgt für diese altbekannte Problematik. 

DWH Infrastruktur Instanzen
Abb. 1: DWH Infrastruktur Instanzen | isr.de

Mit SAP BW/4HANA und insb. hybrider Modellierung gibt es neue Möglichkeiten Testdaten für die Entwicklung oder das User Testing bereitzustellen. In unserem Blogeintrag möchten wir drei Möglichkeiten aufzeigen wie Testdaten aus einer CSV Datei bereitgestellt werden können:

DataSource Flatfile BW aka „Der Klassiker“

Der Fall an sich ist nicht neu mit einem SAP BW/4HANA. Es wird eine Flatfile Data Source erstellt und in die Datenflüsse eingebunden. Ungeachtet dessen stellen wir diesen Fall nochmals in der neuen BW/4HANA Entwicklungsumgebung dar.

Zum Anlegen eines Quellsystems in den BW Modeling Tools öffnet man den Wizard zum Anlegen eines Quellsystem über folgenden Pfad:

Und führt dann folgende Schritte aus:

Nach dem Anlegen des Quellsystems wird eine neue DataSource unterhalb dieser angelegt.

Dies erfolgt ebenfalls über einen Wizard.

Innerhalb der DataSource muss der Dateipfad, das Datenformat und die Kopfzeilen angegeben werden.

Die CSV-Datei kann sich auf einem lokalen Verzeichnis befinden oder bereits auf dem Application Server verfügbar sein (Funktionsbaustein SE37: GUI_UPLOAD). Sollte die Datei bereits auf dem Application Server verfügbar sein, muss der Adapter auf den Application Server geändert werden.

Anschließend lassen sich aus der Datei die entsprechenden Felddefinitionen ableiten und anschließend explizit anpassen.

Nach der Aktivierung lässt sich die DataSource der CSV-Datei als Quelle für ein ADSO in einem Dataflow-Objekt modellieren.

Nach dem Anlegen der Transformation und des DTPs lässt sich dieser im Dialogfenster starten.

Hinweis: ein DTP mit einer Flatfile-DataSource lässt sich nur im Dialogfenster und nicht als Hintergrundprozess starten. Es sei denn die CSV Datei wird auf dem BW Application Server abgelegt.

Flatfile Import HANA aka „HANA Full Use“

Wenn Kunden über eine HANA Full-Use Lizenz verfügen, können Testdaten ebenfalls in HANA Tabellen geladen werden.

Soll der Import der Daten über HANA erfolgen ist es notwendig in die HANA-Sicht zu wechseln. Anschließend ist es möglich den Import Wizard zu starten.

Man gibt ebenfalls den Dateipfad und Dateidetails an. Anschließend ist es möglich direkt in eine bestehende Tabelle zu importieren oder eine neue zu generieren.

Nun können die Mappings zwischen CSV-Feldname und Tabellenfeldname definiert werden. Ebenfalls können Datentypen angepasst werden.

Anschließend ist die Tabelle im angegebenen Schema verfügbar.

Hinweis: Die Testdaten stehen nun in einer persistenten Tabelle in der HANA zu Verfügung. Werden diese auf BW-Seite benötigt, ist es möglich die Daten in ein aDSO zu laden.

ADSO Importfunktion aka „Der neue Weg“

Komplett neu mit SAP BW/4HANA ist der direkte Import von Daten in ein Advanced Data Store Objekt (aDSO) über das BW/4HANA Cockpit.

Das SAP BW/4HANA-Cockpit kann direkt über das betreffende aDSO geöffnet werden.

Wir „landen“ in der Request-Übersicht und können im Drop-Down-Menü unter dem Punkt Daten hochladen Daten importieren.

Sollte keine CSV-Datei vorliegen, lässt sich über die Option Vorlage generieren eine CSV-Struktur herunterladen, welche anschließend mit Daten befüllt werden kann.

Vorteil ist hier vor allem die leichte Zugänglichkeit – es ist keine Backend-Entwicklung (DataSources, Datenflüsse, …) erforderlich, eine vorbereitete Datei wird einfach in das DataStore Objekt geladen und steht direkt zur Verfügung. Diese Funktion kann auch von Fachbereichen zum Hochladen und Aktualisieren von Mapping-Tabellen o.ä. genutzt werden, solange diesen Zugriff auf das BW/4 Launchpad und diese Funktion gewährt wird.

Vergleich der Szenarien

Die nachfolgende Tabelle gibt einen Überblick zu den Vor- und Nachteilen der jeweiligen Varianten. Nach unserer Einschätzung ist die neue ADSO Importfunktion eine sehr gute neue Funktion in BW/4HANA. Gleichzeitig muss die Funktion mit Vorsicht eingesetzt werden, weil „hart“ Daten in ein aDSO kopiert werden und damit vorhandene Daten geändert werden ohne, dass dies durch Datenflüsse schnell sichtbar wird (es steht nur als Request im aDSO). Auf der Produktion sollte die Funktion besser nicht erlaubt sein.

Flatfile DataSource HANA Tabelle aDSO Importfunktion
+ Der Datenfluss ist nachvollziehbar und dokumentiert Daten der CSV Datei können importiert und flexibel mit HANA SQL Script bearbeitet werden. Dies erspart manuelle Arbeiten mit lokalen CSV Dateien. Gerade bei großen CSV Dateien ist dies oft nicht ganz einfach. Zumindest der Datenfluss der HANA Tabelle in ein aDSO ist gut nachvollziehbar. Schneller und sehr einfacher Weg Testdaten in ein SAP BW zu laden. Unnötige Aufwände und temporäre Datenmodelle werden komplett vermieden.
- Es muss - auch bei kleinen Szenarien - ein Datenmodell aufgebaut werden parallel zu dem eigentlichen DWH-Datenmodell. Der Aufwand ist dadurch unnötig hoch. Zudem entsteht ein temporäres Datenmodell, welches nach den Tests vermutlich überflüssig wird. Es muss - auch bei kleinen Szenarien - ein Datenmodell aufgebaut werden parallel zu dem eigentlichen DWH-Datenmodell. Der Aufwand ist dadurch unnötig hoch. Zudem entsteht ein temporäres Datenmodell, welches nach den Tests vermutlich überflüssig wird. Das Zusammenspiel aus HANA und BW Perspektive erhöht zudem die Komplexität. Der Kreis der Kunden, welche das Szenario nutzen können, ist relativ klein weil eine HANA Full Use Lizenz benötigt wird. Die CSV-Datei muss bereits in dem Zielformat (inkl. Feldformatierung) des ADSO vorliegen. Schreibt Daten hart in das Zielobjekt - Historisierungen, Behandlung doppelter Schlüssel o.ä. sind erstmal nicht möglich.

Über ISR

Wir agieren seit 1993 als IT-Berater für Data Analytics und Dokumentenlogistik und fokussieren uns auf das Datenmanagement und die Automatisierung von Prozessen.
Ganzheitlich und im Rahmen eines umfassenden Enterprise Information Managements (EIM) begleiten wir von der strategischen IT-Beratung über konkrete Implementierungen und Lösungen bis hin zum IT-Betrieb.
ISR ist Teil der CENIT EIM-Gruppe.

Besuchen Sie uns virtuell auf diesen Kanälen:

News Kategorien
News Archiv

Zuletzt erschienen

Nächste ISR Events

[tribe_events_list limit=“3″]