{"id":39620,"date":"2024-02-19T12:57:52","date_gmt":"2024-02-19T07:27:52","guid":{"rendered":"https:\/\/www.tjc-group.com\/blogs\/daten-seen-und-legacy-systeme-teil-1\/"},"modified":"2025-04-08T14:39:49","modified_gmt":"2025-04-08T09:09:49","slug":"daten-seen-und-legacy-systeme-teil-1","status":"publish","type":"blog","link":"https:\/\/www.tjc-group.com\/de\/blogs\/daten-seen-und-legacy-systeme-teil-1\/","title":{"rendered":"Data Lakes und Altsysteme: Teil 1"},"content":{"rendered":"\n

Data Lakes-Konzepte, eine Einf\u00fchrung<\/h2>\n\n\n\n

In der Regel haben Unternehmen mit Hunderten von Anwendungen zu tun, die im Laufe der Zeit ersetzt werden, und diese Altsysteme werden au\u00dfer Betrieb genommen. In diesem Artikel befassen wir uns mit dem grundlegenden Konzept von Data Lakes und wie dieses mit Altsystemen verkn\u00fcpft ist. In Teil 2 werden wir untersuchen, welche Auswirkungen Legacy-Anwendungen auf Ihren Data Lake haben. <\/p>\n\n\n\n

Eine Definition als Ausgangspunkt<\/h2>\n\n\n\n

Was verstehen wir unter einem “Data Lake”?<\/strong> Data Lakes sind “eine solide Architektur, logisch zentralisiert, eine hoch skalierbare Umgebung, die mit verschiedenen Arten von Analysedaten gef\u00fcllt ist, die sowohl von innerhalb als auch von au\u00dferhalb Ihres Unternehmens mit unterschiedlichen Latenzzeiten stammen, und die das prim\u00e4re Ziel f\u00fcr die datengesteuerten Erkenntnisse Ihres Unternehmens sein wird”, wie im Buch Data Lakes f\u00fcr Dummies von Alan R. Simon<\/a> definiert.<\/p>\n\n\n\n

Daten in einem Data Lake k\u00f6nnen als Daten betrachtet werden, die sich bereits in Ihrem Besitz befinden und von einem neuen Eigent\u00fcmer wiederverwendet werden k\u00f6nnten.<\/p>\n\n\n\n

Die typische Dateneingabe<\/strong> f\u00fcr einen Data Lake ist der ELT-Prozess (Extract Load and Transform)<\/strong>. Der Trick dabei ist, dass die Transformation zu einem sp\u00e4teren Zeitpunkt erfolgen kann. Es ist keine Datenanalyse im Vorfeld erforderlich(Schema beim Lesen<\/em> statt Schema beim Schreiben)<\/em>. Die typischen historischen ETL-Tools stammen von Informatica oder IBM Datastage, aber es gibt inzwischen auch neue Tools wie AWS Lake Formation. <\/p>\n\n\n\n

Ein Repository aus vielen Quellen<\/h2>\n\n\n\n

Data Lakes werden aus potenziell Dutzenden von Quellen aufgebaut, bei denen es sich um Anwendungen, Produkte, Dienste, IoT oder beliebige Datenquellen handeln kann. Der Datenfluss kann aus Stapelverarbeitung, Streaming oder wahrscheinlich aus beiden Quellenarten stammen. Es handelt sich um eine lose gekoppelte Architektur. <\/p>\n\n\n\n

In einem Katalog oder Verzeichnis werden die im Data Lake enthaltenen Daten und die f\u00fcr die verschiedenen Datengruppen geltenden Regeln festgehalten. Dies wird als ‘Metadaten’ bezeichnet. Um aus Ihrem Data Lake Berichte (OLAP\/BI) erstellen zu k\u00f6nnen, m\u00fcssen Sie eine semantische Schicht hinzuf\u00fcgen. Eine semantische Schicht kann eine zeitliche Aufteilung von Fakten (<\/em>wie z.B. Einnahmen) nach Dimensionen<\/em> (wie z.B. Kunden) sein. <\/p>\n\n\n\n

Das Problem mit Data Warehouses ist, dass sie zu Datenhalden<\/strong> werden k\u00f6nnen, w\u00e4hrend das Problem mit Data Lakes ist, dass sie zu einem Datensumpf<\/strong> werden k\u00f6nnen.<\/p>\n\n\n\n

Eine komponentenbasierte Architektur<\/h2>\n\n\n\n

Ein wichtiges Merkmal von Data Lakes ist die M\u00f6glichkeit, verschiedene Speicheroptionen (z.B. Blob-Speicher und SQL-Datenbankspeicher) f\u00fcr unterschiedliche Zwecke zu verwenden. Ihr Data Lake muss keine monolithische Architektur sein, sondern wird zu einer komponentenbasierten Architektur. <\/p>\n\n\n\n

Semi-strukturierte Daten liegen zwischen strukturierten und unstrukturierten Daten. Dazu geh\u00f6ren u. a. Blogbeitr\u00e4ge, Beitr\u00e4ge in sozialen Medien, Team- oder Slack-Nachrichten, Text und E-Mails. <\/p>\n\n\n\n

Und manchmal sind Data Lakes als Legacy-Architekturen<\/h2>\n\n\n\n

Die meisten Unternehmen werden mit Legacy-Daten<\/a> und Legacy-Analysedaten zu k\u00e4mpfen haben, die h\u00f6chstwahrscheinlich aus Data Warehouses und Data Marts stammen. In den SAP-Umgebungen zum Beispiel werden die SAP BI-Systeme bis 2027\/2030 aus der Wartung genommen und durch SAP Datasphere<\/strong> ersetzt .<\/strong><\/p>\n\n\n\n

Verschiedene Zonen als Pipeline<\/h2>\n\n\n\n

Betrachten wir drei Teile eines Data Lake: Bronze-Zone, Silber-Zone und Gold-Zone:<\/p>\n\n\n\n

A. Bronze-Zone<\/h3>\n\n\n\n

Die Bronze-Zone (auch Raw-Zone oder Landing-Zone genannt) umfasst die folgenden Punkte: Datenaufnahme, Datenspeicherung und -verwaltung sowie Datenkatalogisierung. Vor einigen Jahren h\u00e4tten wir hier HDFS (Hadoop Distributed Dile System) in Betracht gezogen, aber diese Technologie scheint nun veraltet zu sein. <\/p>\n\n\n\n

Die Bronze-Zone kann Datenbankspeicher enthalten, so dass Sie eine vollst\u00e4ndige Datenbanktabellenstruktur, Prim\u00e4r- und Fremdschl\u00fcsselbeziehungen sowie alle Wertbereichs- und Wertlistenbeschr\u00e4nkungen einlesen k\u00f6nnen.<\/p>\n\n\n\n

Rohdaten k\u00f6nnen weiterhin verwendet werden, so dass die Bronze-Zone auch Analysen in verschiedenen Formen unterst\u00fctzt.<\/p>\n\n\n\n

B. Silberne Zone<\/h3>\n\n\n\n

Die silberne Zone, auch bekannt als verarbeitete Zone, erm\u00f6glicht die Datenbereinigung und -umwandlung, die Datenveredelung und die Datenanreicherung.<\/p>\n\n\n\n

C. Goldzone<\/h3>\n\n\n\n

In der Goldzone (auch bekannt als die ver\u00f6ffentlichte Zone) finden wir die wichtigsten Daten. Sie wird manchmal auch als “die goldene Quelle” oder “die Quelle der Wahrheit” bezeichnet. <\/p>\n\n\n\n

Einige andere wichtige Data Lake-Funktionen<\/h3>\n\n\n\n