En r\u00e8gle g\u00e9n\u00e9rale, les organisations g\u00e8rent des centaines d’applications qui, au fil du temps, sont remplac\u00e9es, et ces syst\u00e8mes obsol\u00e8tes sont mis hors service. Dans cet article, nous aborderons le concept de base des lacs de donn\u00e9es et la mani\u00e8re dont il est li\u00e9 aux syst\u00e8mes legacy. Dans la deuxi\u00e8me partie, nous \u00e9valuerons les cons\u00e9quences des applications patrimoniales sur votre lac de donn\u00e9es. <\/p>\n\n\n\n
Qu’entendons-nous par “lac de donn\u00e9es” ?<\/strong> Les lacs de donn\u00e9es d\u00e9signent “une architecture solide, logiquement centralis\u00e9e, un environnement hautement \u00e9volutif rempli de diff\u00e9rents types de donn\u00e9es analytiques provenant \u00e0 la fois de l’int\u00e9rieur et de l’ext\u00e9rieur de votre entreprise avec des temps de latence variables, et qui sera la destination principale pour les informations bas\u00e9es sur les donn\u00e9es de votre organisation”, comme d\u00e9fini dans le livre Data lakes for dummies \u00e9crit par Alan R. Simon.<\/a><\/p>\n\n\n\n Les donn\u00e9es d’un lac de donn\u00e9es peuvent \u00eatre consid\u00e9r\u00e9es comme des donn\u00e9es anciennes qui ont \u00e9t\u00e9 remises \u00e0 neuf et qui pourraient \u00eatre r\u00e9utilis\u00e9es par un nouveau propri\u00e9taire.<\/p>\n\n\n\n L’ingestion de donn\u00e9es<\/strong> typique pour un lac de donn\u00e9es est le processus ELT (Extract Load and Transform)<\/strong>. L’astuce r\u00e9side dans le fait que la transformation peut avoir lieu \u00e0 un stade ult\u00e9rieur. Aucune analyse pr\u00e9alable des donn\u00e9es n’est n\u00e9cessaire(sch\u00e9ma \u00e0 la lecture<\/em> plut\u00f4t que sch\u00e9ma \u00e0 l’\u00e9criture)<\/em>. Les outils ETL historiques typiques sont fournis par Informatica ou IBM datastage, mais de nouveaux outils sont d\u00e9sormais disponibles, tels que AWS lake formation. <\/p>\n\n\n\n Les lacs de donn\u00e9es sont construits \u00e0 partir de dizaines de sources potentielles qui peuvent \u00eatre des applications, des produits, des services, l’IdO ou toute autre source de donn\u00e9es. Le flux peut provenir du batch, du streaming, ou plus probablement des deux types de sources. Il s’agit d’une architecture \u00e0 couplage l\u00e2che. <\/p>\n\n\n\n Un catalogue, ou r\u00e9pertoire, garde la trace des donn\u00e9es contenues dans le lac de donn\u00e9es et des r\u00e8gles associ\u00e9es qui s’appliquent aux diff\u00e9rents groupes de donn\u00e9es. Il s’agit des “m\u00e9tadonn\u00e9es”. Pour obtenir des rapports (OLAP\/BI) \u00e0 partir de votre lac de donn\u00e9es, vous devrez ajouter une couche s\u00e9mantique. Une couche s\u00e9mantique peut \u00eatre un d\u00e9coupage temporel de faits (<\/em>tels que les revenus) en fonction de dimensions<\/em> (telles que les clients). <\/p>\n\n\n\n Le probl\u00e8me des entrep\u00f4ts de donn\u00e9es est qu’ils peuvent devenir des d\u00e9charges de donn\u00e9es<\/strong>, tandis que le probl\u00e8me des lacs de donn\u00e9es est qu’ils peuvent devenir des mar\u00e9cages de donn\u00e9es<\/strong>.<\/p>\n\n\n\n Une caract\u00e9ristique importante du lac de donn\u00e9es est qu’il est possible d’utiliser diff\u00e9rentes options de stockage (c’est-\u00e0-dire le stockage de blob et le stockage de base de donn\u00e9es SQL par exemple) pour diff\u00e9rents usages. Votre lac de donn\u00e9es n’a pas besoin d’\u00eatre une architecture monolithique mais devient une architecture bas\u00e9e sur des composants. <\/p>\n\n\n\n Les donn\u00e9es semi-structur\u00e9es se situent entre les donn\u00e9es structur\u00e9es et non structur\u00e9es. Elles comprennent, sans s’y limiter, les articles de blog, les messages sur les m\u00e9dias sociaux, les messages d’\u00e9quipe ou Slack, les textes et les courriels. <\/p>\n\n\n\n La plupart des entreprises devront faire face \u00e0 des donn\u00e9es<\/a> et des donn\u00e9es analytiques h\u00e9rit\u00e9es, tr\u00e8s probablement issues d’entrep\u00f4ts de donn\u00e9es et de marteaux de donn\u00e9es. Par exemple, dans les environnements SAP, les syst\u00e8mes SAP BI ne seront plus entretenus d’ici 2027\/2030 et seront remplac\u00e9s par SAP Datasphere<\/strong>.<\/p>\n\n\n\n Consid\u00e9rons les trois parties d’un lac de donn\u00e9es : La zone bronze, la zone argent et la zone or :<\/p>\n\n\n\n La zone bronze (\u00e9galement appel\u00e9e zone brute ou zone d’atterrissage) comprend les \u00e9l\u00e9ments suivants : l’ingestion des donn\u00e9es, le stockage et la gestion des donn\u00e9es, et le catalogage des donn\u00e9es. Il y a quelques ann\u00e9es, nous aurions consid\u00e9r\u00e9 HDFS ici (Hadoop Distributed Dile system), mais cette technologie semble aujourd’hui d\u00e9pass\u00e9e. <\/p>\n\n\n\n La zone bronze peut inclure le stockage d’une base de donn\u00e9es, ce qui vous permet d’ing\u00e9rer la structure compl\u00e8te d’une table de base de donn\u00e9es, les relations entre les cl\u00e9s primaires et \u00e9trang\u00e8res, ainsi que les contraintes de plage de valeurs et de liste de valeurs.<\/p>\n\n\n\n Les donn\u00e9es brutes peuvent toujours \u00eatre utilis\u00e9es, c’est pourquoi la zone bronze prend \u00e9galement en charge l’analyse sous diff\u00e9rentes formes.<\/p>\n\n\n\n La zone argent\u00e9e, \u00e9galement appel\u00e9e zone trait\u00e9e, permet de nettoyer et de transformer les donn\u00e9es, de les affiner et de les enrichir.<\/p>\n\n\n\n La zone or (\u00e9galement appel\u00e9e zone publi\u00e9e) est celle o\u00f9 l’on trouve les donn\u00e9es les plus pertinentes. Elle est parfois appel\u00e9e “la source d’or” ou “la source de v\u00e9rit\u00e9”. <\/p>\n\n\n\n Veuillez noter que nous parlons ici de lacs de donn\u00e9es, et non d’entrep\u00f4ts de donn\u00e9es, de maillages de donn\u00e9es ou de tissus de donn\u00e9es. Ces termes ont beaucoup en commun. Par exemple, le terme data mesh a \u00e9t\u00e9 invent\u00e9 pour la premi\u00e8re fois en 2018 (Forester Research) comme une approche des donn\u00e9es qui d\u00e9centralise la propri\u00e9t\u00e9 et d\u00e9mocratise l’acc\u00e8s. Le Data Mesh a \u00e9t\u00e9 utilis\u00e9 ces derni\u00e8res ann\u00e9es, \u00e0 commencer par Mark Russinovich<\/a> et sa “gravit\u00e9 des donn\u00e9es<\/strong>” : lorsque les entreprises collectent de plus grandes quantit\u00e9s d’informations et peinent ensuite \u00e0 les g\u00e9rer.<\/p>\n\n\n\n Personnellement, je m’alignerai davantage sur le concept de tissu de donn\u00e9es <\/strong>et sur celui de pipeline de donn\u00e9es. Selon la d\u00e9finition de Padmaraj Nidagundi<\/a>, ing\u00e9nieur logiciel exp\u00e9riment\u00e9, “les tissus de donn\u00e9es font le lien entre les environnements legacy et les nouvelles impl\u00e9mentations cloud-natives en fournissant aux syst\u00e8mes legacy les donn\u00e9es sp\u00e9cifiques dont ils ont besoin tout en maintenant les pr\u00e9occupations en mati\u00e8re de s\u00e9curit\u00e9. Les tissus de donn\u00e9es sont un cadre, pas une technologie”.<\/p>\n\n\n\n En conclusion, le concept de lacs de donn\u00e9es repr\u00e9sente une \u00e9volution cruciale dans la gestion et l’exploitation de vastes quantit\u00e9s de donn\u00e9es diverses provenant de sources internes et externes. Cet article a explor\u00e9 la d\u00e9finition fondamentale des lacs de donn\u00e9es, en mettant l’accent sur leur r\u00f4le de r\u00e9f\u00e9rentiel centralis\u00e9 et \u00e9volutif pour une vari\u00e9t\u00e9 de donn\u00e9es analytiques. Alors que les organisations sont aux prises avec des applications h\u00e9rit\u00e9es, le lien entre les lacs de donn\u00e9es et ces syst\u00e8mes obsol\u00e8tes devient crucial, la partie 2 \u00e0 venir abordant les cons\u00e9quences sur les lacs de donn\u00e9es<\/strong>. <\/p>\n\n\n\n Restez inform\u00e9 et soyez le premier \u00e0 savoir ! Abonnez-vous \u00e0 notre lettre d’information pour recevoir les derniers articles et les derni\u00e8res informations sur SAP Data Volume Management. <\/p>\n\n\n\nUn r\u00e9f\u00e9rentiel de plusieurs sources<\/h2>\n\n\n\n
Une architecture \u00e0 base de composants<\/h2>\n\n\n\n
Et parfois, les lacs de donn\u00e9es sont des architectures h\u00e9rit\u00e9es du pass\u00e9<\/h2>\n\n\n\n
Diff\u00e9rentes zones en tant que pipeline<\/h2>\n\n\n\n
A. Zone de bronze<\/h3>\n\n\n\n
B. Zone argent\u00e9e<\/h3>\n\n\n\n
C. Zone aurif\u00e8re<\/h3>\n\n\n\n
Quelques autres caract\u00e9ristiques importantes du lac de donn\u00e9es<\/h3>\n\n\n\n
\n
Lac de donn\u00e9es, maillage de donn\u00e9es ou tissu de donn\u00e9es ?<\/h2>\n\n\n\n
Le mot de la fin<\/h2>\n\n\n\n