Il y a une décennie, nous, les Data Engineers, étions ravis de mettre en place des flux de données inter-applicatifs avec des outils ETL comme Talend, opérant sur des bases de données On Premise. Les temps ont changé et aujourd’hui, la Modern Data Stack redéfinit nos architectures et nos pratiques, la plaçant au cœur de la hype technologique.

𝐋𝐞 𝐜𝐨𝐧𝐜𝐞𝐩𝐭 𝐝𝐞 𝐌𝐨𝐝𝐞𝐫𝐧 𝐃𝐚𝐭𝐚 𝐒𝐭𝐚𝐜𝐤

Pour comprendre ce changement, considérons les trois piliers de la Modern Data Stack :
● Data Storage : Désormais dans le Cloud, offrant flexibilité et évolutivité.
● Data Transformations : Réalisées via des ELT, directement en SQL sur les entrepôts de données, optimisant l’efficacité et la rapidité.
● DataOps / DevOps : L’intégration continue et la livraison continue sont essentielles, simplifiant le monitoring et améliorant la maintenance.
En option, le datalineage facilite la traçabilité des données, rendant les processus transparents pour tous les acteurs métier.

𝐑𝐞́𝐬𝐮𝐥𝐭𝐚𝐭𝐬 𝐭𝐚𝐧𝐠𝐢𝐛𝐥𝐞𝐬 𝐝𝐞 𝐥𝐚 𝐌𝐨𝐝𝐞𝐫𝐧 𝐃𝐚𝐭𝐚 𝐒𝐭𝐚𝐜𝐤
La Modern Data Stack transforme non seulement notre manière de travailler mais améliore aussi de manière spectaculaire les résultats :
🚀 Performances Techniques : Nous observons régulièrement des réductions de temps de traitement, passant d’une heure avec Talend/PostgreSQL à seulement 10 minutes.
💻 Scalabilité : Fini le besoin constant de BDA ou d’ingénieurs système pour la gestion des bases de données. L’indexation devient une préoccupation du passé.
💰 Maîtrise des Coûts : Les coûts des services de Cloud Data Storage sont réduits, avec l’utilisation d’outils souvent peu coûteux voire gratuits.
🤝 Maintenance Évolutive : Le code est plus lisible, rendant les maintenances et les mises à jour moins complexes.
📈 Monitoring : Une visibilité complète de la chaîne de données via un dashboard unique.
🌍 Responsabilité Numérique : La mutualisation du Data Storage et son utilisation optimisée est plus respectueuse de l’environnement que les infrastructures On Premise disponibles 24/7.

𝐍𝐨𝐭𝐫𝐞 𝐬𝐭𝐚𝐜𝐤 𝐭𝐞𝐜𝐡𝐧𝐢𝐪𝐮𝐞 𝐜𝐡𝐞𝐳 𝐄𝐅𝐅𝐈𝐃𝐈𝐂
Chez EFFIDIC, nous avons pleinement adopté la Modern Data Stack :
● Data Storage : Snowflake ou BigQuery
● Data Ingestion : Python
● Data Transformation : DBT
● DataOps / DevOps : Azure DevOps ou Google Cloud Platform
● Data Visualisation : PowerBI, Looker, Qlik, Tableau

Cette transformation n’est pas simplement une évolution technique mais une transformation dans notre approche de la data, et ce depuis 1 an. Convaincus que les DSI et les data engineers doivent s’adapter à cette nouvelle réalité.