Plateformes data

Des plateformes que j'ai bâties

Deux plateformes data que j'ai construites ou fortement contribué à construire, de l'architecture à la mise en production. Les noms d'entreprises sont volontairement masqués.

Lakehouse analytique Azure Lakehouse Lead Data Engineer · 2024-2025 · Distribution coopérative

Plateforme analytique d'entreprise sur Azure, en architecture médaillon (Bronze, Silver, Gold). Des sources hétérogènes (bases relationnelles SQL Server, Oracle, MariaDB, systèmes legacy AS400, APIs et services cloud) sont ingérées via Azure Data Factory et un runtime d'integration auto-hébergé (SHIR) pour atteindre le réseau interne. Traitement Spark sur Databricks, puis consommation selon les usages : restitution BI via Power BI et partage de données via Delta Sharing. Le tout gouverné et sécurisé par Unity Catalog, Entra ID, Azure Key Vault et Azure DevOps.

7
Types de sources intégrés
3
Couches médaillon
100%
Pipelines en CI/CD
5+
Domaines métier servis
Architecture
lakehouse.platformrunning
SOURCES INGESTION PLATEFORME CONSOMMATION Bases on-prem SQL Server · Oracle AS400 · APIs REST · MariaDB Cloud natif Azure SQL · Cosmos Data Factory ADF + SHIR Azure Databricks Spark Data Lake Bronze · Silver · Gold Power BI BI & dashboards Delta Sharing Partage de données Gouvernance & Ops Unity Catalog · Entra ID · Key Vault · Azure DevOps
Azure Data FactorySHIRAzure Data Lake Azure DatabricksSparkUnity Catalog Power BIDelta Sharing Entra IDAzure Key VaultAzure DevOpsTerraform
Collecte d'audiences temps réel Temps réel Senior Data Engineer · 2019-2023 · Media

Plateforme de collecte d'audiences en temps réel. Les événements émis par le front web (JavaScript) et le back applicatif (PHP) sont captés par Azure EventHub, consommés et enrichis par des Azure Functions, puis chargés vers Snowflake via Event Grid et Snowpipe (à partir des fichiers capturés dans le data lake) pour l'analytique, et écrits dans Cassandra pour le service temps réel. Au-dessus de Cassandra, j'ai développé des APIs (Azure Functions en Java Spring) pour exposer ces données et alimenter un moteur de recommandation.

50M+
Événements collectés / jour
< 5s
Latence de collecte
2
Destinations
Java Spring
APIs de recommandation
Architecture
audience_collection.streamrunning
SOURCES COLLECTE TRAITEMENT ROUTAGE STOCKAGE RECOMMANDATION Web JS Frontend App PHP Backend Azure EventHub événements raw Azure Functions consumer Event Grid Snowpipe · ADLS Snowflake analytique Cassandra temps réel APIs reco Functions · Java Spring Moteur de reco temps réel CI/CD & IaC Azure DevOps · Terraform
Azure EventHubAzure FunctionsEvent Grid SnowpipeSnowflakeCassandra Java SpringAzure Data LakeScala SparkTerraformAzure DevOps