Data Engineering · Apache Kafka · Temps réel · 2 notebooks
Cold Chain Monitoring
Des producteurs simulent des capteurs et le parcours de colis réfrigérés. Votre rôle : reconstruire les liens entre ces événements pour déterminer quels colis sont exposés à une anomalie de température et publier les alertes correspondantes.
PythonApache KafkaPandas
Gratuit · Sans compte·Intermédiaire·2 notebooks
Ce que vous allez construire
- ✓Une connexion à un broker Kafka partagé et une première lecture des deux flux entrants
- ✓Un état en mémoire qui conserve les associations courantes entre conteneurs, capteurs et colis
- ✓Une logique de corrélation capable de retrouver les colis concernés par chaque mesure de température
- ✓Des messages d'alerte produits pour chaque colis exposé à une température supérieure au seuil
Les 2 notebooks du lab
00
Comprendre et observer les flux
Découvrir l'architecture simulée, se connecter à Kafka et examiner les premiers messages de température et de logistique.
01
Construire la corrélation
Maintenir les associations courantes, réagir aux événements métier puis relier chaque température aux colis concernés avant de produire les alertes.
Compétences travaillées
- · Lecture et production de messages Kafka
- · Interprétation de schémas d'événements
- · Maintien d'un état courant en mémoire
- · Corrélation de flux hétérogènes
- · Gestion de l'ordre d'arrivée des événements
- · Détection et émission d'alertes
Prérequis
- · Être à l'aise avec les dictionnaires, boucles et fonctions Python
- · Le broker et les producteurs de données sont préconfigurés
- · Aucune installation : lab en ligne