Que faire quand les données manquent ?

Les objets connectés permettent aux entreprises comme aux particuliers de s'informer en continu sur leur environnement. Cette masse impressionnante de données doit cependant être traitée, voire corrigée, afin de pouvoir en tirer des leçons. C'est ce que COTO Conseil a fait pour un client disposant de capteurs temps-réel.

La mission s'est concentré sur le remplacement de valeurs manquantes au sein de relevés qui doivent avoir lieu tous les quarts d'heure. A partir d'une courbe où des données manquent, l'algorithme mis en place reconstitue une courbe pleine en suivant les tendances passées observées.
Graphique représentant une série de données dont certaines valeurs manquent, ainsi que le résultat de l'algorithme qui estime les valeurs manquantes

  • Respect de la tendance des relevés avant que des valeurs viennent à manquer
  • Adaptation de la saisonnalité (les relevés suivent un cycle quotidien à deux pics)
  • Validation de la méthode par bootstrapping
  • Intégration dans une interface web

Déroulement du projet

  • Récupération des données et analyse descriptive
  • Test de plusieurs méthodes statistiques pour remplacer les données
  • Mise en œuvre dans une interface web permettant de téléverser son propre fichier pour correction

Technos utilisées

  • Python : scipy, pandas, dash
  • Méthode statistiques ad hoc
  • et des crayons 4 couleurs !

S'inscrire pour recevoir le livre blanc

DATA 2019 - les enjeux pour les PME et ETI

publication en Janvier