Les problèmes de qualité des données en entreprise

 

 

La non-qualité des données : enjeux et méthodes

Les challenges de la qualité des données

La qualité des données est un vrai problème souvent mal abordé

• Des données de qualité sont vitales pour la profitabilité d'une entreprise
• Pourtant, dans les grandes entreprises, c'est un problème récurrent, profond, mal connu et sous-estimé.
• Pour les dirigeants, il va de soi que les équipes vont produire des données de qualité (sinon, il suffit de mettre la pression)
• Les collaborateurs en charge des données sont conscients des problèmes de qualité.
• Ils font déjà tout leur possible. Améliorer la qualité des données nécessite des changement qu'ils sont impuissants à déclencher à leur niveau.
• Les méthodes d'amélioration continue et d'assurance qualité sont peu efficaces sur les processus de création de data.
• Les indicateurs et les tableaux de bord sont nécessaires mais ils ont juste une efficacité marginale sur quelques collaborateurs hors normes.
• Connaître les critères de la qualité des données est utile mais théorique.
• L'utilisation du terme "Qualité des données" révèle une maturité naissante sur le véritable sujet : le Management des Données d'Entreprise.

Quelques citations d'Albert Einstein applicables au management de la data quality

• "On ne résout pas un problème avec les modes de pensées qui l'ont engendré."
• "La folie est de toujours se comporter de la même manière et de s’attendre à un résultat différent."
• "Une personne intelligente résout un problème. Une personne sage l'évite."
• "Un problème sans solution est un problème mal posé."

Des données de qualité sont vitales pour la profitabilité d'une entreprise

Exemple des données "produits"

Avant, dans la Vente et la Distribution traditionnelles, les erreurs de données n'avaient pas d'impact direct, car elles étaient corrigées par le personnel de l'entreprise au cours des interactions avec les clients (avant-vente et après-vente).  Dorénavant, avec le e-commerce et les appels d'offres informatisés, les interactions entre client et vendeurs sont rares. Car ces contacts sont trop fastidieux et trop lents pour les clients (et trop couteux pour les entreprises).  Ainsi, de bonnes données vont faire vendre les produits. A l'inverse, lorsqu'un client sera confronté à de mauvaises données, il va échouer à trouver le produit ou renoncer à l'acheter.  Avec le e-commerce et les appels d'offres informatisés, en cas de mauvaises données, il n'y a plus de seconde chance, ni de feedback négatif, juste du chiffre d'affaires manqué, invisible et non quantifiable.  Dans ce contexte ultra-compétitif, les entreprises produisant de bonnes données vont prendre un avantage croissant et définitif sur leurs concurrents moins dynamiques.

Exemple des données "clients"

Avec le e-commerce, les clients mettent facilement et immédiatement plusieurs commerçants en concurrence. Chaque décision d'achat est isolée, il n'y a plus véritablement de fidélité à une enseigne. Les avis laissés sur Internet peuvent être ravageurs et incontrôlables. Chaque erreur de l'entreprise, avant ou après la vente, se paie cash. Pour rester dans la course, les entreprises doivent comprendre ce qui se passe chez les clients. Pour analyser vite et bien ce qui s'est passé, les données clients doivent être bien structurées, collectés intégralement et exactes (dans le respect et l'esprit de RGPD). C'est à ces conditions que les entreprises pourront développer scoring et profilage, afin d'optimiser, rabais, offres spéciales, gestion des retours et des litiges.

Quelles sont les critères d'analyse de la qualité des données ?

Il existe d'innombrables avis et versions sur les dimensions (ou critères) de la qualité des données. En voici une synthèse basée sur l'expérience.

Conformité à la réalité

• Les données constituent un avatar numérique d'une réalité (exemple : un client, un produit).
• Cet avatar doit être aussi fidèle que possible à réalité qu'il doit représenter.
• La terminologie, la syntaxe et la sémantique utilisées doivent assurer une compréhension identique de la donnée par toutes les catégories d'utilisateurs.
• L'actualisation des données est également fondamentale.
• Le pertinence du format des données et sa précision sont également critiques.

Conformité à des standards et des normes d'échange de fichiers

• En ingénierie comme en e-commerce, il existe plusieurs standards concurrents d'échange de données.
• Chaque entreprise doit donc se plier aux choix de ses partenaires et fournir des données aux standards attendus.
• Chaque standard étant différent, il y a deux alternatives : maintenir manuellement chaque standard, ou transformer semi-automatiquement des données d'origine dans chaque standard par mappage.
• Quelle que soit l'option choisie, les différentes instances doivent à la fois être conformes au standard (rigide par définition) et à l'objet (intangible) qu'elles réprésentent, ce qui pose toujours des problèmes.

Cohérence des données entre systèmes

• Une même donnée peut légitiment être maintenue dans différents systèmes informatiques ayant des finalités différentes.
• Ces différentes instances d'une données doivent toutefois être cohérentes entr'elles, à défaut d'être identiques.
• A cette condition, la duplication n'est pas un problème.

Intégralité, complétude des données

• C'est souvent la première dimension analysée, car en apparence la plus facile et la plus critique.
• D'évidence, toute donnée doit être maintenue partout où le champ existe.
• Toutefois, il existe toujours des cas particuliers où une donnée n'a pas de sens et ne peut pas être renseignée.
• C'est là la limite de tous les tableaux de bord quantitatifs, dont la validité est souvent mise en cause à partir des cas particuliers.
• En général, le logiciel ne permet pas facilement une assignation plus fine des attributs.
• Déporter ce travail d'orfèvree dans les tableaux est risqué (complexité) et ouvre la porte à des exceptions sans fin.

Cohérence technique des données

• Analyser une donnée nécessite de la comparer à quelque chose de comparable.
• Comparer les versions successives d'une donnée (dans le même système et le même champ) est souvent très instructif.
• Lorsqu'une donnée est héritée d'un autre système, surveiller cette filiation (origine) est très recommandé.

Perception subjective et confiance

• Comme le dit le proverbe : Une once de bonne réputation vaut mieux que mille livres d'or
• Si des données parfaites ont mauvaise réputation, elles ne seront pas utilisées.
• Il est donc très important de mesurer la satisfaction des consommateurs de vos données, surtout si celle-ci n'est pas basée sur vos critères objectifs.

Quels sont les problèmes de qualité des données typiques ?

Problèmes de données communs aux fabricants et aux distributeurs

• Effet volume des données : [nombre de produits] x [Nombre de caractéristiques] x [Langues] x [Standards]

Fabricants : problèmes de données spécifiques

• Surcharge de travail et complexité pour produire les données : multiplicité et diversité des formats de données à fournir aux clients et partenaires
• Lourdeur pour coordonner création et maintenance de données tout au long du processus "Produits" : Spécifications, Développement, Industrialisation, Supply chain, Marketing et vente, Assistance technique.
• Rapport au temps : cycles très long, réactivité limitée à cause des contraintes industrielles.

Distributeurs : problèmes de données typiques

C'est l'inverse des fabricants !

• Grande diversité des données livrées par les différents fournisseurs, versus volonté d'harmoniser la présentation des produits toutes marques confondues.
• Focus sur la recherche des produits (standardisation des filtres et des désignations) versus intérêt des clients (et des fabricants) pour des caractéristiques discriminantes.
• Volumes énormes de données, forte sensibilité aux coûts, fort taux de données rarement consommées par les clients.
• Expertise limitée pour évaluer la qualité et la pertinence des données, incapacité à y remédier (masse de données).
• Forte réactivité, urgence (perçue comme de l'instabilité par les fabricants).

Plus l'entreprise est grande ou complexe, plus il y a des problèmes de données !

• Les entreprises sont organisées en départements, qui fonctionnent en silos verticaux.
• Chaque silo est focalisé sur ses objectifs internes, et pilote ses propres procédures et ses systèmes informatiques.
• Or certains processus sont transversaux à plusieurs silos (départements).
• Alors, ce sont les interfaces entre silos qui posent problème, chaque département ayant une perspective et des contraintes spécifiques.

Certes, une entreprise ne doit pas nécessairement avoir des données parfaites partout ...

• Tant que les processus internes délivrent à peu près ce qui est attendu, l'entreprise peut vivre avec l'imperfection.
• Par contre, pour les processus qui impactent l'extérieur, l'entreprise doit mettre le paquet.
• Attendre que le problème deviennent aigu n'est pas une bonne idée : le moment venu, l'entreprise n'aura plus assez de temps pour s'adapter.

Quelles sont les bonnes pratiques pour des données de qualité ?

Prise en compte de l'accélération du temps causée par la digitalisation

Les entreprises baignent dans la culture du Projet, où les effort ont un début et une fin, avec des objectifs et des ressources définis. Pour rester dans la course de la digitalisation, l'adaptation doit devenir constante, l'activité permanente. Les boucles "Essai-Erreur" sont un grand danger pour l'entreprise, car elles sont maintenant trop lentes, trop aléatoires et insuffisantes. Pour ne pas gâcher de temps et de ressources, pour accélérer, il faut passer de l'Amélioration Continue à la Transformation.

Education des collaborateurs

Le terme Education peut paraitre rude, mais il s'agit bien d'un travail en profondeur débouchant sur un changement de comportement (pas juste de la communication interne).

Etablissement d'une véritable Gouvernance collective

Les instances de coordination sont assez faciles à mettre en place. Mais il faut beaucoup de temps et de confiance pour que cette instance puisse privilégier le bien commun vis-à-vis des intérêts propres des départements.

Diagnostic, objectifs et moyens alignés

• Le plus souvent, le problème n'est même pas clairement posé, mais tout le monde a déjà son idée sur ce qu'il faudrait faire (très souvent, acheter un logiciel).
• Les Projets sont lancés avant même que les acteurs ne soient d'accord sur le diagnostic et les solutions possibles.
• L'enchainement de projets réactifs participe davantage au problème qu'à la solution.
• Souvent, les Managers y sont incités par l'entreprise : enchainer des projets jetables procure une visibilité certaine et une image de dynamisme.
• La Transformation, tout le monde est d'accord, mais peu s'y attaquent.

Combien de temps votre entreprise pourra perdurer sans transformer sa gestion des données ?

Conclusion

• Enchainer les projets rapidement peut être une fuite en avant.
• La méthode AGILE est une bonne méthode d'éxécution de projets, mais elle ne sauve pas les projets mal cadrés.
• Avant de démarrer un projet important, une étude de cadrage est une garantie de résultats.

Pour en savoir plus :

Data management   Nos propositions d'accompagnement

---

Dernière mise à jour : 2 septembre 2022