Nettoyage de données

L’application Odoo Data Cleaning maintient l’intégrité et la cohérence des données avec les fonctionnalités suivantes :

• Déduplique : fusionne ou supprime les entrées en double pour garantir l’unicité des données.

• Recycle : identifie les enregistrements obsolètes pour les archiver ou les supprimer.

• Formate : standardise les données textuelles en les recherchant et les remplaçant selon les besoins spécifiés.

Des règles personnalisables garantissent que les données textuelles restent à jour, rationalisées, formatées de manière cohérente et alignées sur les exigences de formatage spécifiques à l’entreprise.

Installer les modules

L’application Data Cleaning se compose de plusieurs modules. Installer les suivants pour accéder à toutes les fonctionnalités disponibles :

Nom Nom technique	Description
Recyclage des données data_recycle	Module de base pour activer la fonctionnalité de recyclage, disponible sur Odoo Community edition.
Data Cleaning data_cleaning	Active la fonctionnalité de nettoyage de champs pour formater les données textuelles sur plusieurs enregistrements, disponible uniquement sur Odoo Enterprise edition.
Data Cleaning (fusion) data_merge	Active la fonctionnalité de déduplication pour trouver des enregistrements similaires (ou dupliqués) et les fusionner, disponible uniquement sur Odoo Enterprise edition.

Additionally, several app-specific modules are available

Déduplication CRM data_merge_crm	Active la fonctionnalité de déduplication sur l’application CRM et utilise la fonctionnalité de fusion par défaut du CRM.
Action de fusion Assistance data_merge_helpdesk	Active la fonctionnalité de fusion pour l’application Assistance.
Action de fusion Projet data_merge_project	Active la fonctionnalité de fusion pour l’application Projet.
Déduplication UTM data_merge_utm	Active la fonctionnalité de fusion pour l’application UTM Tracker.
Fusion Comptabilité WMS data_merge_stock_account	Crée un avertissement en cas de fusion de produits pouvant affecter la valorisation d’inventaire, si l’application Inventaire est installée.

Déduplication

Le tableau de bord Doublons regroupe les enregistrements similaires à fusionner en faisant correspondre les conditions au sein des enregistrements définies par les règles de déduplication.

Accéder à ce tableau de bord via Application Data Cleaning ‣ Déduplication.

La barre latérale RÈGLE répertorie chacune des règles de déduplication actives et affiche le nombre total de doublons détectés à côté de chaque règle.

Par défaut, la règle Tous est sélectionnée. Les enregistrements sont regroupés par leur règle, avec une évaluation de Similarité (sur 100 %), avec les colonnes suivantes :

• Créé le : la date et l’heure de création de l’enregistrement original.

• Nom : le nom ou le titre de l’enregistrement original.

• Valeurs des champs : les valeurs de l’enregistrement original pour les champs utilisés pour détecter les doublons.

• Utilisé dans : liste les autres modèles faisant référence à l’enregistrement original.

• ID : l’identifiant unique de l’enregistrement original.

• Est maître : les doublons sont fusionnés dans l’enregistrement maître. Il ne peut y avoir qu”un seul enregistrement maître dans un regroupement d’enregistrements similaires.

Sélectionner une règle spécifique dans la barre latérale RÈGLE pour filtrer les enregistrements en double.

Fusionner les enregistrements en double

Pour fusionner des enregistrements, choisir d’abord un enregistrement maître dans le regroupement d’enregistrements similaires. L’enregistrement maître sert de base dans laquelle toute information supplémentaire des enregistrements similaires est fusionnée.

En option, aucun enregistrement maître ne peut être défini, laissant Odoo choisir un enregistrement au hasard dans lequel fusionner.

Ensuite, cliquer sur le bouton Fusionner en haut du regroupement d’enregistrements similaires. Puis, cliquer sur Ok pour confirmer la fusion.

Une fois un enregistrement fusionné, un message est enregistré dans le fil de discussion de l’enregistrement maître, décrivant la fusion. Certains enregistrements, comme les tâches de Projet, sont enregistrés dans le fil de discussion avec un lien vers l’ancien enregistrement comme référence pratique de la fusion.

Astuce

Ignorer les regroupements en cliquant sur le bouton IGNORER. Ce faisant, le regroupement est masqué de la liste et archivé.

Afficher les regroupements ignorés en sélectionnant le filtre Ignorés dans la barre de recherche.

Règles de déduplication

Les Règles de déduplication définissent les conditions pour la détection des enregistrements en double.

Ces règles peuvent être configurées pour chaque modèle dans la base de données, et avec différents niveaux de spécificité. Pour commencer, aller à Application Nettoyage de données ‣ Configuration ‣ Déduplication.

Astuce

Les règles de déduplication s’exécutent une fois par jour, par défaut, dans le cadre d’une action planifiée cron (Fusion de données : Rechercher les enregistrements en double). Cependant, chaque règle peut être exécutée manuellement à tout moment.

Modifier une règle de déduplication

Sélectionner une règle par défaut à modifier, ou créer une nouvelle règle en cliquant sur le bouton Nouveau.

Choisir d’abord un Modèle que cette règle ciblera. La sélection d’un modèle met à jour le titre de la règle avec le modèle choisi.

Configurer éventuellement un Domaine pour spécifier les enregistrements éligibles pour cette règle. Le nombre d’enregistrements éligibles est affiché dans le lien # enregistrement(s).

Selon le Modèle sélectionné, le champ Suppression des doublons apparaît. Choisir d”Archiver ou de Supprimer les enregistrements fusionnés.

Sélectionner ensuite un Mode de fusion :

• Manuel : nécessite la fusion manuelle de chaque groupe de doublons, active également le champ Notifier les utilisateurs.

• Automatique : fusionne automatiquement les groupes de doublons, sans notifier les utilisateurs, en fonction des enregistrements dont le pourcentage de similarité est supérieur au seuil défini dans le champ Seuil de similarité.

Activer le bouton Actif pour commencer à capturer les doublons avec cette règle dès son enregistrement.

Créer enfin au moins une règle de déduplication dans le champ Règles de déduplication, en cliquant sur Ajouter une ligne, sous la colonne Champ ID unique.

• Sélectionner un champ du modèle dans le menu déroulant Champ ID unique. Ce champ est référencé pour les enregistrements similaires.

• Sélectionner une condition de correspondance dans le champ Correspondance si pour appliquer la règle de déduplication, selon le texte du Champ ID unique :

  • Correspondance exacte : les caractères du texte correspondent exactement.

  • Correspondance insensible à la casse/aux accents : les caractères du texte correspondent, indépendamment de la casse et des différences d’accent spécifiques à la langue.

Important

Au moins une Règle de déduplication doit être définie pour que la règle capture les doublons.

Astuce

Quelques champs supplémentaires sont disponibles pour une configuration avancée.

Sur une base de données multi-sociétés, le champ Inter-sociétés est disponible. Lorsqu’il est activé, les doublons entre différentes sociétés sont suggérés.

Activer Mode développeur (mode debug) pour afficher le champ Seuil de suggestion. Les doublons dont la similarité est inférieure au seuil défini dans ce champ ne sont pas suggérés.

Une fois la configuration de la règle terminée, fermer le formulaire de la règle ou exécuter la règle manuellement pour capturer instantanément les enregistrements en double.

Exécuter manuellement une règle de déduplication

Pour exécuter manuellement une règle de déduplication spécifique à tout moment, aller dans Application Nettoyage de données ‣ Configuration ‣ Déduplication, et sélectionner la règle à exécuter.

Ensuite, sur le formulaire de la règle, sélectionnez le bouton Dédupliquer en haut à gauche. Le bouton intelligent Doublons affiche alors le nombre de doublons capturés.

Cliquez sur le bouton intelligent Doublons pour gérer ces enregistrements.

Recycler les enregistrements

Utilisez la fonction recycler les enregistrements pour débarrasser la base de données des enregistrements anciens et obsolètes.

Le tableau de bord Recyclage des enregistrements de champs affiche les enregistrements qui peuvent être archivés ou supprimés, en faisant correspondre les conditions dans les enregistrements définies par les règles de recyclage des enregistrements.

Accédez à ce tableau de bord en allant à Application Recyclage des données ‣ Recycler les enregistrements.

La barre latérale RÈGLES DE RECYCLAGE liste chacune des règles de recyclage d’enregistrements actives.

Par défaut, l’option Tout est sélectionnée. Les enregistrements sont affichés avec les colonnes suivantes :

• ID d’enregistrement : l’ID de l’enregistrement d’origine.

• Nom d’enregistrement : le nom ou titre de l’enregistrement d’origine.

Sélectionnez une règle spécifique dans la barre latérale RÈGLES DE RECYCLAGE pour filtrer les enregistrements.

Pour recycler des enregistrements, cliquez sur le bouton Valider sur la ligne de l’enregistrement.

L’enregistrement est alors recyclé, selon la configuration de la règle, pour être archivé ou supprimé de la base de données.

Astuce

Rejetez les groupements en cliquant sur le bouton Rejeter. L’enregistrement est alors masqué de la liste et ne sera plus détecté par la règle de recyclage à l’avenir.

Consultez les enregistrements rejetés en sélectionnant le filtre Rejeté dans le menu déroulant de la barre de recherche.

Règles de recyclage d’enregistrements

Les Règles de recyclage d’enregistrements définissent les conditions de recyclage des enregistrements.

Ces règles peuvent être configurées pour chaque modèle de la base de données, avec des niveaux de spécificité variables. Pour commencer, accédez à Application Recyclage des données ‣ Configuration ‣ Recycler les enregistrements.

Astuce

Les règles de recyclage s’exécutent une fois par jour par défaut, dans le cadre d’une action planifiée cron (Recyclage des données : nettoyer les enregistrements). Cependant, chaque règle peut être exécutée manuellement à tout moment.

Par défaut, aucune règle de recyclage d’enregistrement n’existe. Cliquer sur le bouton Nouveau pour créer une nouvelle règle.

Sur le formulaire de règle de recyclage d’enregistrement, choisir d’abord un Modèle pour cette règle à cibler. Sélectionner un modèle met à jour le titre de la règle vers le modèle choisi.

Facultativement, configurer un Filtre pour spécifier les enregistrements éligibles pour cette règle. Le nombre d’enregistrements éligibles est affiché dans le lien # enregistrement(s).

Ensuite, configurer le champ et la plage de temps pour la façon dont la règle détecte les enregistrements à recycler :

• Champ temporel : sélectionner un champ du modèle pour baser le temps (Delta).

• Delta : saisir la durée, qui doit être un nombre entier (par ex. 7).

• Unité delta : sélectionner l’unité de temps (Jours, Semaines, Mois, ou Années).

Ensuite, sélectionner un Mode de recyclage :

• Manuel : nécessite que chaque enregistrement détecté soit recyclé manuellement, et active le champ Notifier les utilisateurs.

• Automatique : fusionne automatiquement les groupes recyclés, sans notifier les utilisateurs.

Enfin, sélectionner une Action de recyclage pour soit Archiver ou Supprimer les enregistrements. Si Supprimer est sélectionné, choisir d”Inclure les archivés ou non dans la règle.

Une fois la configuration de la règle terminée, fermer le formulaire de règle, ou exécuter la règle manuellement pour capturer instantanément les enregistrements à recycler.

Example

Une règle de recyclage peut être configurée pour supprimer les pistes et opportunités archivées qui ont été mises à jour pour la dernière fois il y a un an, et avec une raison de perte spécifique, en utilisant la configuration suivante :

• Modèle : Piste/Opportunité

• Filtre :

  • Active n'est pas défini

  • Raison de la perte est dans Trop cher

• Champ temporel : Dernière mise à jour le (Piste/Opportunité)

• Delta : 1

• Unité delta : Années

• Mode de recyclage : Automatique

• Action de recyclage : Supprimer

• Inclure les archivés :

Exécuter manuellement une règle de recyclage

Pour exécuter manuellement une règle de recyclage spécifique à tout moment, aller dans Application Nettoyage de données ‣ Configuration ‣ Recycler les enregistrements, et sélectionner la règle à exécuter.

Ensuite, sur le formulaire de la règle, cliquer sur le bouton Exécuter maintenant en haut à gauche. Ce faisant, le bouton intelligent Enregistrements affiche le nombre d’enregistrements capturés.

Cliquer sur le bouton intelligent Enregistrements pour gérer ces enregistrements.

Nettoyage de champs

Utiliser la fonctionnalité de nettoyage de champs pour maintenir un formatage cohérent des noms, numéros de téléphone, identifiants et autres champs dans toute une base de données.

Le tableau de bord Enregistrements de nettoyage de champs affiche les modifications de formatage des données dans les champs d’un enregistrement, pour suivre une convention définie par les règles de nettoyage de champs.

Accéder à ce tableau de bord en allant dans Application Nettoyage de données ‣ Nettoyage de champs.

La barre latérale RÈGLES DE NETTOYAGE liste chacune des règles de nettoyage actives.

Par défaut, la règle Tout est sélectionnée. Les enregistrements sont listés avec les colonnes suivantes :

• ID d’enregistrement : l’ID de l’enregistrement d’origine.

• Nom d’enregistrement : le nom ou titre de l’enregistrement d’origine.

• Champ : le champ de l’enregistrement d’origine qui contient la valeur à formater.

• Actuel : la valeur actuelle dans le champ de l’enregistrement d’origine.

• Suggéré : la valeur formatée suggérée dans le champ de l’enregistrement d’origine.

Pour nettoyer et formater les enregistrements, cliquer sur le bouton Valider sur la ligne de l’enregistrement.

Ce faisant, l’enregistrement est formaté et/ou nettoyé.

Astuce

Abandonner des enregistrements en cliquant sur le bouton Abandonner. Ce faisant, l’enregistrement est masqué de la liste et ne sera plus détecté par la règle de nettoyage de champ à l’avenir.

Afficher les enregistrements abandonnés en sélectionnant le filtre Abandonnés depuis la barre de recherche.

Règles de nettoyage de champ

Les règles de nettoyage de champ définissent les conditions pour que les champs soient nettoyés et/ou formatés.

Ces règles peuvent être configurées pour chaque modèle dans la base de données, et avec différents niveaux de spécificité. Pour commencer, naviguer vers application Nettoyage de données ‣ Configuration ‣ Nettoyage de champ.

Astuce

Les règles de nettoyage de champ s’exécutent une fois par jour, par défaut, dans le cadre d’une action planifiée cron (Nettoyage de données : nettoyer les enregistrements). Cependant, chaque règle peut être exécutée manuellement à tout moment.

Par défaut, une règle Contact existe pour formater et nettoyer les enregistrements de l’application Contacts. Sélectionner l’enregistrement Contact pour le modifier, ou sélectionner le bouton Nouveau pour créer une nouvelle règle.

Sur le formulaire de règle de nettoyage de champ, choisir d’abord un modèle que cette règle doit cibler. Sélectionner un modèle met à jour le titre de la règle avec le modèle choisi.

Ensuite, configurer au moins une règle en cliquant sur Ajouter une ligne dans la section Règles.

Ce faisant, une fenêtre contextuelle Créer des règles apparaît avec les champs suivants à configurer :

• Sélectionner un champ à nettoyer depuis le modèle pour l’assigner à une action.

• Choisir l’une des options action suivantes :

  • Supprimer les espaces révèle le champ Suppression pour sélectionner l’option Tous les espaces ou Espaces superflus. Les espaces de début, de fin et successifs sont considérés comme superflus.

    Example

    Le nom de contact Dr.  John   Doe peut être formaté avec les options Suppression suivantes :

    • Tous les espaces : DR.JohnDoe

    • Espaces superflus : DR. John Doe

  • Définir la casse révèle le champ Casse pour sélectionner soit Premières lettres en majuscule, Tout en majuscule, ou Tout en minuscule.

    Example

    Le titre de piste/opportunité lumber inc, Lorraine douglas peut être formaté avec les options Casse suivantes :

    • Premières lettres en majuscule : Lumber Inc, Lorraine Douglas

    • Tout en majuscule : LUMBER INC, LORRAINE DOUGLAS

    • Tout en minuscules : lumber inc, lorraine douglas

  • Formater téléphone convertit le numéro de téléphone en format international.

    Example

    • Belgique : 061928374 +32 61 92 83 74

    • États-Unis : 800 555-0101 +1 800-555-0101

  • Supprimer HTML convertit le HTML en texte brut.

    Example

    Texte HTML

    <h1>John Doe</h1>
    <p>Lorem ipsum dolor sit <a href="https://example.com">amet</a>.</p>
    

    Texte simple

    **John Doe** Lorem ipsum dolor sit amet [1] .[1] https://example.com
    

  Une fois qu’un champ et une action sont sélectionnés, cliquer sur Enregistrer pour fermer la fenêtre contextuelle Créer des règles.

Ensuite, sélectionner un Mode de nettoyage :

• Manuel : nécessite que chaque champ détecté soit nettoyé manuellement et active le champ Notifier les utilisateurs.

• Automatique : nettoie automatiquement les champs sans notifier les utilisateurs.

Une fois la configuration de la règle terminée, fermer le formulaire de règle ou exécuter la règle manuellement pour capturer instantanément les champs à nettoyer.

Exécuter manuellement une règle de nettoyage de champ

Pour exécuter manuellement une règle de nettoyage de champ spécifique à tout moment, aller à Application Nettoyage de données ‣ Configuration ‣ Nettoyage de champ et sélectionner la règle à exécuter.

Ensuite, sur le formulaire de règle, sélectionner le bouton Nettoyer en haut à gauche. Ce faisant, le bouton intelligent Enregistrements affiche le nombre d’enregistrements capturés.

Cliquer sur le bouton intelligent Enregistrements pour gérer ces enregistrements.

Gestionnaire d’action de fusion

Le gestionnaire d’action de fusion active ou désactive l’action Fusionner disponible dans le menu Actions pour les modèles de la base de données.

Activer le Mode développeur (mode debug) et aller à Application Nettoyage de données ‣ Configuration ‣ Gestionnaire d’action de fusion.

Les modèles sont listés avec les colonnes suivantes :

• Modèle : nom technique du modèle.

• Description du modèle : nom d’affichage du modèle.

• Type : indique si le modèle est de type Objet de base ou Objet personnalisé.

• Modèle transitoire : le modèle gère des données temporaires qui n’ont pas besoin d’être stockées à long terme dans la base de données.

• Peut être fusionné : active l’action Fusionner pour le modèle.

Pour voir quels modèles sont activés par défaut, utiliser la barre de recherche pour filtrer les modèles qui Peuvent être fusionnés.

Voir également

Fusionner les contacts