Comment on page
Préparer les données pour une publication en open data
Ce document détaille les étapes de préparation d’un jeu de données
Source : OpenDataFrance - Licence : CC-BY-SA
Version : v2.0, date : juillet 2022
Cela exige de procéder par de multiples approches car il est rare d'avoir un inventaire exhaustif des données.
Les services les plus compétents pour aider dans cette démarche sont les services d'archive, de documentation, d'informatique, d'information géographique, du numérique, d'observatoire, de pilotage, de dgs, de communication.
On sera vigilant à récupérer des données brutes et non des données travaillées, comme par exemple sous forme de statistiques.
OpenDataFrance propose le Socle Commun des Données Locales, il s’agit des données que les collectivités doivent publier en priorité, dans un format normalisé.
Un premier périmètre de données “prioritaires” a été établi autour des données suivantes :
- Catalogue : dictionnaire des données publiées
- Délibérations : données déclaratives (date, objet, type), sans données personnelles
- Marchés Publics : date, nature, montant et identification des tiers bénéficiaires
- Subventions : date, nature, montant et identification des tiers bénéficiaires
- Équipements Collectifs Publics : inventaire géolocalisé des équipements collectifs publics implantés sur un territoire
- État Civil : statistiques sur les prénoms des nouveaux-nés
- Base Adresse Locale : correspondance entre l'adresse et la géolocalisation précise
- Infrastructures de Recharge de Véhicules Électriques : localisation géographique et caractéristiques techniques des stations et des points de recharge pour véhicules électriques
- Normalisation des éléments de base : codification normalisée des champs habituellement utilisés
Si une standardisation existe vous devrez essayer de l’appliquer au plus près. Cette opération peut être plus ou moins facile.
Si il n’y a pas de standardisation, vous devrez au moins appliquer les préconisations faites sur les intitulés de colonnes usuels tel l’adresse, la date, le nom de l’acteur…
Le document “Normalisation des éléments de base” du Socle Commun des Données Locales (SCDL) peut vous y aider.
Votre modèle d’extraction est l’occasion de faire un premier niveau de nettoyage, autrement dit, l’occasion de sortir les données qui n’apportent rien au fichier tels que des identifiants techniques internes, ou des données qui font l’objet d’une législation qui empêchent leur publication.
Ensuite, vous devrez savoir sur quel(s) format(s) doivent être présentés vos données. Les attendus de la loi pour une République numérique sont “dans un format ouvert, aisément réutilisable et exploitable par un système de traitement automatisé”.
Le format le plus répandu est le format .csv.
La fiche Produire un fichier CSV de qualité est rédigée pour vous aider à ce travail.
Certains acteurs choisissent de publier leurs données dans plusieurs formats, comme le fait par exemple Bordeaux métropole qui pour ses données géographiques a choisi les formats suivants : ESRI Shapefile RGF93/CC45, ESRI Shapefile RGF93/Lambert93, Google KMZ, WebService OGC WMS, WebService OGC WFS, Fichier CSV, AutoCAD DWG.
En ce qui concerne la licence, elle aura été probablement choisie en amont et annoncée dans la délibération donnant le cadre de l’ouverture des données. Mais il est toutefois utile de se poser la question avant la publication de chaque jeu de données.
Il arrive que les données qui sont dans des fichiers, pour en faciliter les lectures et traitements sont "esthétisées": les cases des tableurs sont esthétisées, des cellules sont fusionnées, des textes sont en italique ou graissés...
Certains fichiers de type tableur, peuvent être organisés en onglets ou bénéficier de "macro" plus ou moins complexes.
L'ensemble de ces aménagements spécifiques éloignent le fichier de son potentiel de réutilisation. Un fichier qui aurait au moins une de ces “fantaisies” ne répond pas aux standards de l'ouverture.
Chaque base de données ou application métier a ses opérations préalables à l'exportation.
Parfois, il y a aura un bouton ou un menu “exporter les données”, dans d'autres cas il sera possible de présélectionner les données avant de les exporter, dans d'autres cas encore, rien n'est prévu nativement pour exporter les données. Dans cette hypothèse, il faudra mettre en place une opération technique qui réalise l'export, opération souvent désignée comme "moulinette" ou "patch".
La "moulinette" peut être une simple ligne de commande ou bien réalisée par un programme ou un outil d'extraction tels que les ETL (Extract, Transform, Load) : Talend, Knime, Pentaho Data Integration...
Ces derniers outils permettent d'extraire des données de n'importe quel format (fichiers, bases de données, pages html...) pour ensuite les traiter si besoin (changer le nom des entêtes, corriger les formats de dates, uniformiser les différences de nommage de certains champs, croiser des données entre-elles...) pour ensuite les réinjecter dans un entrepôt de données spécifique pour l'opendata, dans des fichiers csv ou tout autre format.
Certains standards, comme GTFS, demandent beaucoup de rigueur pour répondre à leurs exigences.
L'export des données va exposer les données sous une nouvelle réalité. En effet, tant que les données sont dans leur environnement logiciel, elles ont une cohérence utile aux exploitations quotidiennes, mais sorties de leur contexte usuel, elles peuvent faire apparaître des "défauts" de qualité. Dans cette phase, il est vraiment important de faire un travail avec les agents qui s'occupent de l'alimentation des données à la source pour que les erreurs repérées puissent être corrigées au plus prés de l'alimentation source.
Si possible, on organisera le SI de sorte à ne pas activer la “moulinette” manuellement mais à appliquer des procédés automatisés. La solution usuellement retenue est la mise en place d’API, simple à mettre en place et appréciée des réutilisateurs.
Lorsque les données viennent d'être exportées, il faut avoir un regard général pour cette nouvelle forme de présentation. Dans certains cas, il y a aura des défaut des formes; par exemples, les caractères accentués s'afficheront mal. Dans d'autres cas, il y aura des habitudes de services, les agents, dans leur travail quotidien, utilisant des abréviations ou diverses expressions, sorte d'argot professionnel. Une personne extérieure au service, n'aura pas facilement les significations des différents termes utilisés, à moins qu'ils soient documentés. Dans d'autres cas, la nouvelle mise en forme des données fait apparaître des notions dérangeantes : un lieu est privilégié, un élu est sur ou sous exposé, les effets des politiques du moment ne se voient pas dans les données qui sont représentatives des mois antérieurs....
La diffusion des données pourraient venir perturber les missions de services publics. Par exemple, diffuser les sections des tuyaux des réseaux d'assainissement pourrait favoriser des explorations dans les tuyaux dans lesquels il est possible de tenir debout.
Enfin, l'ouverture des données pourrait être contrainte pour une disposition réglementaire spécifique.
Enfin, des doublons ou des incohérences pourraient apparaître; ainsi, souvent, c’est une nouvelle occasion de faire des opérations de nettoyage. Elles seront facilités par des outils tels que les ETL ou d'autres comme Openrefine
Il peut y avoir certaines transformations du texte, des intitulés des colonnes, des abréviations pour rendre les données lisibles par toutes les personnes extérieures au service producteur de données.
Une documentation viendra compléter cette mise en visibilité des données. Pour rédiger la documentation, il est possible de s’appuyer sur la trame type rédigée par OpenDataFrance : Documenter les données avant publication
C’est l’occasion, de mettre en place les métadonnées. Dans bien des cas, ces dernières s’appuient sur un dictionnaire des métadonnées.
C’est à ce moment qu’on décide de la fréquence de mises à jour des données.
Le fichier de données brutes pour répondre aux attendus d’intelligibilités des humains et des machines a subit de nombreuses transformations. Certaines transformations sont des transformations de mises à niveau pour une ouverture facilitée. Il est souhaitable qu'elles soient le plus nombreuses possibles et qu'il ne soit plus obligé de revenir dessus pour chaque mises à jour. Les transformations de mises à jour sont le minimum des transformations qu'il faut opérer pour publier la nouvelle version du jeu de données.
Par exemple, il est souhaitable que la publication mensuelle du fichier des marchés publics ne demande qu'un changement de date dans le nom du fichier.
Cette étape peut être l'objet d'une réorganisation plus ou moins profonde du travail de production de données ou peut révéler un besoin de formation…
Dans bien des cas, avant l'ouverture du jeu de données, l'agent producteur aura validé les données prêtes pour l’application. Et à son tour, il aura fait valider le fichier à un de ses responsables hiérarchiques.
C’est l’occasion de conforter le rythme des mises à jour.
Il faudra produire un texte qui présente le service producteur et les données afin de mettre en avant le jeu de données sur le site internet ou les éventuels messages dans les communiqués de presse ou sur les réseaux sociaux.
Il faudra également savoir si le jeu de données est présenté ou non sous forme de datavisualisation.
Il existe peut-être un événement ou un document qui est en lien avec l’ouverture de ces données. Par exemple, l’ouverture des données des vélos en libre service peut être présentée dans un encadré sur le flyers de la semaine de la mobilité.