Plateforme d'extraction, de conversion et de normalisation

Bases nationales, jeux de données locaux

L'objectif de cette plateforme est de permettre à des collectivités de publier simplement des données issues de référentiels nationaux à l'échelle communale ou intercommunale.

Le constat, les besoins des collectivités

Les collectivités, en particulier les plus petites, ont du mal à ouvrir leurs données en raison d'un manque de moyen humain (peu de compétences disponibles), technique (pas de SI structuré) ou financier (appel à des prestataires pour produire ou héberger des données).

Elles sont pourtant très souvent à l'origine de nombreuses données ou informations transmises aux services de l'état : finances et commandes publiques, contrôle de légalité, cadastre, élections, ...

Ces données se retrouvent consolidées dans de grandes bases nationales, à la maille communales on intercommunales. D'autres acteurs publics participent aussi à la production de données relatives aux territoires, agrégées aussi dans des bases centrales (services déconcentrés de l'état, INSEE, etc.).

Il est donc légitime pour les collectivités de pouvoir "récupérer" les données les concernant, sans produire un effort trop important pour les retrouver, les extraire, les transformer quand elles sont très complexes et les formater en vue d'une utilisation locale, et notamment leur publication en open data.

Cette opportunité avait déjà été envisagée par OpenDataFrance dans le rapport remis en octobre 2016 à la ministre en charge du numérique. Ce projet était alors nommé de "Socle Commun de Données Locales issu des référentiels nationaux" ou "dotation en données nationales".

Le gros avantage de ces extractions est que, pour chaque jeux de données, les données sont par nature normalisées au niveau national et le schéma de départ correspond à la strucutre de la base des données qui les héberge.

On voit qu'il peut être utile de simplifer les données et leur format pour les rendre plus pertinentes dans la perspective d'une publication en open data locale. Par exemple, dans le cas des budgets des collectivités, de nombreusses informations sont inutiles pour un usage local et le format de type XML est complexe à manipuler. L'outil aura donc intéret à simplifer les données disponibles et convertir le format de sortie dans une représentation de type tableau.

Les principes de l'outil

Une plateforme générique, des modules spécifiques pour chaque base de données concernée et regroupés par thématique.

L'inventaire présenté dans ce site (Inventaire des bases nationales) permet de proposer différentes sources utiles. En fonction des moyens de développement, et des priorités identifier par les collectivités, des modules seront réalisés au fil de l'eau

Une expérimentaton avec Tours Métropole a permis d'évaluer la possibilité de faire réaliser des modules par des étudiants dans le cadre d'un accompagnement assuré par des mentors logiciels. Un projet sera lancé en 2022 pour industrialiser la production de modules d'extraction avec la participation d'écoles d'ingénieurs.

L'application est libre d'accès.

L'ensemble des logiciels sont en open source.