BP 6 - Réduire le volume unitaire des jeux de données
Contexte
Les premières externalités négatives de la donnée sont liées à son stockage et sa diffusion qui nécessitent une infrastructure matérielle (réseau, et data centers), mais aussi des terminaux utilisateurs. Cela se traduit naturellement par de la consommation de matière première (minerais, eau, beaucoup d'eau) pour produire ces équipements, et de la consommation électrique.
Non seulement la production de données est colossale mais elle croit à une vitesse vertigineuse en raison des usages, des multiples sources (IoT) et leur distribution/duplication via internet.
Description de la bonne pratique
Bonnes pratiques ayant un impact important sur la réduction de l'empreinte environnementale
1 - choix du format de fichier
Privilégier le format de fichier plus plus sobre
Il faut avoir conscience que les formats de fichiers peuvent être plus ou moins "gourmands" : par exemple, Il peut y avoir un rapport de 1 à 10 entre le volume d’un fichier au format .csv et les mêmes données dans un format .xls
2 - réduire le nombre de ressources :
Limiter le nombre de formats proposés si cela n'est pas indispensable
Il est bien entendu possible de présenter plusieurs formats pour un jeu de données. Cela facilite le traitement du point de vue du réutilisateur. Mais il faut avoir conscience que chaque duplication avec un format particulier augmente le volume de données stockées
La co-existance fréquente de multiples formats (csv, json, xls, shp, …) pour un même jeu de données doit poser la question de la pertinence de cette multiplication. Sans la bannir, cette pratique doit être mise en oeuvre si elle est vraiment indispensable.
3 - proposer la récupération des informations sous forme d'API
Proposer systématique un accès sous format d'API dans le cas des données volumineuses ou à changement d'état fréquent afin d’effectuer des requêtes pour filtrer/trier les données à la source.
Lorsque le fichier est trop volumineux, il vaut mieux accéder directement à une partie des données à travers les critères d'accès que proposera un service d'accès informatique ou API.
De même pour les données changeant d'état fréquemment (par exemple; la disponibilité en temps réel des parkings), il sera plus pertinent de ne charger que les enregistrements récents ou les derniers changements plutôt que la base entière.
On ne réduit pas le fichier source mais uniquement les données transmises.
Voir plus : BP 7 - Proposer un accès aux données par API
Bonnes pratiques ayant un impact modéré sur la réduction de l'empreinte environnemental :
4 - formater le fichier pour éviter les redondances
Choisir le format de présentation des données le plus adapté
On trouve parfois plus pratique de publier les données au format tabulaire alors que certains jeux de données sont plus légers dans un format type json. Vouloir les rendre tabulaires multiplie énormément les redondances dans les chaines de caractère communes.
5- réduire les informations aux données essentielles (filtre à la production).
Supprimer les informations inutiles, redondantes ou non essentielles
Supprimer les colonnes redondantes (doublon ou déductibles). Par exemple, si un jeu de données précise le code INSEE d’une commune, inutile de fournir son nom, son département ou sa région. Ces informations peuvent être obtenues par croisement avec un référentiel.
6 - fragmenter le fichier pour permettre des téléchargements partiels à l'utilisateur.
Découper les ressources avec une granularité et une couverture géographique et temporelle adaptée
Par exemple, un fichier des résultats des 10 dernières élections peut être découpé en 10 fichiers, un pour chaque élection et ainsi limiter les flux de données de données non-utilisées côté utilisateurs.
Voir plus : BP 5 - Proposer une granularité temporelle et géographique adaptée
7 - compresser le fichier pour optimiser les téléchargements
Mettre en oeuvre quand cela est possible des fonctions de compression des données ou des transferts.
Il est possible de proposer au téléchargement des fichiers compressés lorsque le volume et l'efficacité de la compression le justifie. Certains portails offrent des fonctions de compression lors des transferts (exemple : opendatasoft).
Retours d'expérience
Accès aux résultats des élections à Grand Poitiers
un jeu de données indépendant pour chaque élection
aucun jeu de donnée ne dépasse 40 Ko
A l'inverse, une autre collectivité publie par exemple le résultats de toutes les élections depuis 1992 dans un même fichier. Le fichier .csv résultant est de 42 Mo, soit x1000 plus volumineux que celui d'une seule élection à Poitiers.
Volumétrie des jeux de données limitée par les éditeurs de portails
Certaine plateforme comme opendatasoft limite la taille maximum d'importation d’un jeu de données à 240 Mo. Au-delà, il convient soit de compresser ou de fragmenter le jeu de donnée.
Ressources
Dernière mise à jour
