Les données structurées et leur traitement

Les données numériques

Toute activité numérique est représentée à partir de données.

Types de données

On peut distinguer :

• Les données structurées qui sont des informations (codant des mots, des chiffres ou des signes) qui peuvent être stockées dans des champs d'une base de données ou dans des fichiers textes.
• Des données non structurées qui ne sont pas organisées en base de données. On peut citer les fichiers bureautiques, les images, les sons, les vidéos, les courriels.

Traitement des données

Effectuer un traitement sur des données c'est :

• Utiliser des données en entrée 
• Effectuer des opérations de calcul sur ces données 
• Afficher les résultats

Caractéristiques économiques des données

Les données en tant qu'objets numériques forment un bien non rival.

En économie, la non-rivalité désigne le fait que la consommation d'un bien par une personne n'a pas d'effet sur la quantité disponible de ce bien pour les autres individus.

En effet, les données numériques dont la copie ne coûte quasiment rien, peuvent être dupliquées sans être consommées.

Histoire et évolution des données numériques

Les grandes étapes historiques

• 1930 : utilisation des cartes perforées, premier support de stockage de données.
• 1956 : invention du disque dur permettant de stocker de plus grandes quantités de données, avec un accès de plus en plus rapide.
• 1970 : invention du modèle relationnel (E. L. Codd) pour la structuration des bases de données.
• 1979 : création du premier tableur : VisiCalc.
• 2009 : Open Government Initiative du président Obama.
• 2013 : charte du G8 pour l'ouverture des données publiques.

Le monde numérique en 2015

En 2015, une journée dans le monde numérique représentait des volumes de données considérables :

Les données et leurs descripteurs

Une donnée est une valeur décrivant un objet ou une personne.

Le descripteur d'une donnée est un identifiant décrivant le type de la donnée.

Les descripteurs utiles pour un contact dans un agenda sont : le nom, le prénom, l'adresse postale, un courriel, un numéro de téléphone de la personne.

Une collection regroupe des objets partageant les mêmes descripteurs.

La collection des contacts d'un carnet d'adresses.

Les tables de données

Les données sont souvent représentées sous la forme de tableaux.

La structure de table permet de présenter une collection : les objets en ligne, les descripteurs en colonne et les données à l'intersection.

Stockage des données

Pour assurer la persistance des données, ces dernières sont stockées dans des fichiers.

Les formats de fichiers de données

Le format CSV (Comma Separated Values)

C'est un format de fichier simple permettant d'enregistrer une table de données.

La première ligne est une entête qui donne les noms des colonnes du fichier.

La représentation de ce fichier en table est la suivante :

Dans cet exemple, le fichier CSV contient une liste de films avec comme informations : le titre, le réalisateur et l'année de sortie du film. Il est possible d'utiliser un autre caractère de séparateur que la virgule.

Le format VCard (Visit Card : carte de visite)

Il permet de stocker une collection de contacts.

Jean_Dupont.vcf

Le format JSON (JavaScript Object Notation)

C'est un format de données textuelles dérivé de la notation des objets du langage JavaScript.

Ce fichier est une transposition au format JSON du fichier CSV précédent sur les réalisateurs de films.

Les bases de données

Une structuration plus fine qui évite la redondance (c'est-à-dire la répétition) et améliore la sécurité des données peut être réalisée avec l'utilisation de base de données.

Définition

Une base de données est une collection de données structurées relatives à un ou plusieurs domaines du monde réel.

Le modèle relationnel

Le modèle le plus couramment utilisé dans le domaine des bases de données est qualifié de relationnel (on le note avec le sigle SGBDR pour Système de Base de Données Relationnelle).

Les objets d'une base de données relationnelles sont des tables reliées entre elles par des relations.

Structure des tables

Ici ce modèle très simple contient deux tables : Film et Personne.

Chaque enregistrement des deux tables est caractérisé par un identifiant unique : id_film pour la table Films et id_personne pour la table Personne. Ces identifiants sont des nombres entiers.

Le réalisateur et l'acteur principal d'un film sont aussi caractérisés par des identifiants (id_realisateur et id_acteur_principal) qui sont en correspondance avec l'attribut id_personne de la table Personne.

Contenu des tables

Dans notre exemple, le contenu de la table Film est le suivant :

Et celui de la table Personne est :

Le langage SQL

Un langage spécifique nommé SQL (Structured Query Language) permet de mettre à jour ou d'interroger les bases de données relationnelles à l'aide de requêtes.

Les métadonnées

Une métadonnée est littéralement une donnée sur une donnée.

Association aux fichiers

Ainsi à tout fichier sont associées des métadonnées qui permettent d'en décrire le contenu. Ces métadonnées varient selon le type de fichier (date et coordonnées de géolocalisation d'une photographie, auteur et titre d'un fichier texte, etc.)

Types et traitement des données

Les données comme les métadonnées sont de différents types (numériques, textes, dates) et peuvent être traitées différemment (calcul, tri, affichage, etc.)

Opérations sur les tables de données

Une table de données peut faire l'objet de différentes opérations pour traiter et exploiter les informations qu'elle contient.

Types d'opérations possibles

Les principales opérations que l'on peut effectuer sur une table de données sont les suivantes :

• Rechercher une information précise dans la collection
• Trier la collection sur une ou plusieurs propriétés
• Filtrer la collection selon un ou plusieurs critères
• Effectuer des calculs sur les données
• Mettre en forme les informations produites pour une visualisation par les utilisateurs

Stockage des fichiers de données

Les fichiers de données sont stockés sur des supports de stockage qui peuvent être classés en différentes catégories. Ces supports peuvent être internes (disque dur ou SSD) ou externes (disque, clé USB), ainsi que locaux ou distants (cloud).

Importance des sauvegardes

Ces supports pouvant être endommagés, des sauvegardes régulières doivent être effectuées pour préserver l'intégrité des données.

Stockage des grandes bases de données

Les grandes bases de données sont souvent stockées sur des serveurs dédiés, qui sont des machines puissantes avec une importante capacité de stockage sur disques. Ces centres de données doivent être alimentés en électricité et maintenus à des températures suffisamment basses pour fonctionner correctement.

L'évolution du stockage et traitement des données

L'évolution des capacités de stockage, de traitement et de diffusion des données fait qu'on assiste aujourd'hui à un phénomène de surabondance des données et au développement de nouveaux algorithmes capables de les exploiter.

Volume des données mondiales

En 2018, le volume total d'informations stockées dans les systèmes informatiques du monde entier atteint 33 zettaoctets (1 zo = $10^{21}$ octets = mille milliards de milliards d'octets).

Les datacenters et leur impact environnemental

Des datacenter (centres de données) stockent toutes ces données. Ces datacenters consomment beaucoup d'énergie et génèrent une pollution importante.

De ce fait, une réflexion structurée est à mettre en œuvre pour limiter l'impact négatif d'une utilisation massive des Big data et de leur hébergement dans le cloud.

Accessibilité et protection des données

Certaines de ces données sont en libre accès (on les nomme OpenData). Cependant certaines données sensibles sont parfois monnayées à l'insu des utilisateurs sur lesquelles elles portent.

Le RGPD : protection des données en Europe

En 2018, un règlement général sur la protection des données (RGPD) a été mis en place en Europe pour régir la collecte et l'utilisation des données numériques. Ce règlement renforce et unifie la protection des données pour les individus au sein de l'Union européenne.