information, théorie de l'

3.2

Notion de bruit

On nomme bruit, l’ensemble des informations dénuées d’intérêt qui viennent s’ajouter à l’information pertinente à transmettre (signal). Le rapport signal / bruit permet de mesurer la qualité d’un système de communication, la compréhension finale d’un message étant d’autant meilleure que ce rapport est élevé.

4

Quantité d’information

La théorie de l’information manipule le concept d’information en tant que contenu mesurable, en termes statistiques, des messages transmis : par conséquent, elle ne prétend pas évaluer le sens de ces messages, se penchant uniquement sur leur quantité. Toutefois, elle n’en suggère pas moins quelques réflexions sur l’information au sens habituel du terme. Shannon détermina ainsi qu’une information a d’autant plus de valeur que sa probabilité est faible. Par exemple, il peut être utile d’apprendre que « l’autoroute est coupée dans 20 km » car cet événement se présente relativement rarement ; en revanche, signaler que « l’opposition n’est pas d’accord avec le gouvernement » est une information de faible valeur, car fortement probable.

L’information contenue dans un message est donc une quantité mathématiquement mesurable, liée à la probabilité que ce message soit choisi parmi un ensemble de messages possibles. Plus le message est probable, plus la quantité d’information qu’il transporte est faible. Par conséquent, un message attendu avec certitude possède une quantité d’information nulle.

4.1

Formule de Shannon

La quantité d’information contenue dans un message est liée à la probabilité p du message par la formule de Shannon : I = log₂1/p où log₂ est le logarithme de base 2 de 1/p, c’est-à-dire l’exposant qui doit être attribué au nombre 2 afin d’obtenir le nombre 1/p. Par exemple, log₂8 = 3 parce que 2³ = 8.

Imaginons, par exemple, que l’on lance une pièce en l’air et que l’on décrive le résultat par le message « pile ou face » : ce message ne révélant rien, sa quantité d’information est donc nulle. En revanche, si l’on décrit le résultat par les messages séparés « pile » ou « face », ces derniers traduisent des résultats équiprobables, de probabilité 1/2. En utilisant la formule de Shannon, on peut déterminer que les messages « pile » ou « face » ont une quantité d’information égale à log₂2 = 1.

4.2

Autre définition

Ainsi définie par la formule de Shannon, la quantité d’information d’un message représente également le nombre de symboles binaires nécessaires pour représenter ce message. Ces symboles, appelés bits, correspondent aux chiffres utilisés en base 2, à savoir 0 et 1. Dans l’exemple cité ci-dessus, il suffit en effet d’un seul symbole pour décrire chacun des deux messages, par exemple le symbole 0 pour « pile » et le symbole 1 pour « face ». Si une pièce est lancée en l’air trois fois de suite, les huit résultats possibles (« face-face-face », « face-face-pile », « face-pile-pile », « face-pile-face », « pile-pile-pile », « pile-pile-face », « pile-face-face » et « pile-face-pile ») peuvent être représentés par les messages 000, 001, 010, 011, 100, 101, 110 et 111. On peut noter que la probabilité de chaque message valant 1/8, sa quantité d’information est par conséquent égale à log₂8 = 3 : trois bits sont effectivement nécessaires pour représenter chaque message.

5

Notion de redondance

5.1

Redondance naturelle

Prenons l’exemple de messages composés de combinaisons aléatoires des 26 lettres de l’alphabet, de l’espace et de 5 signes de ponctuation, et supposons que tous ces caractères aient la même probabilité. La quantité d’information de chaque caractère est donc I = log₂32 = 5, ce qui signifie que 5 bits sont nécessaires pour coder chaque caractère, et donc chaque message.

En réalité, si l’on traite un texte, on s’aperçoit que les suites de lettres sont loin d’être le fruit du hasard. Par exemple, la probabilité est très forte pour que la lettre suivant la séquence « informatio » soit un « n ». Il apparaît donc possible de réduire le nombre de bits nécessaires au codage, optimisant ainsi la transmission ou le stockage de l’information. On peut montrer que le français écrit ordinaire véhicule de l’information d’environ 1 bit par lettre, ce qui signifie que la langue française, comme d’ailleurs toute autre langue, possède un haut degré de redondance intrinsèque, appelée redondance naturelle. Cette redondance n’a pas que des inconvénients : elle permet en effet de comprendre des messages dans lesquels les voyelles ont été enlevées, ou encore de déchiffrer une écriture peu lisible.