information, théorie de l'

Grâce à la théorie de l’information, il est donc possible de mesurer la redondance des messages à transmettre, puis de la réduire afin d’utiliser au maximum les canaux de transmission. Les systèmes de communication actuels procèdent ainsi à l’encodage des messages faisant appel au plus petit nombre de bits possible. Cependant, pour réduire l’impact du bruit sur le canal, et donc éviter les erreurs lors de la transmission des messages, ces systèmes ajoutent à cet encodage une redondance artificielle.

Dans la plupart des applications pratiques, lorsque l’on décide d’envoyer un message, on le choisit parmi un ensemble de messages possibles. Tous ces messages sont susceptibles d’être transmis, mais avec une probabilité qui leur est propre. On désigne alors par entropie, terme emprunté à la thermodynamique, la moyenne des quantités d’information des différents messages possibles. Dans le cas simple où les N messages ont tous la même probabilité, l’entropie totale H se traduit alors par la formule H = log₂N.

Voir aussi science de l’information.