Ce chapitre est une introduction à la théorie de l'information. On commence par chercher à définir le manque d'information d'une loi de probabilité. On considère ensuite un ensemble d'événements possibles, et on suppose que certaines contraintes sont imposées sur les probabilités des événements : quelle est la loi de probabilité la "plus vraisemblable" compte-tenu de ces contraintes ? Cela nous ammène à introduire la formule de Shannon, qui donne une quantité qui ressemble à l'entropie...

pptx (avec animations) ou pdf
La présentation de Sergio Ciliberto sur la limite de Landauer est disponible ici.

Une animation Java permet d'illustrer un algorithme de codage optimal : le codage de Huffman. Lancer visualization.jar, puis dans le menu Algorithms, sélectionner Huffman coding (ou Ctrl-7).
Une autre animation Java permet de jouer au jeu de Shannon,
et une autre encore permet de calculer l'entropie d'un texte (attention, les espaces ne sont pas pris en compte).