Redundanz:

>... In diesem Sinne verstanden, ist die Redundanz ein Maß für innere Bindungen durch bestimmte Gesetzmäßigkeiten und Regeln. Das wird besonders klar, wenn wir uns die beiden idealen Grenzfälle vorstellen, nämlich einmal, dass die Welt ganz ohne innere Gesetzmäßigkeiten, also regellos, aufgebaut wäre und zum anderen, dass wir alle Regeln kennen, die eine von inneren Gesetzmäßigkeiten beherrschte Welt besitzt. Im ersten Falle würde das bedeuten, dass der Empfänger in seinem Verhalten vollständig bestimmt durch die eintreffende Information gelenkt würde. Die Redundanz der eintreffenden Information wäre gleich Null. Im anderen Falle wäre alles Geschehen vorausbestimmt, der Empfänger benötigte überhaupt keine Informationen, die Redundanz aller Nachrichten wäre gleich 1. Die reale Wirklichkeit liegt zwischen diesen beiden extremen Fällen. Die Lebewesen, auch der Mensch, benötigen dauernd Information zur Steuerung ihres Verhaltens. Aber sie nützen sogleich auch schon empfangene Informationen aus, um ihr eigenes Verhalten danach zu richten. Diesen Vorgang bezeichnen wir als "Lernen". Je mehr das Lebewesen gelernt hat, umso größer ist die Redundanz aller später eintreffenden Informationen. Solche Überlegungen haben zu einer kybernetischen Definition des Begriffes "Lernen" geführt; nach MacKay formuliert: "Lernen ist das Entdecken und Ausnützen von Redundanzen".<