Fundamento de la entropía

La información es tratada como magnitud física, caracterizando la información de una secuencia de símbolos utilizando la entropía. Se parte de la idea de que los canales no son ideales, aunque muchas veces se idealicen las no linealidades, para estudiar diversos métodos de envío de información o la cantidad de información útil que se pueda enviar a través de un canal.

La información necesaria para especificar un sistema físico tiene que ver con su entropía.