Prepare un analices similar al caso planteado en el ejemplo donde se obtenga el cálculo de la entropía con ejemplos de codificación.

1. Bebe.
2. Niño
3. Adolescente.
4. Adulto.
5. Tercera Edad.

Que dice la teoría de Shannon para el manejo de entropías de casos de la información.

La entropía también se puede considerar como la cantidad de información promedio que contienen los símbolos usados. Los símbolos con menor probabilidad son los que aportan mayor información; por ejemplo, si se considera como sistema de símbolos a las palabras en un texto, palabras frecuentes como «que», «el», «a» aportan poca información, mientras que palabras menos frecuentes como «corren», «niño», «perro» aportan más información. Si de un texto dado borramos un «que», seguramente no afectará a la comprensión y se sobreentenderá, no siendo así si borramos la palabra «niño» del mismo texto original. Cuando todos los símbolos son igualmente probables (distribución de probabilidad plana), todos aportan información relevante y la entropía es máxima.

Porqué nlogn como medida para el cálculo de las entropías. 

Si se tiene un sistema con por ejemplo n diferentes opciones de transmisión.

Y si se quiere tener una medida basada en esas opciones para poder diferenciar un sistema de otro o para diseñar sistemas en el cuales el origen, el canal y el destino estuvieran bien dimensionados.

Que pasa con los sistemas de probabilidades distintas?

En sistemas en los cuales las probabilidades de los componentes transmitidos en mensajes no son equiprobables, entonces es necesario ampliar nuestra medida (log2 (n)). 

Esta medida se llama entropía se usa el símbolo H para designarla.

No se pueden sumar las contribuciones de los diferentes componentes de manera igual ya que en sistemas reales los componentes de los mensajes tienen diferentes frecuencias y probabilidades. 

Incluir esas probabilidades es esencial para que nuestra medida mida las contribuciones de las diferentes opciones en nuestro mensajes de manera mas realista.