Prepare un analices similar al caso planteado en el ejemplo donde se obtenga el cálculo de la
entropía con ejemplos de codificación.
- Bebe.
- Niño
- Adolescente.
- Adulto.
- Tercera Edad.
Que dice la teoría de Shannon para el manejo de entropías de casos de la información.
La entropía también se puede considerar como la cantidad de información promedio que contienen los símbolos usados. Los símbolos con menor probabilidad son los que aportan mayor información; por ejemplo, si se considera como sistema de símbolos a las palabras en un texto, palabras frecuentes como «que», «el», «a» aportan poca información, mientras que palabras menos frecuentes como «corren», «niño», «perro» aportan más información. Si de un texto dado borramos un «que», seguramente no afectará a la comprensión y se sobreentenderá, no siendo así si borramos la palabra «niño» del mismo texto original. Cuando todos los símbolos son igualmente probables (distribución de probabilidad plana), todos aportan información relevante y la entropía es máxima.
Porqué nlogn como medida para el cálculo de las entropías.
Si se tiene un sistema con por ejemplo n diferentes
opciones de transmisión.
Y si se quiere tener una medida basada en esas
opciones para poder diferenciar un sistema de otro o
para diseñar sistemas en el cuales el origen, el canal y
el destino estuvieran bien dimensionados.
Que pasa con los sistemas de probabilidades distintas?
En sistemas en los cuales las probabilidades de los
componentes transmitidos en mensajes no son
equiprobables, entonces es necesario ampliar nuestra
medida (log2
(n)).
Esta medida se llama entropía se usa el símbolo H para
designarla.
No se pueden sumar las contribuciones de los diferentes
componentes de manera igual ya que en sistemas reales
los componentes de los mensajes tienen diferentes
frecuencias y probabilidades.
Incluir esas probabilidades es esencial para que nuestra
medida mida las contribuciones de las diferentes opciones
en nuestro mensajes de manera mas realista.
