Teoría de la información
-Comentario preliminar:
Kolmogorov
había ideado el concepto de complejidad(cantidad de información) de un objeto
como el número de bits del programa más conciso capaz de generarlo. Existen
programas muy cortitos que generan pi con sus infinitos decimales, luego la
complejidad interior de pi es pequeña; no es algorítmicamente aleatorio. El
conjunto de Mandelbrot, con sus recovecos infinitos y volutas bellísimas es
generable también por programas muy cortitos, por lo tanto posee muy poca
complejidad en el sentido de Kolmogorov.
Chaitin definió que un objeto es algorítmicamente aleatorio, si
es imposible de generar por un programa más corto que sí mismo en la década
de los 60 del siglo pasado, simultaneamente con Kolmogorov. Demostró que todo número
algorítmicamente aleatorio era normal(sus dígitos aparecían con igual
frecuencia en el desarrollo decimal, y en cualquier base). Decididamente, este
tipo de números es bastante “peor” que un trascendente como pi.
Clase 1
-Desarrollo:
En nuestro caso, tenemos:
I1= - log2(0.9)= 0.15
I0= - log2(0.1)= 3.32
Vemos que la información asociada a sacar una bola negra (X=0) es mucho
mayor que la información asociada al suceso "sacar una bola blanca".
Una forma de entender esto es comprender que obtener una bola negra reduce la
indeterminación completamente: sabemos que cada una de las bolas que quedan en
la urna son blancas. Si hubiéramos obtenido una bola blanca, la reducción de
incertidumbre es mucho menor: seguimos sin poder decir qué pasaría si hiciéramos
otra extracción sin reemplazamiento de la bola previamente extraída.
Así pues, tener una variable aleatoria implica no saber el resultado que vamos
a obtener, y esto implica no saber qué cantidad de información vamos a obtener
al realizar el experimento, porque cada posible resultado nos aporta una
cantidad de información diferente.
Esta simple idea nos sirve para definir a partir de una variable aleatoria otra
variable aleatoria derivada, que consiste precisamente en la cantidad de
información a obtener en el experimento. Definamos pues:
Dada una v.a. X, que toma valores {x1,x2,...,xn}
con probabilidades p1,p2,...,pn, que aportan
cantidades de información I1,I2,...,In,
llamamos variable aleatoria cantidad de información asociada a X a la
variable aleatoria I[X] , que toma valores I1,I2,...,In
con probabilidades p1,p2,...,pn.
En nuestro ejemplo, I[X] toma el valor 0.15 con probabilidad 0.9, y el valor
3.32 con probabilidad 0.1
Una propiedad importante de esta nueva variable aleatoria es que aunque deriva
de la X inicial, no tiene en cuenta para nada los valores numéricos que
esta X pueda adquirir: depende exclusivamente del reparto de
probabilidades entre sus respectivas posibilidades.
Llegados hasta aquí, y dado que I[X] no es sino una variable aleatoria, nada
nos impide preguntarnos por su valor esperado, o esperanza E[I[X]]; número que
denotaremos H[X]
H[X] = E[I[X]] = 0.15 · 0.9 + 3.32 · 0.1 = 0.135 + 0.332 = 0.467
Vemos que la contribución del suceso menos probable es mayor que la del más
probable, a pesar de que las cantidades de información deben estar
multiplicadas por su correspondiente probabilidad.
Convenimos que un suceso de probabilidad nula no tiene ninguna relevancia en
este cómputo. Es necesario este extremo porque el producto p(x)·log[P(x)] es
una indeterminación cuando p(x)=0.
Qué hemos conseguido con esta definición?
Tenemos un número real, H[X], que es el valor esperado de la cantidad de
información que obtendremos al obtener un resultado del experimento expresado
por dicha variable aleatoria.
Este valor se denomina Entropía de Shannon de la variable dada. Y es un
concepto de importancia capital en teoría de la información.
La expresión analítica de la entropía de
Shannon es la siguiente:
Continuará?... "Como decimos en euskera: “eta gero gerokoak” (expresión intraducible que indica que “dejemos para el futuro lo que pertenece al futuro” Jesús M. Landart
Ver Más !!!