harto ocio y otras cosas

Algunas pocas cosas

Entropía de un proceso de markov

12 junio, 2015 | Tésis

Este escrito es un resumen del siguiente documento:

Explicación de proceso de markov: http://fhernandez.cl/post/cadenademarkov/

Resumen

Para un proceso de markov se puede escribir su matriz de probabilidad de transiciones $M$, donde $M_{ij} = P[X_{n+1} = i|X_n = j]$. La distribución en el tiempo $t+1$ está dada por 

$p(t+1)=Mp(t)$

Si se tiene una distribución de probabilidades que no cambia en el tiempo, se cumple que 

$p(t+1) = Mp(t) = p(t)$

Esto es lo que se conoce como distribución estacionaria. Si el estado inicial de un proceso de Markov es una distribución estacionaria, entonces el proceso de Markov es un proceso estacionario.

Def 1: La entropía $H(\mathcal{X})$ de un proceso estocástico $\mathcal{X}$ es definida como el límite donde existe

$H(\mathcal{X}) = lim_{n\rightarrow \inf} \frac{1}{n}H(X_1,X_2, \dots, X_n)$

Def 2: El limite condicional de la entropia $H(\mathcal{X})$ de un proceso estcástico $\mathcal{X}$  es definido como el límite donde existe 

$H'(\mathcal{X}) = lim_{n\rightarrow \inf} \frac{1}{n}H(X_n,X_{n-1}, X_{n-2}, \dots, X_1)$

Teorema : Para un proceso estocástico estacionario, ambos límites existen y son iguales $H(\mathcal{X}) = H'(\mathcal{X})$

Según lo anterior se cumple que 

$H(\mathcal{X}) = H'(\mathcal{X}) = lim_{n\rightarrow \inf} \frac{1}{n}H(X_n,X_{n-1}, X_{n-2}, \dots, X_1)$

y por definición de un proceso de Markov se conmoce que el valor $X_i$ depende solo del valor $X_{i-1}$. En consecuencia se tiene

$lim_{n\rightarrow \inf} \frac{1}{n}H(X_n,X_{n-1}, X_{n-2}, \dots, X_1) = lim_{n\rightarrow \inf} H(X_n|X_{n-1}) = H(X_2| X_1)$

donde la úñtima igualdad se obtiene por la estacionalidad del proceso. Luego, para proceso de Markok $M$ con distribución estacionaria $\mu$

$H(\mathcal{X}) = H(X_2| X_1) = −\sum_{ij}\mu_jM_{ij}log M_{ij}$

En otras palabras esto es la entropía promediodel siguiente movimiento de $j \rightarrow i$ al salir de cada estado $j$, con la media ponderada por la probabilidad estacionaria de estar en el estado $j$.

    Comentarios

    comments powered by Disqus