harto ocio y otras cosas

Algunas pocas cosas

Proceso de Markov

12 junio, 2015 | Tésis

Este extracto fue obtenido desde estos documents, en la practica es una acumulación de definiciones sin ejemplos:

Resumen

Proceso estocástico

Una sucesión de observaciones $X_1, X_2, \dots $ se denomina proceso estocástico si

$X_1$ : variable aleatoria que define el estado inicial del proceso.

$X_n$: variable aleatoria que define el estado del proceso en el instante de tiempo $n$.

Para cada posible valor del estado inicial $s_1$ y para cada uno de los sucesivos valores $s_n$ de los estados $X_n, n = 2, 3, \dots$ especificamos:

$P(X_{n+1} = s_{n+1} | X_1 = s_1, X_2 = s_2, \dots, X_n = s_n)$

Se dice que el proceso es de parámetro discreto si las observaciones se realizan en puntos discretos a lo largo del tiempo (ej: cada 1 minuto).

Proceso estocástico estacionario

Un proceso estocástico $\mathcal{X}$ es estacionario si las distribuciones conjuntas no cambian en el tiepo, es decir

$P(X_1=x_1, \dots, X_n=x_n) = P(X_{1+r}=x_1,\dots,X_{n+r}=x_n)$

para todo $r$,$n$ y todo $x_1, \dots, x_n \in \mathcal{X}$

Proceso de Markov

Es un proceso estocástico en el que si el estado actual $X_n$ (valor que toma la v.a.) y los estados previos $X_1, \dots, X_n$ son conocidos, entonces la probabilidad del estado futuro $X_{n+1}$:

es decir, para $n=1,2, \dots$ y para cualquier sucesión de estados $s_1, \dots, s_{n+1}$

$P(X_{n+1} = s_{n+1} | X_1 = s_1, X_2 = s_2, \dots, X_n = s_n) = P(X_{n+1}=s_{n+1}| X_n = s_n) $

Finito

Se dice que un proceso de Markov es finito si existe un número finito de $k$ de estados posibles $s_1, \dots, s_k$ y en cualquier instante de tiempo la proceso se encuentra en uno de estos $k$ estados.

Probabilidad de transición

Es la probabilidad condicionada $P(X_{n+1} = s_j | X_n = s_i)$

Probabilidad de transición estacionaria

Un proceso de Markov tiene probabilidades de transición estacionarias si para cualquier par de estados $s_i$ y $s_j$ existe una probabilidad de transición $p_{ij}$ tal que $P(X_{n+1} = s_j | X_n = s_i) = p_{ij}$ para $n = 1, 2, \dots$

Matriz de transición

Matriz estocástica: Matriz cuadrada tal que sus elementos son no negativos y la suma de sus filas es igual a $1$.

Matriz de probabilidades de transición en un solo paso

Dado un proceso de markov con k estados posibles $s_1, \dots, s_k$ y probabilidades de transición estacionarias.

$P(X_{n+1} = s_j | X_n = s_i) \Rightarrow  P = \begin{pmatrix} p_{11} & \dots & p_{1k} \\ p_{21} & \dots & p_{2k} \\ \vdots &  & \vdots \\ p_{k1} & \dots & p_{kk} \end{pmatrix}$

La matriz de transición P de cualquier proceso de Markov finito con probabilidades de transición estacionarias es una matriz estocástica.

Matriz de probabilidades de transición en varios pasos

Dado un proceso de Markov con $k$ posibles estados $s_1, \dots,s_k$ y matriz de transición $P$. Consideramos la siguiente notación $p^{(m)}_{ij}= P(X_{n+2} = s_j |X_n = s_i)$ donde:

$P^m$ es la matriz de transiciones de la proceso en $m$ pasos, luego $p^{(m)}_{ij}$  corresponde a la probabilidad de moverse del estado $s_i$ al estado $s_j$ en $m$ pasos.

Vector de probabilidades iniciales

vector de probabilidades

$w = (w_1,\dots,w_k)$ se llama vector de probabilidades si:

 Si se considera el siguiente proceso de markov:

El vector de probabilidades $v = (v_1,\dots,v_k)$ se llama vector de probabilidades iniciales de la proceso.

El vector de probabilidades iniciales y la matriz de transición determinan la probabilidad para el estado del proceso en el segundo instante de tiempo, dicha probabilidad viene dada por el vector $vP$. Además, si las probabilidades de los diversos estados en el instante $n$ se especifican por el vector de probabilidades $w$, entonces las probabilidades en el instante $n + 1$ se especifican por el vector de  probabilidades $wP$.

Proceso de Markov estacionario

Una distribución estacionaria para los estados de una cadena de Markov es una distribución que se mantiene en el tiempo. Si $\pi$ es una distribución estacionaria, entonces debe cumplirse

$\pi = \pi \times P$

Si el estado inicial se elige con distribución estacionaria, el proceso de Markov resulta estacionario.

Proceso de Markov irreducible

Una cadena de MArkov es irreducible si es posible llegar a cualquier estado desde cualquier estado en una cantidad finita de pasos. Es decir, para todo $i,j$ existe $k$ tal que se verifica 

$P(X_{n+k}=j | X_n = i) > 0$

Proceso de Markov aperiódico

Una cadena de Markov es aperiódica si para cada estado $i$ existe una constante $M_i$ tal que, para todo $n > M_i$, existe una trayectoria de probabilidad positiva que conduce de $i$ a $i$ en $n$ pasos.

Distribución Límite de un Proceso de Markov

Una cadena de Markov irreducible y aperiódica tiene una única distribución estacionaria que aparece como distribución límite cualquiera sea la distribución del estado inicial. Es decir

$lim_{n\rightarrow \infty} p^{(0)}\times P^n = \pi$,  para cualquier $p^{(0)}$,

donde $\pi$ es la única distribución estacionaria del proceso y puede encontrarse
resolviendo el sistema de ecuaciones dado por

$\pi \times (I-P) = 0$,

$\sum \pi_i = 1$.

 

 

 

Comentarios

comments powered by Disqus