Cadenas de Markov teoria

Introducción

Un proceso o sucesión de eventos que se desarrolla en el tiempo en el cual el resultado en cualquier etapa contiene algún elemento que depende del azar se denomina proceso aleatorio o proceso estocástico. Por ejemplo, la sucesión podría ser las condiciones del tiempo en Paraná en una serie de días consecutivos: el tiempo cambia día a día de una manera que en apariencia es algo aleatoria. O bien, la sucesión podría consistir en los precios de las acciones que cotizan en la bolsa en donde otra vez interviene cierto grado de aleatoriedad.

Un ejemplo simple de un proceso estocástico es una sucesión de ensayos de Bernoulli, por ejemplo, una sucesión de lanzamientos de una moneda. En este caso, el resultado en cualquier etapa es independiente de todos los resultados previos (esta condición de  independencia es parte de la definición de los ensayos de Bernoulli). Sin embargo, en la mayoría de los procesos estocásticos, cada resultado depende de lo que sucedió en etapas anteriores del proceso. Por ejemplo, el tiempo en un día determinado no es aleatorio por completo sino que es afectado en cierto grado por el tiempo de días previos. El precio de una acción al cierre de cualquier día depende en cierta medida del comportamiento de la bolsa en días previos.

El caso más simple de un proceso estocástico en que los resultados dependen de otros, ocurre cuando el resultado en cada etapa sólo depende del resultado de la etapa anterior y no de cualquiera de los resultados previos. Tal proceso se denomina proceso de Markov o cadena de Markov (una cadena de eventos, cada evento ligado al precedente) Estas cadenas reciben su nombre del matemático ruso Andrei Andreevitch Markov (1856-1922). Como mencionamos antes, estas cadenas tiene memoria, recuerdan el último evento y eso condiciona las posibilidades de los eventos futuros. Esto justamente las distingue de una serie de eventos independientes como el hecho de tirar una moneda. Este tipo de proceso presenta una forma de dependencia simple, pero muy útil en muchos modelos, entre las variables aleatorias que forman un proceso estocástico. Se utilizan, por ejemplo, para analizar patrones de compra de deudores morosos, para planear necesidades de personal, para analizar el reemplazo de un equipo, entre otros.

Matriz de transición

Al trabajar con cadenas de Markov, a menudo es útil pensar la sucesión de ensayos como experimentos efectuados en cierto sistema físico, cada resultado dejando a este sistema en cierto estado. Por ejemplo, consideremos una sucesión de elecciones políticas en cierto país: el

sistema podría tomarse como el país mismo y cada elección lo dejaría en cierto estado, es decir en el control del partido ganador. Si sólo hay dos partidos políticos fuertes, llamados A y B, los que por lo regular controlan el gobierno, entonces podemos decir que el país se encuentra en el estado A o B si el partido A o B ganara la elección. Cada ensayo (o sea cada elección), coloca al país en uno de los dos estados A o B. Una sucesión de 10 elecciones podría producir resultados tales como los siguientes:

A, B, A, A, B, B, B, A, B, B

La primera elección en la sucesión deja en el poder al partido A, la segunda fue ganada

por el partido B, y así sucesivamente, hasta que la décima elección la gane el partido B.

Supongamos que las probabilidades de que el partido A o B ganen la próxima elección son determinadas por completo por el partido que está en el poder ahora. Por ejemplo podríamos tener las probabilidades siguientes:

• Si el partido A está en el poder, existe una probabilidad de ¼ que el partido A ganará la próxima elección y una probabilidad de ¾ de que el partido B gane la elección siguiente.

• Si el partido B está en el poder, hay una probabilidad de 1/3 de que el partido A gane la elección siguiente y una probabilidad de 2/3 que el partido B permanezca en el poder.

En tal caso, la sucesión de elecciones forman una cadena de Markov, dado que las probabilidades de los dos resultados de cada elección están determinadas por el  resultado de la elección precedente.  Lo descrito anteriormente puede representarse gráficamente usando la siguiente red: