Clasificación de Estados en Cadenas de Markov

Las Cadenas de Markov son modelos matemáticos fundamentales para estudiar procesos aleatorios con “memoria limitada”, donde el futuro del sistema depende únicamente de su estado actual. Una de las características clave de estos modelos es la estructura de sus estados y cómo se clasifican según su comportamiento a largo plazo.

En este artículo, aprenderás a identificar y clasificar los diferentes tipos de estados en una Cadena de Markov, ilustrando los conceptos con analogías claras y ejemplos prácticos.

Introducción a las Cadenas de Markov

Las Cadenas de Markov son como un juego de mesa. Imagina el Turista, donde cada casilla representa un estado. Al lanzar los dados, te mueves de una casilla a otra con cierta probabilidad. Lo interesante es que cada casilla tiene sus propias reglas y comportamientos.

Conceptos fundamentales para clasificar estados

Antes de adentrarnos en los tipos de estados, es importante comprender algunos conceptos fundamentales:

1. Comunicación entre estados: Dos estados se comunican si es posible moverse de uno a otro en un número finito de pasos.

2. Accesibilidad: Un estado j es accesible desde un estado i si existe una probabilidad positiva de pasar de i a j en un número finito de pasos.

3. Clase de comunicación: Un conjunto de estados entre los cuales todos se comunican entre sí.

4. Irreducibilidad: Una cadena es irreducible si todos los estados pertenecen a una única clase de comunicación.

5. Periodo: El máximo común divisor de los números de pasos posibles para volver al mismo estado.

Tipos de estados en Cadenas de Markov

Estado Transitorio

Un estado se denomina transitorio si, una vez abandonado, existe una probabilidad positiva de nunca regresar a él. Matemáticamente, el estado i es transitorio si y solo si existe un estado j (j≠i) que es accesible desde i, pero i no es accesible desde j.

Como consecuencia, un estado transitorio solo puede ser visitado un número finito de veces durante todo el proceso.

En términos de nuestro juego de mesa, una casilla transitoria es aquella que, una vez dejada atrás, nunca podrás volver a visitar. Es como una casilla de “avance al siguiente nivel” en un videojuego; una vez que la superas, no hay camino de regreso.

Estado Recurrente

Un estado es recurrente si, partiendo de él, el proceso volverá a él con probabilidad 1. Por definición, un estado es recurrente si y solo si no es transitorio. Los estados recurrentes pueden ser visitados infinitas veces a lo largo del proceso.

En nuestro juego de mesa, una casilla recurrente es aquella a la que eventualmente regresarás, sin importar cuánto te muevas. Es como la casilla de inicio en el Turista; siempre terminarás pasando por ella una y otra vez.

Estado Absorbente

Un caso especial de estado recurrente es el estado absorbente. Un estado es absorbente si, una vez que el proceso entra en él, permanece allí para siempre. Matemáticamente, el estado i es absorbente si y solo si su probabilidad de transición a sí mismo es 1 (p_ii = 1).

En nuestro juego, una casilla absorbente es como un agujero negro: una vez que caes en ella, el juego termina. No hay forma de salir.

Ejemplo práctico: Identificación de estados

Para ilustrar mejor estos conceptos, veamos un ejemplo práctico con un diagrama de transición y analicemos los diferentes tipos de estados:

Referencias

Toda la información y ejemplos de este artículo se basan en el libro:

• Hillier, F. S., & Lieberman, G. J. (2015). Introducción a la Investigación de Operaciones (10ª ed.). McGraw Hill, Cap. 16.
• Ross, S. M. (2019). Introduction to Probability Models (12ª ed.). Academic Press.
• Norris, J. R. (1998). Markov Chains. Cambridge University Press.