Chaînes de Markov et matrices de transition

Une chaîne de Markov décrit un système dont l'état futur dépend de l'état présent par des probabilités de transition. Le graphe pondéré donne la lecture locale ; la matrice calcule l'évolution sur plusieurs étapes.

L'ordre des états, l'orientation des transitions et le choix d'une distribution ligne doivent rester cohérents. Une matrice correcte mais multipliée du mauvais côté conduit à un modèle différent.

Table des Matières

Passer du graphe à la matrice

Matrice de transition

Avec la convention des distributions lignes, $p_{ij}$ est la probabilité de passer de l'état i à l'état j. Chaque coefficient est positif ou nul et chaque ligne somme à 1.

La boucle d'un état représente la probabilité d'y rester. Lorsqu'une transition manque, son coefficient vaut zéro, mais il faut vérifier que la ligne reste probabiliste.

Faire évoluer une distribution

Une étape puis n étapes

Si $\pi_0$ est la distribution ligne initiale et P la matrice de transition, alors $\pi_1=\pi_0P$ et $\pi_n=\pi_0P^n$ .

Chaque coefficient de $P^n$ est une probabilité de transition en n étapes. La somme des coordonnées de $\pi_n$ doit rester égale à 1, ce qui fournit un contrôle immédiat.

Écrire une récurrence à deux états

Si $x_n$ est la probabilité d'être dans le premier état, l'autre vaut $1-x_n$ . Le produit matriciel donne souvent une relation affine $x_{n+1}=ax_n+b$ . On peut alors rechercher le point fixe et étudier la suite avec les outils de spécialité.

x_{n+1}=0{,}7x_n+0{,}2(1-x_n)=0{,}5x_n+0{,}2

Chercher une distribution invariante

Distribution invariante

Une distribution $\pi$ est invariante lorsqu'elle vérifie $\pi P=\pi$ et que ses coordonnées sont positives ou nulles, de somme 1.

Résoudre seulement l'équation matricielle peut produire une famille de vecteurs non normalisés. La condition de somme égale à 1 sélectionne la distribution probabiliste.

Exemple à deux états

Considérons $P=\begin{pmatrix}0{,}8&0{,}2\\0{,}3&0{,}7\end{pmatrix}$ . Si x est la probabilité du premier état, l'invariance impose $x=0{,}8x+0{,}3(1-x)$ . On trouve $x=0{,}6$ , donc la distribution invariante est $(0{,}6;0{,}4)$ . Le second coefficient ne doit pas être résolu indépendamment : il vient de la somme égale à 1. Un produit final par P confirme que la distribution reste inchangée.

Évolution d'une chaîne de Markov — La même matrice de transition est appliquée à chaque étape.

Interpréter une limite

Lorsqu'une distribution converge vers une distribution invariante, celle-ci décrit les proportions à long terme. L'invariance seule ne garantit pas toujours la convergence depuis tout état initial ; au niveau du programme, on justifie la limite dans les cas étudiés par la suite affine ou par un calcul explicite.

identifier les états et leur ordre
construire puis contrôler chaque ligne de P
calculer la distribution demandée
interpréter les coordonnées dans le contexte

Valider le modèle

Erreur fréquente : une colonne de somme 1 n'est pas le contrôle attendu avec la convention des distributions lignes.

Contrôle utile : calculer une étape directement avec l'arbre probabiliste et la comparer au produit matriciel.

Les graphes et matrices d'adjacence installent le calcul matriciel. Les suites aident à étudier certaines récurrences affines.

Les chaînes à deux ou trois états sont prévues par le programme officiel de mathématiques expertes en Terminale.