Markov chains

Description

Objectifs

Time-homogenous Markov chain over discrete state space, classification of states, stationary measure, reversible Markov chain, convergence to stationary distribution, ergodic theorem. 

Markov chains:  
The description of a Markovian model to its formalization by a Markov chain 
develop a analysis of Markov chains (description of its communication classes, conclusion on the existence of a stationary distribution and on the convergence of the chain distribution)  

Pré-requis

Basic notions in discrete probability theory

Évaluation

L’évaluation des acquis d’apprentissage est réalisée en continu tout le long du semestre. En fonction des enseignements, elle peut prendre différentes formes : examen écrit, oral, compte-rendu, rapport écrit, évaluation par les pairs…