马尔可夫过程

什么是马尔可夫过程

1、马尔可夫性(无后效性)

过程或（系统）在时刻t₀所处的状态为已知的条件下，过程在时刻t %26gt; t₀所处状态的条件分布，与过程在时刻t₀以前年处的状态无关的特性称为马尔可夫性或无后效性。

即：过程“将来”的情形与“以往”的情形是无关的。

2、马尔可夫过程的定义

具有马尔可夫性的随机过程称为马尔可夫过程。

用分布函数表述马尔可夫过程：

设I：随机过程{X(t),tin T}的状态空间，假如对时间t的任意n个数值:

（注：X(t_n)在条件X(t_i) = x_i下的条件分布函数）

(注：X(t_n))在条件X(t_{n %26minus; 1}) = x_{n %26minus; 1}下的条件分布函数）

或写成：

这时说过程具马尔可夫性或无后性，并称此过程为马尔可夫过程。

3、马尔可夫链的定义

时间和状态均为离散的马尔可夫过程称为马尔可夫链, 简记为。

马尔可夫过程的几率分布

研究时间和状态均为离散的随机序列:,状态空间为

1、用分布律描述马尔可夫性

对任意的正整数n,r和，有：

PX_{m + n} = a_j | X_m = a_i，其中。

2、转移几率

称条件几率P_ij(m,m + n) = PX_{m + n} = a_j | X_m = a_i为马氏链在时刻m处在状态a_i条件下，在时刻m+n转移到状态a_j的转移几率。

表明：转移几率具胡特点：

。

由转移几率构成的矩阵称为马氏链的转移几率矩阵。它是随机矩阵。

3、稳定性

当转移几率P_ij(m,m + n)只与i,j及时间间距n相关时，称转移几率具有稳定性。同期也称些链是齐次的或时齐的。

此时，记P_ij(m,m + n) = P_ij(n),P_ij(n) = PX_{m + n} = a_j | X_m = a_i(注：称为马氏链的n步转移几率)

P(n) = (P_ij(n))为n步转移几率矩阵。

非凡的, 当 k=1 时,

一步转移几率：P_ij = P_ij(1) = PX_{m + 1} = a_j | X_m = a_i。

一步转移几率矩阵：P(1)

马尔可夫过程的应用举例

设任意陆续的两天中，雨天转晴天的几率为1/3，晴天转雨天的几率为1/2，任一天晴或雨是互为逆事件。以0表明晴天状态，以1表明雨天状态，X_n表明第n天状态（0或1）。试定出马氏链的一步转移几率矩阵。又已知5月1号为晴天，问5月3号为晴天，5月5号为雨天的几率各等于多少？

解：受于任一天晴或雨是互为逆事件且雨天转晴天的几率为1/3，晴天转雨天的几率为1/2，故一步转移几率和一步转移几率矩阵分别为：

故5月1号为晴天，5月3号为晴天的几率为：

又受于：

故5月1号为晴天，5月5号为雨天的几率为：P₀₁(4) = 0.5995