一：马尔可夫过程在实际中的应用

Markov过程是在理论上和实际应用中都 十分重要的一类随机过程，它是由苏联 数学家A.A. Markov(1856-1922)首次提 出并进行研究。至今已形成内容丰富、 理论完整、应用广泛的一门数学分支。 特别地， Markov过程在工程系统中的噪 声和信号分析、通信网络的模拟、统计 物理学、生物学、数字计算方法、经济 管理和市场预测等领域中都有十分重要 的作用和广泛的应用，它在人工智能和 在人工神经网络中也有重要的应用。

本人正是读了工信出版社的深度浅出强化学习才打算写一篇关于马尔可夫过程的博文。

一：马尔可夫过程的分类

     马尔可夫过程按其状态和时间可参数是连续,离散分为三类:

     (1): 时间，状态都是离散的马尔可夫过程，称马尔可夫链

     (2): 时间连续，状态离散的马尔可夫过程，称为连续的马尔可夫过程

     (3):时间，状态都是连续的马尔可夫过程

二：马尔可夫链的定义

 

 

 

时间和状态都是离散的马尔可夫过程称为马尔可夫链。

通过上面的数学推导可见，马尔可夫链的马尔可夫性可以表示为：

              P{Xn+1 =in+1 | Xn = in }

也就是说当前状态只与前一个状态有关，与其他状态无关。

 

三： 转移概率

      条件概率P{Xn+1 = j |  Xn = i } 的直观含义为系统在时刻n处于状态i的条件下，在时刻n+1下处于状态J的概率。 记条件概率Pij(n)

 

  

 

我们一般讨论的马尔可夫链都是齐次的马尔可夫链。