Overview Of PGM

Overview

概率图模型(Probability Graph Model)是经典的机器学习的内容，在融入先验知识(Prior Knowledge ), 处理因果推断(Casual Inference), 可解释性(Interpretability) 等方面相比于深度学习会有更明显的优势。而最近的图神经网络(GNN)的走红，也证明了图这样的一个概念的存在依旧是很重要的，我个人相信在未来也会有更加长远的发展。

那么我们先简单的介绍一下其中的内容

Why Named Graph

为什么称其为概率图模型呢？很简单，模型的两个重要的组件分别是：概率 与 图 ，其模型可以看成是概率在相互连接的图之间的传播(The Probability Flow Through the Graph.)

以其中的经典的模型举例，第一类叫做贝叶斯网络(Bayesian Network),其图之间的连接方式是有向无环(Directed Acyclic Graph, DAG)的 ，如下图所示

可以看见节点两两之间都是 以有向线段连接并且不存在环状结构。

而马尔科夫网络(Markov Network)就是一种可以生成环状结构的网络

可以发现，其中的各个节点之间会生成环状的结构。并且不存在有向(Directed)的概念，两两之间并非是由箭头连接，而是简单的用线段连接。

而是线段或者是箭头的差别就代表了信息流(Information Flow)或者概率流(Probability Flow)是仅仅单向或者是可以双向的流动。

使用图模型进行表达的优点是毫无疑问的，可以更加直观的看出属性之间的关系，对于模型整体表达的含义也会更加明确，并且合理的使用假设，可以显著的降低模型的复杂度, 获得更加稀疏的参数 (Sparse Parameterization).

Factors

在概率图之中的一个重要的基石是:Factor,具体的翻译我也不大清楚，在后文也是使用Factor来表示，所谓的Factor可以看成是一个函数(Function):

$$\phi(X_1,\cdots,X_k) $$

而$\phi$的作用就是将它所作用的参数$(X_1,\cdots,X_k)$映射到实数范围之内.

Factor和概率有本质的不同，但是不能忽视的，他们具有很多的相似的性质，比如说Factor作用于独立的变量的结果相乘可以得到两个变量同时出现的时候的结果，也就是

$$\phi(X) \phi(Y) = \phi(X,Y) $$

如果还是暂时无法理解的话，可以简单的理解就是Factor是一种可以大于一，可以小于零的概率。或者是一种未归一化的概率(Unnormalized Probability)