贝叶斯网络(二)————BDeu分数

上一篇中,最后所得到的式

\[P(\mathfrak{B}_S,\mathbb{D})=P(\mathfrak{B}_S)\prod\limits_{i=1}^n \prod\limits_{j=1}^{q_i} \frac{\Gamma(r_i)}{\Gamma(N_{ij} +r_i)} \prod\limits_{k=1}^{r_i} N_{ijk}!\]

实际上是K2分数。 而K2分数实际上是贝叶斯迪利克雷分数的特殊形式。 特殊在其假设密度函数为均匀分布:\(f(\theta_{ij1},\ldots,\theta_{ijr_i})=C_{ij}\)。 一般地,假设该密度函数并不是均匀的,而是服从迪利克雷分布:

\[f(\theta_{ij1},\ldots,\theta_{ijr_i})=\frac{(N_{ij}'+r_i-1)!}{\prod\limits_{k=1}^{r_i}N_{ijk}'!}\theta_{ij1}^{N_{ij1}'}\ldots\theta_{ijr_i}^{N_{ijr_i}'}\]

2014年3月23日添加: 标准的迪利克雷分布公式为: \(f(x_1,\ldots,x_{K-1};\alpha_1,\ldots,\alpha_K)= \frac{\Gamma\left(\sum_{i=1}^K\alpha_i\right)}{\prod_{i=1}^K\Gamma(\alpha_i)}\prod\limits_{i=1}^{K} x_i^{\alpha_i-1}\) 故密度函数中实际上表示变量\(\theta_{ijk}\)出现次数为\(N_{ijk}'+1\)。

采用与K2分数同样的计算方法可得到贝叶斯迪利克雷分数BDe:

\[P(\mathfrak{B}_S,\mathbb{D})=P(\mathfrak{B}_S)\prod\limits_{i=1}^n \prod\limits_{j=1}^{q_i} \frac{(N_{ij}'+r_i-1)!}{(N_{ij}+N_{ij}'+r_i-1)!}\prod\limits_{k=1}^{r_i}\frac{(N_{ijk}+N_{ijk}')!}{N_{ijk}'!}\]

根据贝叶斯网络的马尔可夫性质,两个马尔可夫等价的贝叶斯网络应该具有相同的分数。这样引入样本大小先验值\(\alpha\),这样\(x_i\)在父状态\(\pi_j\)下的先验值,也即\(N_{ij}'\)满足:\(N_{ij}'+r_i=\frac{\alpha}{q_i}\)。并且,认为每个变量取各个值的概率均等,都为\(\frac{1}{r_i}\)。带入BDe分数即可得到BDeu分数:

\[P(\mathfrak{B}_S,\mathbb{D})=P(\mathfrak{B}_S)\prod\limits_{i=1}^n \prod\limits_{j=1}^{q_i} \frac{\Gamma(\frac{\alpha}{q_i})}{\Gamma(\frac{\alpha}{q_i}+N_{ij})} \prod\limits_{k=1}^{r_i} \frac{\Gamma(\frac{\alpha}{r_iq_i} + N_{ijk})}{\Gamma(\frac{\alpha}{r_iq_i})}\]

BDeu分数中的\(\alpha\)的定义是根据密度\(f\)而来,密度\(f(\theta_{ij1},\ldots,\theta_{ijr_i})\)的含义表示当前节点\(i\)在已知数据中,在已知条件下(父状态\(\pi_i\))各个数值出现的概率。 该节点取各个数值的概率合为\(1\)(如同硬币,或者是正面或者是反面),恰好是多项分布(如果是硬币就是二项分布)。 此时,不知道数据\(\mathbb{D}\)中具体出现了多少次状态\(\pi_i\),所以要引入共轭先验分布(迪利克雷分布),从而引入额外的参数\(N_{ijk}, k=1,\ldots, r_i\)来表示分布之上的分布。 有的的文献为了方便常常把迪利克雷分布写成伽马函数,参数写成减一的形式,相当于\(N_{ijk}'+1=N_{ijk}''\)。

BDeu假设数据\(\mathbb{D}\)是完整的,即含有各种状态,涵盖各个变量。 具有相同的马尔可夫性质的网络应该具有相同的分数。 例如\(A -> B\)与\(B -> A\)这样的网络应该具备相同的贝叶斯分数。 举个例子(找个简单直观的例子怎么这么难!!! 似乎没有人愿意用简单的例子来讲道理……):

表格

假设上面的表个是数据\(\mathbb{D}\)中的关于A和B变量的所有状态。 在节点\(B\)的某一父状态\(A=1\)下,相应的迪利克雷分布的参数\(N_{Bj}''=5\),也即是上面表格中阴影部分的实例个数。 表格中白色背景和灰色背景所对应的状态是一致的,所以马尔可夫相等的样本大小\(\alpha=10\),也即是表格中白色背景和灰色背景之和。 相应地,节点\(B\)的父状态为2(\(A\)有两个取值)。 从这个表格可以直观得到BDeu所提出的等式\(N_{ij}'+r_i=\frac{\alpha}{q_i}\)。

石见 石页 /
在共享协议(CC)下发布于
类别: technology 
标签: 迪利克雷分布  dirichlet distribution  贝叶斯网络  模型选择  机器学习  bdeu  中