【Evidence-based Trustworthiness】

这篇文章还是蛮有意思的，当前的网络世界里面讯息纷杂，假消息更是层出不穷，如何找到值得信赖的信息呢？Factchecking就是一种方法以判断一个Claim是正确的或者是错误的，或者对于这个Claim给出一个所谓的信赖度，一个典型的Fact Checking的流程包含了Document Retrieval ， Sentence-Level Evidence Selection 以及 Textual Entailment这三个过程。但是在此之中缺少一个及其重要的步骤，那就是评估Source的Trustworthiness的程度。如果Source都是不值得信赖的，那么自然通过Source得出的结论也没有那么的可以相信。

之前也有很多的工作在研究如何去评判一个信息源的可信赖的程度。一般来说，给定一些不相容的Facts，比如说Source s asserts claim c，而研究者通过消除Conflicts寻找到正确的Claim并对于他们给出一个Trustworthiness.这样似乎真的行得通，但是很多的Source之中并不是直接就有Claims的，其中更像是存在着Evidence，希望读者从Source之中处理Evidence得到自己的Claims.

而对于人类，在给定一个Claims的时候，会去寻找不同的相关的Article以得到和这个Claims相关的Evidence，并且基于这些Evidence来判断Claims的正确与否。可是大多的工作现在仅仅是直接假设Source是直接给出Claims，而不是Source – Evidence –  Claims这条线。作者的创新点也正是在这，通过将Sources进行区分，而从不同的方向下手处理。

Trustworthiness Analysis

本文的目标很明确，就是通过考虑Claims和Evidences的区别之下评估Information Sources的Trustworthiness的程度。如果是直接的给出Claims的话，那么处理起来就还是蛮简单的，但是对于Indirect的Claims的情况下，就比较复杂了，因为还需要提取相关的Evidence之后再判断是正确与否。

作者的整体处理方法，可以看成是上图的架构。

Noise Assertions

现在我们已经给定了一组等待被验证的Claims以及一些Text Corpus其中蕴含了各种各样的Evidence.在给定了Claims Text的情况下，作者就开始在Corpus之中寻找相关的Evidence以支持其Claims,其输出的结果可以看成是一些叫做Noisy Assertions的东西，每一个Noisy Assertion都包含了一个Claim，在Corpus之中的一句话，还有一个Label，Claim就是我们现实世界里的输入。比如说Tom Brokaw wants Brian Williams fired就可以是一个Claim.而我们在Corpus之中寻找相关的Evidence以判断这个Claims是否正确，将这些包含了可能的Evidence的Sentence称为是Candidate Sentences。而之后使用一个已经训练好了的Textual Entailment Model以输出对于该Claim在当前的Evidence的情况下的结果，输出成为一个三元组的形式(Claim,Sentence,Label)这个三元组也就是一个Noise Assertion.

下面给定一些记号，Information Source $s\in S$，Claims $c\in C$,$m$是互斥的Claims的集合。而$w_{s,m}$和$w_{s,e}$以及$w_{e,m}$则是三个Binary Indicators. 分别告诉了我们$s$是否Assert关于$m$的Claims,$s$是否提供了Evidence $e$以及$e$是否支持$m$之中的Claims.而以$b_{s,c}$表示$s$Assert了$c$的概率，以$b_{s,e,c}$表示$s$之中的Evidence $e$Assert了$c$的概率。

基于上面的这些记号和想法，作者提出了一个新的模型叫做是JELTA。模型之中通过处理Joint Distribution的方法展示了Sources是如何生成Observations的.

将对于Claim $m$的裁定记作是一个Hidden Variable，记作是$y_{m}$,而对于每一个Source $s$都有一个特定的参数记作是$H_s$，一定程度上的反应了$s$表达了Truth的Trustworthiness。如果$s$Assert了一个真实的Claim$c = \hat{c}$,而这个概率记作是$H_s$。除了$H_s$之外，我们也需要另外一个和$s$相关的Factor，也就是Indirect的Assertion的概率，或者说是$s$说了Truth作为Evidence的概率，记作是$P_s$，代表了$s$Generating 了Evidence的Precision.需要注意的是，$P_s$和$H_s$的概率应该是不同的，因为提供Evidence评判Claims和直接给出Claims而言，两者的难度是不同的。但是由于他们都是反应了$s$的Trustworthiness，所以我们认为他们有相似的分布。

我们还可以将$P_s$进行进一步的分解成为$R_s$以及$Q_s$，其分别表达的是$s$产生evidence的True Positive以及False Positive的概率。如果将$\gamma$记作是Claim是正确的概率，那么

$$P_{s} = \frac{\gamma R_{s}}{\gamma R_{s} + (1+\gamma)Q_{s} }$$

这个式子应该也是通过数学变换转出来的，但是我用手尝试化简了一下，感觉化简的结果有点奇怪，这里存疑吧，大家如果有兴趣可以尝试自己也手动算一下。

如果Claims是正确的和错误的可能性相同的话，也就是说$\gamma \simeq \frac{1}{2}$的话，我们就可以得到下面的式子

$$H_s \sim P_{s} = \frac{R_{s}}{R_{s}+Q_{s}}$$

那么接下来就是要处理如何去计算Noisy Assertions之中的Label的概率了。如果$s$希望去Support某一个Claims的话，$s$首先会以概率$R_s$找到正确的evidence , 而这个的正确率的高低则是通过Textual Entailment 的正确率进行保证的。

在啃下硬骨头之前，我们提一嘴如何计算通过Source直接得到Claims的概率:由于$s$assert正确的Claims的$y_m$的概率是$H_s$,所以Assert错误的Claims的概率是$\frac{1-H_s}{|m|-1}$.因此Joint Distribution可以写成是

如果给定所有的Source的话，那么

上式之中的$X_d$表示了所有的Indirect的Assertions，而$Y$表示了所有的True Claims.

那么现在要做的就是处理Indirect的Assertion的问题了。在这里的Source并非是提供直接的Claims而是提供一些Evidence。所以在评估最后的Claims的概率还有一个重要的因素就是通过Textual Entailment寻找Evidence . 因此我们给出一个函数记作是$\phi_{w} (e,m,c) \in R^{1}$以计量Entailment的结果的可信度。$\phi_{w} (e,m,c) $可以看成是一个经过Sigmoid函数激活的单层神经网络。

其中的$z_i$是对于每一个$<e,m,c>$三元组的特定的Feature.$z$之中可以含有下面的这些Feature,比如说 :Entailment Score,Text Similarity , Entity Similarity.  对于每一个Observation$<s,e,m,c>$，其中的$s$以概率$R_s$生成True Evidence，并且以概率$\phi_{w} (e,m,c)$找到可以支持$c$的Evidence$e$.这两个过程可以看成是独立的，所以说得到真正的$c = y_m$的概率是$R_s \times \phi_{w} (e,m,c)$，而找不到的概率自然就是$\frac{1}{N}(1 – R_s \times \phi_{w} (e,m,c) )$.所以最后的联合概率自然可以写成是

而如果是对于整个数据集来说，其概率可以写成是

现在处理完了Direct的Assertion还有Indirect的Assertion，现在我们要做的就是将这两者组合成为一个目标再进行优化和学习

在之前我们有一个假设$H_s$和$P_s$是相同的，但是这个假设可能是存在一些问题的，所以计算完他们的KL散度之后，我们将其纳入优化的框架之中一起优化。

Comments

这篇文章读的有点囫囵吞枣吧，很多的点还是有一些迷迷糊糊的，只是大概的知道了模型的运作的流程，作者先是分析了两种处理的方法(即Direct，由Source直接得到Claims，还有Indirect，由Source提供Evidence然后得到Claims)的特点，然后对于这两种处理的方法使用同一个框架进行处理，得到了两个类似但是不同的目标函数，然后再将其融合进入同一个公式之中进行处理。这篇文章之中还是非常吃数学功底的，里面的各类参数还是非常多的，大家如果希望对于这个领域进行深入研究的话，还是建议好好的阅读并且手推一遍主要的公式，自己由于暂时没有这方面的研究的兴趣，所以也就没有手推了(坏习惯不要学).

Reference

Evidence-based Trustworthiness