【Poincaré Embeddings for Learning Hierarchical Representations】
Embedding的方法虽然在很多的应用上面都获得了成功，但是还是有他的本身的Limitation，也就是其对于Complex的Pattern受限于维度无法直观的被人类所感知，这点是由于欧几里得空间的固有限制，所以在本文之中作者选择丢弃欧几里得空间，转战Hyperbolic空间，双曲空间也是一个空间，不同于欧几里得空间之内的曲率是0，他的曲率是一个常数，有点抽象，比如说在一张白纸上，我们计算两个点之间的距离，这时候我们直接使用欧几里得距离就可以了，但是如果是对于地球而言，在地球上计算两个点的距离，就无法使用欧几里得距离， 而是利用其他的距离来帮助我们衡量。
而在世界上，层次机构(Hierarchical Structure)或者说是树状结构(Tree Structure)是广泛存在的，如果将网络之中的节点投射到Hyperbolic空间之中，可以看看他的结果是什么样的
那么一棵树如果投射到Hyperbolic空间之中就会形成上面的这样一个漂亮的圆。有人说，这样的图在普通的网络之中不是也可以画出来吗？
比如说上图这样的图也可以表达一定的网络的结构，但是Hyperbolic还有一点就是他的Capacity是比欧几里得空间要大的，
左边的那张图在欧几里得空间下显得密密麻麻，但是在Hyperbolic空间下就显得稀疏，这是因为在右边的图形之中，在边缘上的表达能力是呈指数级别的优于内部的表达能力的，所以说在表达结构信息的角度，Hyperbolic空间可以容纳更多的更复杂的Pattern。
而为了在双曲空间之中寻找距离，则需要合适的模型去表达，在文中使用的就是Poincare Ball Model.
Approach
假设$B^{d} = \{x\in R^{d} |||x||<1 \}$，这是一个$n$维度的单位球。而Poincare Ball Model则对应一个Riemannian manifold $(B^d , g_{x})$
而在$B^{d}$之中的两个点$u,v$之间的距离则是
$$d(u,v) = arcosh(1+2\frac{||u-v||^2}{(1-||u||^2)(1-||v||^2)})$$
随着之中的$u,v$越来越趋近于1，也就是说其越接近于圆的边缘，里面的距离是可以呈指数级增加的，从而也就从数学层面上解释了在边缘的容量会更大。
那么对于其模型来说，假设$D = \{(u,v)\}$表示在他们两个之间存在着Hypernymy的关系，什么叫做是Hypernymy呢？可以看成是可以相互替代的同Level的关系，大概的意思参照共现矩阵。基于$D$我们可以以下面的函数作为损失函数进行训练
$$L(\theta) = \sum_{(u,v) \in D} \log \frac{e^{-d(u,v)}}{\sum_{v’\in N(u)}e^{-d(u,v’)}}$$
其中的$N(u)$是负采样的样本，在本实验之中对于每一个正样本选择了10个对应的负样本。而通过Embedding之后如果在网络之中画出他们在双曲空间之中所对应的点如
所示。
在之后，其使用了Poincare Embedding来在网络之中做Link Prediction，通过在双曲空间之中的点的坐标$u,v$来丢进一个概率函数之中进行判断
$$P((u,v) = 1 | \theta) = \frac{1}{e^{(d(u,v) – r)/t} +1}$$
其中的$r,t$都是超参数，其中的$r$对应着在一个点的周围多近才可能被判断为是存在着一条边的，而其中的$t$则代表了这个Logistics函数有多陡峭，如果越陡峭，也就越容易形成一条边。
然后他们的工作的结果确实是太牛了
如果对比低维度的欧几里得空间，他们所得到的提升就基本上是翻倍的提升。
Comments
这篇论文看的自己欲仙欲死吧，里面的涉及的领域已经完全超出自己的知识盲区了，各种补资料的来对比着看(然后看着看着又走神了，或者点进了其他的链接里面恍惚半小时过去了，太真实了)，这篇论文也不敢说完全看懂了吧，不过对于这里的一些概念确实是有了基础性的认识，在后面如果有需要应该也可以很快的补上吧。
这里突然就想补一下自己学东西的逻辑，基本上是把领域或者是感兴趣的东西，大概的了解一下，知道有哪些方向，碰见什么问题可以去知道怎么快速下手，但是对于细节的东西不是那么的专注，这样的性格可能并不适合做研究，毕竟大众眼中(包括我)眼中的科学家都是专注一个子领域的，而自己就无法胜任这样的工作，只是Hang Around in the Science World,不过这样的话，其实在广度上就可能会更加广一些，也可以吸收更多的领域的知识，大多数的普通人都只能在两者之间取舍吧，自己也不过是更倾向于广度而已。
Reference
Poincaré Embeddings for Learning Hierarchical Representations
Comments
Leave a Comment