刘铁岩团队ICML论文提出机器学习的新范式：对偶监督学习

本篇文章2834字，读完约7分钟

雷锋。(公开号码:雷锋。微软亚洲研究院(msra)的刘铁燕团队最近在arxiv上上传了一篇题为“双重监督学习”的论文。据了解，这份文件已被将于今年8月举行的国际海事协商会议接受。研究表明，双监督学习的机器学习范式可以在机器双语翻译、图像分类与生成、情感分析与分析三个任务上显著改进原模型。

另一方面，去年，微软亚洲研究院发表了一篇名为《机器翻译的双重学习》的论文，作者是雷锋。com还邀请了该论文的作者之一秦涛博士详细分享(微软亚洲研究院秦涛:对称美的双重学习，秦涛博士也是今年新论文的作者之一)。

秦涛博士拜访了雷锋。创建一个开放类。那么，今年nips2016论文的“双重学习”和icml2017论文的“双重监督学习”有什么相同点和不同点？对于没有接触过双重学习的读者来说，双重学习是一种什么样的范式？在这篇文章中，雷科技评论将首先介绍和回顾双重监督学习，然后解释双重监督学习的新特点。

nips2016论文“双重学习”中引入的新范式

在人工智能开发面临的数据、时间、解释和协作等诸多挑战中，双重学习主要是为了解决依赖大量数据的问题。与利用数据相似性的标签传播、多任务学习和迁移学习相比，双重学习利用了人工智能任务中自然出现的对称性。例如:

机器翻译具有英汉翻译和汉英翻译的对称性；

语音处理需要语音到文本(语音识别)和文本转换到语音(语音合成)；

图像理解、图像字幕和图像生成是一个对称的过程。

对话任务、问题回答和问题生成；

搜索引擎、查询-文档匹配和查询/关键词建议服务

如上所述，这些任务在过去已经被独立训练过，并且它们只能通过使用大量的标记数据来训练。然后，如果一个英语句子被翻译成英语，然后从汉语翻译成英语，这是非常相似的原始句子，可以认为两个译者“英汉”和“汉英”表现良好；所用的句子也可以是无标记的。

nips2016双重学习论文的模型图显示为双重学习的模型图。主任务F将无标记英语句子X翻译成汉语Y，双任务G将汉语Y翻译回汉语X。该模型从过程中得到两个反馈，其中一部分来自理解汉语的中介，并评估汉语Y的翻译质量；另一个反馈来自说英语的代理。比较X和X以获得反馈。这样，在一个过程完成后，模型可以得到完整的反馈。

通过对nips2016双重学习论文的策略梯度图的反馈，强化学习的一些方法可以直接用于训练和更新模型F和G。本文使用的方法是策略梯度，它可以找到主任务F和双重任务G之间的梯度，增加良好行为的概率，减少不良行为的概率。

另一方面，它是一种无监督的学习方法，因为只有一个输入，并且两个代理生成它们自己的反馈，所以不需要将翻译结果与对应于输入的标签进行比较。

双重学习的效果是什么？在使用1200万个双语标注句子的英法翻译实验中，与2016年效果最好的基于深层神经网络的神经机器翻译算法相比，双重学习只需要10%的双语数据，就可以用所有数据达到nmt训练的准确率。训练所需的数据量可以减少90%，达到了预期的效果。

根据秦涛博士的观点，双重学习的问题在于很难冷启动，也就是说，在能够使用双重学习进行联合反馈训练之前，主任务和双重任务的两个代理应该首先被训练，否则，模型将非常缓慢地收敛。

Icml2017新论文——双重监督学习

既然上述无监督的双重学习有这么好的结果，它应该如何应用于监督学习？

以翻译为例，在监督学习中，当你知道主任务F应该被正确翻译为Y时，你可以用最大似然准则更新F，这样Y的概率越大越好。

对于双重监督学习，主任务F和双重任务G都必须有正确的翻译Y和X，这样才有联合概率p( x，Y)。如果F和G的更新是同步的，则F和G可以分别计算联合概率，但是如果F和G根据监督学习分别训练，则分别计算的联合概率不能保证相同。

为了解决这个问题，在双重监督学习中加入了正则化项。

icml2017双监督学习试卷模型示意图。这个正则化项的意义是最小化f得到正确结果，y和g得到正确结果的两个概率之间的差异，从而通过结构的对称性加强监督学习过程，让两个对称任务一起学习。

在学习过程中优化了三个损失函数:

1)通过主任务f从标记的输入x获得y的对数似然性

2)通过双重任务g从双重输入y中获得x的对数似然性

3)上述两个对数似然之间的区别是正则化项。

这与支持向量机的正则项不同，支持向量机的正则项与模型有关，与数据无关。然而，双监督学习中讨论的正则化图像也与数据相关。有了这样的正则化项，每个训练数据都可以参与正则化项，主任务和双任务两种模型可以相互影响。

根据优化过程的特点，本文还指出了双监督学习的适用条件:

1)它们之间有两个对称的任务

2)主任务和双重任务都是可训练的

3)可以得到模型理想结果的经验概率

如本文开头所述，许多与图像、文本和声音相关的任务都满足这些条件。

双重监督学习的效果本文测试了双重监督学习在机器翻译、图像分类和情感分析三个任务中的效果，证明了双重监督学习可以带来显著的改进。

机器翻译

本文首先分别训练主任务和双重任务模型，然后采用双重监督学习方法进行联合训练。与目前翻译效果最好的nmt和mrt神经网络机器翻译相比，bleu评分有了进一步的提高。

图像分类

与机器翻译不同，图像分类和图像生成过程中存在信息损失。这导致目前图像生成效果不理想，难以改善。根据双监督学习能够减小两个任务之间的概率差异的特点，我们可以期望双监督学习能够更好地从标签中恢复图像。

性能比较中使用的基准模型是pixelcnn++版。不足为奇的是，基于cifar-10的bpd分数从2.94提高到2.93，即使只有0.01提高，也是非常罕见的。实际生成的图像对如下:

每个水平图像都是由同一类别标签生成的结果；左边五个来自基准模型，右边五个来自双重监督学习模型。图像质量有明显改善，尤其是第3、4和6行中的鸟、猫和狗。

经过双监督学习训练后，不同复杂度的resnet-32和resnet-110的生成和识别效果都得到了提高。

情感分析

分析句子的积极/消极情绪，或者根据给定的积极/消极情绪逆向生成句子，这个过程中的信息损失非常严重，只留下1比特的信息。本文认为句子情感分析的结果略有改善，这是原因之一。Lstm被选为基准模型。

然而，在逆向句子生成方面，双监督学习模式表现出很强的表现力，简单短句的使用变少，所选单词、短语和句型表达的情感更强、更具体。

在后续研究目标论文的最后，以上例子已经可以说明双重监督学习的促进作用，后续将尝试更多的任务(如文本/语音转换)。同时，如何将无标记双重学习与双重监督学习相结合，利用无标记数据继续提高模型性能，并尝试将双重监督学习与双重推理相结合，利用结构对称性增强训练和推理过程，也是刘铁燕团队未来的研究方向。

论文题目:arxiv/abs/1707.00415，作者:雷

相关文章:

秦涛微软亚洲研究院:双重学习的对称美|公开课总结

雷锋文章版权所有。严禁擅自转载。详情请参考转载说明。