重磅 | ICML 2017最佳论文公布！机器学习的可解释性成热点

本篇文章3105字，读完约8分钟

8月6日，机器学习领域最具影响力的学术会议之一——国际机器学习语言2017在澳大利亚悉尼正式开幕。同一天，除了举办几个教程，icml还在官方网站上正式公布了本次会议的最佳论文评选结果。《艾科技评论》的两位编辑(、刘·)站在雷锋的第一线。(公开号码:雷锋。com)第一次给你带来了获奖论文的报道。

这篇icml最佳论文的主题是理解具有影响函数的黑箱预测。机器学习的一个关键问题是，为什么系统会做一些预测？

我们不仅需要优秀的模型，还需要可解释的模型。了解模型如何做出决策可以进一步改进它。更重要的是，为了将机器学习应用于现实中的重要问题，例如医疗诊断、决策和灾难响应，我们需要一个能够被人类理解和信任的系统。只有这样，它才能有更多的应用。毕竟，没有人希望机器给出诊断结果和治疗意见，但没有给出具体的原因。

雷·汪峰了解到可解释性在机器学习中变得越来越重要。巧合的是，在今天上午的一个教程中，谷歌大脑的研究科学家贝·金也谈到了机器学习的可解释性。她还指出，除了应用的角度，使机器学习可解释也可以促进其在更公平的使用。她认为像机器学习这样强大的工具不仅可以被少数人理解和使用，而且应该让更多的人受益，成为每个人都可以使用的工具。

关于机器学习的可解释性已经有很多研究，但是大部分都集中在解释模型如何进行预测上。这篇优秀论文中提出的问题是，如何解释模型来自哪里？在本研究中，模型的学习算法被用来跟踪其预测，并且可以追溯到训练数据。也许正是这种进一步追溯根本原因的新视角为它赢得了最佳论文奖。

值得一提的是，这份最好的论文的两位作者都是中国人。

庞伟·科是新加坡史丹佛大学的博士生。他在斯坦福大学获得了计算机科学的学士和硕士学位，并在斯坦福大学的人工智能实验室与吴恩达一起工作。2012年，他加入了由吴恩达共同创建的在线教育平台coursera，成为他的第三名员工。2016年，他开始在斯坦福攻读博士学位。

珀西·梁是斯坦福大学的助理教授，曾在麻省理工学院和加州大学伯克利分校学习和研究。他的研究方向是机器学习和自然语言处理。目前，他的研究重点是可信代理，它能够与人类进行有效的交流，并通过交互逐渐完善。

Icml 2017最佳论文奖最佳:通过影响函数理解黑盒预测

作者:庞伟·科，珀西·梁

如何解释黑箱模型的预测？本文利用影响函数(稳健统计中的经典技术)来跟踪模型的预测，并将其追溯到训练数据，从而确定对给定预测影响最大的训练点。为了将影响函数扩展到现代机器学习中，本文设计了一种简单有效的实现方法，它只需要梯度oracle访问和hessian矢量积。此外，即使在非凸和非微分模型上，影响函数的近似算法仍然可以提供有价值的信息。在线性模型和卷积神经网络中，本文还证明了影响函数可以用来理解模型行为、调试模型、检测数据集错误，甚至产生视觉上不可区分的训练集攻击。

论文下载:arxiv/pdf/1703.04730.pdf

荣誉提名论文:甘贝尔骗局的失踪亲属

作者:Matej Balog，Nilesh Tripura Neni，邹斌Ghahramani，阿德里安韦勒。

介绍:gumbel是一种从离散概率分布中抽样或估计其归一化分配函数的方法。它会以特定的方式随机干扰分布，并每次都解决最可能的配置。本文得到了一系列相关的方法，包括gumbel方法。这些新方法在一些情况下具有优良的性质，并且只需要最小的额外计算成本。特别地，为了使gumbel在离散图模型中具有计算优势，gumbel扰动通常被低秩扰动所代替。本文提出的新方法可以生成一系列吉布斯分布的连续样本。最后，本文还展示了gumbel的简单分析形式如何获得额外的理论结果。

论文下载:arxiv/pdf/1706.04161.pdf

论文:带策略草图的模块化多任务强化学习

作者:雅各布·安德烈亚斯、丹·克莱因、谢尔盖·莱文

简介:本文描述了一个由政策草图指导的多任务深度增加学习框架。Sketch用指定的子任务序列注释任务，并提供关于任务之间的高级结构关系的信息，但是没有关于如何实现它的信息。为了从草图中学习，本文提出了一个将每个子任务与模块化子策略相关联的模型。通过在共享子策略之间绑定参数，可以最大化完成任务的特定策略的回报。本文在三种环境下评价了该方法的有效性，包括离散控制环境和连续控制环境，以及只有在达到某些高级子目标后才能获得稀有奖励的情况。实验表明，本文方法在草图指导下的学习策略优于现有的学习特定任务策略或共享策略的技术。

论文下载:arxiv/pdf/161120.00100000005

论文:估计离散分布对称性质的统一最大似然方法

作者:Jayadev Acharya，Hira Kendudas，Alon Orlitsky，Ananda Suresh。

论文下载:people.ece.cornell.edu/acharya/papers/pml-opt.pdf

Icml 2017“测试时间奖”是最好的:结合在线和离线知识在uct

作者:西尔万·盖里和大卫·西尔弗

uct算法使用基于样本的搜索在线学习价值函数。Td(λ)算法可以离线学习成本函数进行策略分配。我们考虑在uct算法中结合离线和在线值函数的三种方法。首先，在蒙特卡洛模拟中，离线价值函数被用作默认策略。其次，将uct值函数与快速在线估计动作值相结合。第三，离线价值函数被用作uct搜索树中的先验知识。我们在9 x 9 go gnugo 3.7.10中评估了这些算法。第一种算法比随机模拟策略优于uct，但令人惊讶的是，它比较弱的人工模拟策略差。第二种算法完全优于uct。第三种算法优于人工先验知识的uct。我们在世界上最强大的9 x 9 go程序mogo中结合了这些算法。每项技术都极大地提高了mogo的发挥。

论文下载:suo.im/2ki4i

荣誉论文:pegasos:SVM的原始估计亚梯度解算器

作者:Shai Shalev-Shwartz，Yoram Singer，Nathan Srebro

简介:我们描述并分析了一种简单有效的随机次梯度下降算法来解决支持向量机提出的优化问题。我们证明了获得精度ε ε的解所需的迭代次数是？(1 /ε)o？(1 /ε)，其中每次迭代在单个训练样本上运行。相比之下，以往对svm随机梯度下降法的分析需要ω (1/ε 2) ω (1/ε 2)迭代。与之前设计的svm解算器一样，迭代次数也按1 /λ线性缩放，其中λ是svm的正则化参数。对于线性内核，我们的方法的总运行时间是多少？(d /(λε))o？(d /(λε))，其中d是每个示例中非零特征数量的约束。因为运行时间不直接取决于训练集的大小，所以该算法特别适合从大数据集学习。我们的方法也扩展到非线性核，并且仅基于原始的目标函数，尽管在这种情况下，运行时间确实取决于训练集的大小。我们的算法特别适用于大型文本分类问题。在这些问题中，我们显示了一个数量级的加速超过以前的支持向量机学习方法。

论文下载:suo.im/2kc6pr

论文:不可知的主动学习的复杂性标签上的界限)

作者:史蒂夫·汉内克

介绍:我们研究了不可知pac模型中基于池的主动学习的标签复杂性。具体来说，我们得到了由balcan，beygelzimer和langford (balcan等人，2006)提出的a2算法所作的标签请求数量的一般限制。这代表了不可知pac模型中标签复杂性的第一个非常重要的一般上限。

论文下载:suo.im/2wfvx3

雷锋原创文章。严禁擅自转载。详情请参考转载说明。