睡眠研究可以帮助创建更好的AI模型吗？

本篇文章3181字，读完约8分钟

我们为什么要睡觉？一个明显的原因是恢复我们身体和四肢的力量。但是睡眠的另一个非常重要的功能是巩固记忆，组织大脑清醒时吸收的所有信息。睡眠不足的人会失去认知能力和记忆力。

睡眠的奇妙和神秘仍然是研究的活跃领域。除了医学、心理学和神经科学，睡眠研究也可以用于其他科学领域。人工智能研究人员也在研究这一领域所做的工作，以开发一种能够在更长时间内更有效地处理数据的人工智能模型。

deepmind的人工智能研究人员最近的工作表明，他们利用大脑和睡眠机制的研究来应对自然语言处理(nlp)的一个基本挑战:处理长期记忆。

人脑有一种非常有趣的组织记忆的方式。我们可以长期管理不同的想法。考虑这个假设的例子:你早上醒来，花45分钟读一本关于认知科学的书。一小时后，你浏览了新闻，读了几篇新闻文章。下午，你将继续学习几天前开始的人工智能研究论文，并为以后的文章做笔记。在你的日常锻炼中，你会听科学播客或有声读物。晚上睡觉前，你打开一本奇幻小说，找到前一天晚上你读的地方。

你不需要成为天才就能做到这一点。事实上，我们大多数人每天都在处理各种各样的信息。有趣的是，我们的大脑可以储存和管理这些信息，并且可以持续很长时间，一天、几周、几个月甚至几年。

近年来，人工智能算法在保持长数据流的一致性方面已逐渐变得更好，但要与人脑的技能相匹配，它们还有很长的路要走。

用于语言处理的经典机器学习构造模型是递归神经网络(rnn)，它是一种人工神经网络，旨在处理数据的时间一致性。由数据语料库(例如，大量维基百科文章数据集)训练的Rnn可以执行任务，例如预测序列中的下一个单词或找到问题的答案。

早期版本rnn的问题在于处理信息所需的内存量。人工智能模型处理的数据序列越长，它需要的内存就越多。这种限制主要是因为，与人脑不同，神经网络不知道保留哪些数据和丢弃哪些数据。

想想看:当你读一本小说，比如《指环王》，你的大脑不会记住所有的单词和句子。它被优化以从故事中提取有意义的信息，包括人物(如佛罗多、甘道夫、索伦)、他们的关系(如波罗莫几乎是佛罗多的朋友)、地点(如里文德尔、摩多、罗汉)、物品(如戒指和乌列尔)和关键事件(如佛罗多向末日山扔戒指)

这少量的信息对于在所有四本书(霍比特人和魔戒的三本书)和576，459个单词中追踪这个故事是至关重要的。

人工智能科学家和研究人员一直试图找到一种方法，将神经网络嵌入同等有效的信息处理中。这一领域的一个主要成就是“注意”机制的发展，这样神经网络就可以发现和注意数据中更重要的部分。注意力使神经网络能够以更有效的记忆方式处理更多的信息。

变形金刚是近年来日益流行的神经网络，它有效地利用了意图机制，使人工智能研究者能够创建越来越多的语言模型。例子包括openai的gpt-2文本生成器，它在40g文本上进行训练，谷歌的meenachatbot，它在341gb语料库上进行训练，以及ai2的aristo，它是一种深度学习算法，在300g数据上进行训练以回答科学问题。

与以前的人工智能算法相比，所有这些语言模型在较长的文本序列中表现出显著的一致性。Gpt-2可以经常(但不总是)写出跨越多个段落的非常连贯的文本。Meena尚未发布，但谷歌提供的样本数据显示了对话中有趣的结果，而不仅仅是简单的查询。Aristo在回答科学问题时胜过其他人工智能模型(尽管它只能回答多项选择问题)。

然而，显而易见，人工智能在语言处理方面还有很大的改进。目前，通过创建更大的神经网络，并为它们提供越来越大的数据集，仍然有一种动力来改善这一领域。显然，我们的大脑不需要或者甚至没有足够的能力来获取数百千兆字节的数据来学习语言的基本知识。

当记忆在我们的大脑中产生时，它们开始是大脑不同部分编码的感觉和认知活动的混淆。这是短期记忆。根据神经科学研究，海马体从大脑不同部位的神经元收集激活信息，并以一种可以进入记忆的方式记录下来。它还存储提示(姓名、气味、声音、视觉等)。)这将重新激活这些记忆。激活的记忆越多，它就变得越强。

据《你的大脑》杂志的一位小编辑马尔丁曼说:“我们发现，在最初的体验中被激活的神经元在深度睡眠中也会被重新激活。”这导致神经科学家认为，在睡眠期间，我们的大脑试图确保前一天的重要记忆被转移到长期储存中。"

deepmind的人工智能研究人员从睡眠中获得灵感，创造了压缩转换器，这是一种更适合远程记忆的语言模型。"睡眠对记忆非常重要。人们认为睡眠有助于压缩和巩固记忆，从而提高记忆任务的推理能力。"当模型经历一系列输入时，类似于情景记忆的粒度记忆将被在线收集。随着时间的推移，它们最终会被压缩。"研究人员在《压缩变压器》的博文中写道。

像转换器的其他变体一样，压缩转换器使用注意机制按顺序选择相关的数据位。然而，人工智能模型不是丢弃旧的内存，而是删除不相关的部分，并通过保留重要的部分并将它们存储在压缩的内存位置来组合剩余的部分。

根据deepmind的说法，compressivetransformer在流行的自然语言ai基准测试中表现出了先进的性能。人工智能研究人员写道:“我们还证明，它可以有效地用于语音建模，特别是处理稀有词，并可以用于强化学习代理来解决记忆任务。"

然而，人工智能提高长文本建模的性能是很重要的。deepmind的研究人员写道:“这个模型的条件样本可以用来编译类似书籍的摘录。"

博客文章和论文包含压缩变压器的输出样本，与该领域正在进行的其他工作相比，这是非常令人印象深刻的。

压缩和归档是两个不同的概念。让我们回到指环王的例子，看看它意味着什么。例如，在阅读了关于在厄尔伦德家中举行的会议的章节后，你可能记不住与会者之间交流的每个单词。但你仍然记得一件重要的事情:当每个人都在争论如何决定这枚戒指的命运时，佛罗多挺身而出，接受了将它扔进末日之山的责任。因此，为了压缩信息，大脑在存储记忆时似乎会改变信息。随着记忆的增长，这种变化还在继续。

显然，存在某种模式识别，这使得压缩变压器能够找到应该存储在压缩存储段中的相关部分。然而，这些数据位是否等同于上述示例中提到的元素仍有待观察。

使用深度学习算法来应对人类语言挑战的记录很好。虽然统计方法可以在大量数据中找到有趣的相关性和模式，但它们不能执行一些需要了解文本以外的东西的微妙任务。诸如抽象、常识、背景知识和其他方面的智能使我们能够填充空并提取单词背后隐藏的含义，但是当前的人工智能方法仍然不能解决这些问题。

正如计算机科学家melaniemitchell在她的《人工智能:思考人类的指南》一书中所解释的，“在我看来，机器不可能通过在线学习在翻译和阅读理解方面达到人类的水平。”事实上，数据对它们所处理的语言没有真正的理解。语言依赖于常识和对世界的理解。"

添加这些元素将使人工智能模型能够处理语言不确定性。认知科学家加里·马库斯说:“除了几个小句子，你听到的几乎每个句子都是原创的。”你没有直接的数据。这意味着你对推理和理解有疑问。有助于对事物进行分类并将它们放入你已经知道的容器中的技术根本不适合这种情况。理解语言就是把你已经了解的世界和别人想做的事情以及他们说的话联系起来。"

马库斯和他的合著者，纽约大学的教授，在《重启人工智能》中。书中写道:“统计数据不能取代对现实世界的理解。问题不仅在于任何地方的随机错误，还在于满足翻译要求的统计分析模型和系统真正需要理解它们的认知模型之间的根本不匹配。"

然而，压缩技术可以帮助我们在人工智能和语言建模的研究中找到一个新的方向。"能够捕捉跨日、跨月或跨年经验相关性的模型将很快出现。"我们相信，随着时间的推移，更强有力的推理方法将来自于过去更好的选择性注意和更有效的压缩机制。deepmind的人工智能研究人员写道。