清华大学邓志东教授：自动驾驶第二幕已经开始上演 | 未来汽车大讲堂

本篇文章8528字，读完约21分钟

雷锋网新智能驾驶出版社:6月以来，新智能驾驶与雷锋网人工智能大规模开放在线课程学院和网易云课堂企业版联合举办了一系列智能驾驶讲座，邀请业界和学术界的顶尖专家就自主驾驶的现在和未来分享不同的观点。6月13日，清华大学计算机科学系教授、博士生导师邓志东在一个半小时内为自动驾驶实践者讲解了“未来汽车”(第一阶段:构建自动驾驶仪的关键)讲堂。雷锋的新智能司机整理了课程内容，并在不改变初衷的情况下进行了调整。

客人介绍

邓志东，清华大学计算机科学系教授，博士生导师。现为中国自动化学会理事，中国自动化学会智能自动化专业委员会主任。他曾是国家863计划智能机器人学科专家组组长的助理(1998-2001)。他主持国家无人驾驶项目8年，为包括腾讯自动驾驶实验室在内的中国顶尖团队培养了大量人才。

自2009年起，在国家自然科学基金重点项目“无人驾驶汽车人工认知关键技术及集成验证平台”和培养项目“面向城市综合环境的无人驾驶汽车关键技术及测试样车研发”的支持下，邓志东教授在过去八年中主持了三款具有自然环境感知和自主决策能力的无人驾驶汽车的研发，即thu-iv1原理实验样机和thu-iv2技术验证样机。

目前的研究方向包括:人工智能、深层神经网络、计算神经科学、高级机器人、无人驾驶汽车等。他的研究领域包括虚拟现实(1998-2001)、无线传感器网络(2001-2009)和计算生物学(2002-2010)。

自主驾驶的第二幕已经开始。以科学研究为主导的自主驾驶的第一幕，在自主驾驶发展的早期阶段已经基本结束。典型的活动有美国国防高级研究计划局主办的“大挑战”(2004年)(2004年、2005年)、城市挑战(2007年)和意大利帕尔马大学的“新丝绸之路”(2010年)。

自2009年上路以来，谷歌瓦伊莫已经安全自主地行驶了300多万英里(483公里)，每1万公里只有1.25次人工干预。

2011年，德国柏林自由大学的米格无人驾驶汽车在市区自主行驶了20公里，通过了46个红绿灯和两条环形路，安全返回了目的地，没有受到任何干扰。

2013年，意大利帕尔马大学的自动驾驶车辆braive在帕尔马市区自动驾驶，成功通过狭窄的郊区道路，如单行道和双车道，其中涉及行人穿越马路、交通灯、人工道路、行人区、急转弯等。，同时实现了整个过程中没有人工干预。

在中国，自2009年以来，国家自然科学基金委启动了重大研究项目“视听信息认知计算”，并连续举办了八届“中国智能汽车未来挑战”，极大地推动了中国无人驾驶汽车R&D水平的提高。这是中国的追逐阶段，中国的许多大学和研究机构都参与了这个项目。在过去的八年里发生了巨大的变化，这被认为是中国智能汽车发展的一个里程碑。

2016年，百度的18辆“小芸”无人驾驶汽车出现在乌镇的午夜道路上，在开阔的城市道路上行驶了3.16公里。百度称其为nhtsa l4级全自动驾驶汽车。

一般来说，这一时期以科学研究为主，不考虑成本(一辆车的成本可能超过两百万甚至三百万)，只要求技术路线，但第二幕的整个情况就不同了。

2.市场主导的自主驾驶的第二幕开始上演。第二种行为是以市场为导向，以企业为主体，推动自主驾驶的发展。必须考虑设备成本、着陆实践和商业模式等因素。有三个重要组成部分:

新车公司:特斯拉、威来、奇点、小鹏、乐视、汽车和家庭等。

老爷车公司:福特、雷诺-日产、戴姆勒、大众、宝马、国内长安、奇瑞、长城、BAIC、比亚迪等

跨国科技公司:谷歌、优步、苹果、百度、腾讯、华为等巨头；初创企业，如时宇科技、智能沃克、地平线、图森、上塘科技等。

3.新“四个现代化”的趋势非常明显。所谓的新“四化”是电气化、信息化、智能化和共享化。

1.带电

德国政府宣布，2030年后，柴油机车将被禁止上路；2016年10月8日，国务院常务会议决定，原则上中国不再批准建设新型传统燃料汽车制造商。

2.信息化

信息化包括数字化或软件，以及(内部)总线或(外部)网络连接，这是智能化的基础和条件。许多新能源汽车已经实现了网络连接，在线旅行社和软件定义升级正在成为标准。

3.聪明的

智能化是我们今天正在做的——自动驾驶或无人驾驶。

目前，这个方向有两种选择，一种是基于视觉的，主要由人工智能和大数据驱动，以单目视觉为主，以特斯拉为典型代表。因为第二幕不再是一条视觉路径，必须追求低成本、高可靠性，真正实现商业落地，这只能由企业作为主体、市场作为主导来实现。另一个方案是由激光雷达领导的，典型的代表是谷歌waymo。

4.共享

共享无人驾驶和智能增值服务是汽车产业发展的最终目标。作为智能移动终端或智能网络连接的节点，共享无人驾驶汽车将推动共享经济和智能城市的发展，从根本上颠覆人类的出行方式。

汽车的空空间更大，承载能力更强，可以产生和实现大数据需求，提供更加多样化的增值服务。它将成为比智能手机更大的移动终端，形成共享的网络连接，从而推动无人驾驶生态系统的形成。无人驾驶汽车将最大限度地提高安全性、共享性、绿色性和节能性。

更安全的

80%的车祸与情绪波动、疲劳驾驶和酒后驾驶有关。自动驾驶降低了这方面的风险，事故频率可从100，000公里大幅降低至1000万公里。

去年特斯拉发生的两起事故让许多人担心无人驾驶的安全性。然而，根据世界卫生组织(世卫组织)的数据，全世界每年有125万人死于车祸，平均每天有3425人死于车祸。从这些数据来看，无人驾驶汽车无疑更安全。

汽车共享

无人驾驶汽车可以将目前城市汽车保有量降低到5%-10%，从根本上解决交通拥堵等问题。

新能源的普遍采用更加环保

它可以优化无人驾驶车辆的调度和全局路径，从而节约能源消耗

4.工业化的步伐正在加快。自主驾驶的产业化步伐正在加快。许多人认为2021年是自主驾驶行业的第一年。典型的例子是特斯拉的自动驾驶2.0。

目前，特斯拉所有量产的新车都可以安装具有全自动驾驶功能的硬件系统auopilot 2.0，ecu软件可以通过ota升级。自动驾驶功能直接从l2跳到l4及以上。不管这能否成为现实，一些结果可以在今年年底观察到——马斯克宣布，特斯拉将在2017年底前以全自动驾驶模式从洛杉矶开车到纽约，包括最困难的进出城市，全程4500公里不会受到干扰。

现在有很多企业在进行公路赛。2016年8月25日，nutonomy在新加坡推出了全球首个无人驾驶出租车免费客运服务，但范围仅限于2.5平方英里的商业住宅区；9月14日，优步在匹兹堡市中心推出了大规模无人出租车免费客运服务。谷歌、沃尔沃、福特、宝马、百度、英特尔和其他20家全球公司已经宣布，四年后，2021年将是无人驾驶汽车的第一年，一些sae l4将大规模生产。

与此同时，产业竞争也在加剧。有两个主要指标，一个是基于大数据的自动驾驶里程，另一个是数千英里内人工干预的频率。去年，加州汽车管理局公布了几家汽车公司的数据。谷歌waymo排名第一，拥有300万英里的自动驾驶和每千英里0.2次干预。第二次一般巡航是18.5次/千英里。

美国一家杂志刚刚发布了一份排名，将全球自主驱动企业分为三个层次，从技术、人才和商业模式三个维度进行评分，每个维度15分中有5分。第一梯队是谷歌瓦伊莫，技术满分，人才4.5分，商业模式只有3.5分；其次是优步，虽然优步的技术不是很好，但它的商业模式是最好的，得分为5分。它在整个匹兹堡推出了无人驾驶免费客运服务；第三和第四分别是戴姆勒和德尔福。

工业玩家:1。主动人工智能初创企业。包括zoox，drive.ai，cruise automation，逗号. ai被通用汽车收购，日本的首选网络，zmp等等。

2.雄心勃勃的新汽车公司。例如，经过半年的努力，特斯拉最近成功地完成了从mobileye到运行在nvidia drive px2上的特斯拉视觉软件系统的驾驶测试数据的转换，并在今年3月底发布了自动驾驶8.1软件升级版。

特斯拉更接近商业化。首先，它是一个新能源汽车企业；其次，它有ota，可以升级软件；第三，它的大数据也是世界上最丰富的(拥有超过3亿英里的道路测试数据)；最后，它的所有硬件已经成为生产汽车的标准。因此，只要每个已完成的自动驾驶功能都经过严格测试和成熟，就可以完成ota软件升级。

3.跨国科技巨头加速了他们的努力。例如，谷歌去年拆分了自动驾驶部门，并成立了谷歌waymo。通过建立一个独立开发团队，激光雷达的成本已经降低了90%以上，现在大约是7000美元。经过大规模生产，我相信这个成本会更低。瓦伊莫在美国凤凰城对500辆克莱斯勒pacifia mpv插电式混合动力无人驾驶汽车进行了公开测试，这也被视为其商业化的前奏。此外，百度还推出了阿波罗计划，计划开放自动驾驶代码的源代码；还有NVIDIA的xavier开源计划，该计划与丰田合作，计划在今年7月开放xavier平台门户，并在9月实现完全开源。

4.仍有优势的传统汽车公司。福特、通用、雷诺、日产、戴姆勒、大众和宝马等传统汽车公司加快了自动驾驶汽车产品的开发和测试过程，而长安、奇瑞、长城、BAIC和比亚迪等国内公司也在积极开发自己的自动驾驶汽车技术。

这是自动驾驶的第二个动作。我相信sae l4自动驾驶时代可能会在2021年左右到来，但是它的功能和领域不是一步到位的，而是一步一步重复的。

工业化的关键一、技术挑战

主要有两个困难:如何从l2到l3？如何从l3穿越到l4？分别考虑对极端环境的感知和对紧急情况的预判决策。衡量工业化有两个主要指标，即自动驾驶的大数据里程和每万公里的人工干预次数。

第二，应用场景和业务模型的选择，包括低速和高速的选择

自动驾驶有两种分类标准，一种是旧的美国公路交通安全局的分类，它将自动驾驶水平分为l0、l1、l2、l3到L4；另一种是sae分类，从l0到l5。

Sae l0-l5可归纳为三个阶段。第一阶段称为辅助和半自动驾驶，包括l0和l1。L0是我们现在完全被人驱动的状态，但是我们可以在之前或之后安装报警开环adas，如ldw、fcw、bsd等。；L1是一个具有单闭环的adas，如acc、aeb、lks、ipas等。

第二阶段是自动驾驶的第一个动作可以达到的阶段，属于过渡阶段的无人驾驶，包括l2和l3。如果不考虑成本，它已经到了这个阶段。L2需要一名安全的司机和一名监控司机进入无人驾驶汽车。安全驾驶员主要负责感知和监控驾驶环境，他的手不会离开方向盘去感知和认知极端环境。l2也称为部分自动驾驶。L3取消了所有的感知干预，只在紧急情况下进行预判断决策和认知干预，属于条件自动驾驶。

第三阶段是真正的无人驾驶，包括l4和l5。L4是一个没有任何人驾驶的有限区域或功能。换句话说，即使在极端环境和紧急情况下，也没有人接手或干预的问题，它属于高度自动化驾驶。L5和人类驾驶没有什么不同，它是全地域的，功能齐全。同样，即使在极端环境和紧急情况下，也没有人为的接管或干预，也没有方向盘、踏板和后视镜，因此它属于全自动驾驶。

1.应用场景和业务模型的选择

低速l4自动驾驶是固定线路自动驾驶在相对封闭的环境中的着陆实践，如景点、港口、机场、开发区等。空地区交通流量稀少，包括汽车轮渡和旅游巴士等。这一部分应该主要关注商业模式。在开放环境下实现整个城市从l2到l4的技术跨越，不仅是一种商业模式，也是一种技术突破。一般来说，低速追求的是商业模式，而高速则涉及选择高可靠性和低成本的技术路线，这更具挑战性。

2.困难和挑战

首先，如何跨越l2到l3？驾驶时，人们对周围的道路环境有所了解，所看到的目标不仅是检测、分类和识别的结果，而且是语义、内涵和外延的结果。如果人工智能不能在语义理解方面取得技术突破，就很难超越人类的感知。事实上，从l2到l3的问题是可靠感知的问题，视觉主导方案和激光雷达主导方案都在解决极端环境中的可靠感知问题。

第二，如何从l3穿越到l4？这涉及到认知干预的问题。如何预测和判断紧急情况？如何替代人进行认知干预？目前，有一些预测紧急和极端情况的方法，如基于深度学习和人机混合智能的端到端自主行为决策。

总之，这两个问题非常困难和具有挑战性，因为它们需要处理极端和紧急情况，同时它们需要绝对的可靠性并考虑低成本实现，这也是无人驾驶的一个特点。相机的设备成本是最便宜的。特斯拉的技术方案主要是在单目相机周围寻找，而瓦伊莫的技术方案主要是低成本激光雷达，两者都是低成本方案。

还有目标检测和识别的问题。对于交通流量密集的复杂城区，如何在极端环境下检测和识别周围的障碍物，尤其是行人等小目标？而精密导航，如何取代高成本、高精度的组合导航系统？如何将激光冲击和视觉冲击结合起来降低成本？但无论是目标识别还是精确导航，最大的问题是信息融合。尽管采用了面向视觉或面向激光雷达的方案，但仍有必要集成其他异构传感或导航设备。在这方面，深度学习方法可以用于多传感器信息融合。

最后一个挑战是商业着陆，即在确保绝对安全的前提下尽可能降低成本。现在这是一个大问题，这个问题的解决可能导致技术路线的根本改变。

人工智能给自动驾驶带来了新的突破。许多人认为自动驾驶是最具商业价值的垂直领域之一，可能会先着陆。没有必要强调商业价值。分享无人驾驶汽车在未来可能是一个万亿美元的市场，这将颠覆人类旅行的整个方式，这是非常重要的。然而，要实现着陆，必须保证绝对安全和低成本。其次，要进行纵向整合，要有完整的解决方案，要形成产业生态。

深度学习源于原始的大数据，其实时性得到了gpu、tpu、asic、fpga和类脑芯片的快速发展，已成为自动驾驶感知、决策和控制的基础技术。目前，三大芯片巨头也在向人工智能转型，尤其是自动驾驶布局，这是军事战略家的战场。

深度学习已经成为自动驾驶感知和决策的主流方法，主要包括两个方面:一是深度卷积神经网络，二是深度强化学习。

深度卷积神经网络迄今为止的革命性进展，加上低成本激光雷达、高精度地图、5g通信、v2x、智能交通系统和智能城市的共同支持，将使对周围驾驶环境的可靠感知和低成本、高可靠性、精确导航成为现实，并帮助自动驾驶从l2穿越到l3。从l2到l3的飞跃的实现解决了人类水平的环境感知，并且已经走了一半以上的路来实现真正的无人驾驶。

基于深度强化学习的阿尔法戈可以达到甚至超过人类的水平。由alphago大力推动的深度强化学习的最新发展，使自主车辆具有类似于人类的自主学习能力成为可能，并获得包括紧急预测和数据驱动智能控制系统的端到端自主行为决策系统，从而将自主驾驶从l3提升到l4。

人工智能有望使自动驾驶成为可能，主要涉及算法(深度卷积神经网络+深度强化学习)、数据(目标和行为意向视觉大数据/激光点云大数据、驾驶行为大数据等)。)、计算(如移动、云、离线训练深度学习加速器)、细分场景(目标和行为意向感知、认知地图和导航、信息融合、独立决策、智能控制等)。)和

支持自动驾驶的深度学习算法和开放源代码框架:谷歌的tensorflow、加州伯克利的caffe、本吉奥的antano、facebook的torch、微软的cntk、亚马逊的mxnet、百度的PaddlePaddle

常用关键技术:深度学习+环境理解、深度学习+信息融合、深度学习+决策/控制；

前沿核心技术:基于深度监督学习的目标和行为意图检测与识别:基于深度监督学习的高精度地图创建:基于深度监督学习的多模态导航信息融合:基于深度强化学习的自主决策与控制；

如何用环境感知代替人:基于深度有线电视新闻网结合高清地图的环境感知；道路感知\基于深层cnn的极端环境下车道线和可行驶路面检测；基于深度cnn的障碍物检测与识别；

如何取代人类的自我感知:基于深度学习的多模态自主导航，结合认知地图；基于深度强化学习的端到端自主决策，结合认知地图；基于深度强化学习的行动者-批评者控制与知识驱动相结合。

此外，专有大数据是人工智能行业取胜的关键和法宝。通过深度学习收集和反馈的大数据越多，就能获得越好的驾驶直觉。

科技巨头对大数据非常着迷。他们拥有和使用的大数据越多，他们的产品成熟度越高，或者离商业化越近。然而，在大数据的完整性方面还存在一些有待解决的问题，如将识别率从99.999%提高到99.9999%，这需要大数据和巨大资源的指数级增长。

支持自动驾驶的计算引擎:基于超级gpu/tpu的离线训练:

基于云平台的在线应用:gpu/fpga深度学习处理器:

终端应用:英伟达的深度学习芯片tegra x1和jetson tx2、深度学习芯片tesla、深度学习芯片drive px2和开源xavier dla；

新型汽车芯片制造商:英特尔阿波罗湖a3900的“智能互联驾驶舱平台”，高通Snapdragon 820a处理器；

类似大脑的芯片:例如，ibm truenorth，qualcomn)第零；；

支持自主驾驶着陆的其他基本条件:基于目标理解的认知地图，特别是高精度(网格\认知)地图可能会成为未来的一个巨大产业。此外，基于5g的智能组网技术和移动物联网nb-iot(如支持云与路测设备之间的通信)、智能交通系统(its)和智能城市等。，形成联合力量支持自主驾驶产业的登陆实践。

结论从l2到l3的挑战是如何用深度卷积神经网络代替人在极端条件下可靠地感知周围的驾驶环境。

从l3到l4的难点是如何使用深度强化学习来代替人们对紧急事件的预测做出独立的决定。

深度学习的最新革命性进展，加上高精度地图、5g通信、智能网络连接、智能交通系统和智能城市的支持，将形成一股合力，推动自主驾驶行业的发展。

共享无人驾驶和智能增值服务将成为智能旅行的最终发展目标。

问答

问:无人驾驶汽车出现紧急情况时，如何进行干预？

答:优步和威玛测试车都有工程师。尤其是对于二级自动驾驶汽车，司机们都是手握方向盘坐着的。在紧急情况下，他们可以随时接管。

在认知干预的情况下，驾驶员可以按下紧急制动按钮来控制车辆。人们可以在做出决定后进行紧急制动干预，无论是在车内有线还是车外无线。

问:认知地图的概念是什么？

答:认知地图是驾驶时周围驾驶环境中各种交通要素之间的时间空关系。人类使用认知地图来驾驶。人类的眼睛可以很容易地区分物体和它们的时间空关系，而机器需要检测和识别它们，这实际上是最困难的部分。

问:既然共享自行车损坏如此严重，共享无人驾驶汽车将来如何避免这种尴尬？

答:共享无人驾驶汽车可能不会有这样的问题，因为它必须由公司或企业运营。因为设备成本相对较高，我相信企业会有更好的运作和组织模式。事实上，现在说这个问题还为时过早。重要的是先发展，然后解决问题。

问:如何控制自动驾驶的安全性？

答:自动驾驶的安全性必须高于人工驾驶。人们在驾驶时可能会有疲劳驾驶、酒后驾驶和情绪问题，但无人驾驶汽车可以避免这些问题。

我们现在担心的是它是否能达到人类的感知水平。目前还不能实现。如前所述，深度卷积神经网络有一个缺陷，即它只能解决分割和分类问题，却不能理解语义。然而，这种局限性可以通过多传感器融合、高精度地图先验知识的有效利用以及5g和nb-iot及其智能体组成的智能网络的共同努力来打破。一般来说，自主驾驶提高了驾驶安全性，而不是降低了安全性。

问:谷歌、英伟达和英特尔的自动驾驶芯片和算法有什么优势？

答:谷歌过去做算法，但现在它有tpu芯片，并试图挤进三大芯片。它的算法和tpu做得很好，它的优势是显而易见的。从技术上讲，谷歌绝对是第一。英伟达本身不生产算法，但主要生产芯片。在人工智能时代，它的芯片有很大的优势。英特尔还在进行人工智能芯片的布局和改造。

问:人工智能汽车最终是一种机器人吗？

是的，从某种意义上说，自动驾驶汽车是一种户外轮式移动机器人。

问:自动驾驶是根据地图和线条计算的。没有路基和线路的越野地理环境如何实现自动驾驶？

答:高精度地图只是一个基本的支持条件，但不是必须的。如果没有车道线也没关系。越野环境中没有车道线，但有行驶道路等。您还可以集成gps或北斗导航信息来帮助您驾驶。

问:百度开源对创新型企业有什么指导作用吗？

答:这是一个完整的解决方案，但我认为它只会开放第一幕的源代码。第一步只是通过技术途径，但可能不需要花费什么，因此没有什么商业价值，但对刚开始自主驾驶的初创企业也有启发意义。第二幕是一个具有真正商业价值的节目。百度可能不会开放源代码。

重通知:在这一系列讲座的第二阶段，我们邀请了高德汽车高精度地图产品总监顾晓峰分享高精度地图在自动驾驶中的作用，课程总结将于近期发布。

接下来，零点机器人技术智能驾驶商业总监李兴禹和硅谷自动驾驶技术公司Vector.ai的首席执行官蔡崇信将为学生们带来更多精彩的分享。课程内容将于6月28日和7月12日推出。请注意雷锋。(公开号码:雷锋。大规模开放在线课程学院。

雷锋原创文章。严禁擅自转载。详情请参考转载说明。