澳门科技大学韩子天：车载机器人的拟人化与主动交互

2021年6月17日-19日，由中国汽车工业协会主办的第11届中国汽车论坛在上海嘉定举办。站在新五年起点上，本届论坛以“新起点 新战略 新格局——推动汽车产业高质量发展”为主题，设置“1场闭门峰会+1个大会论坛+2个中外论坛+12个主题论坛”，全面集聚政府主管领导、全球汽车企业领袖、汽车行业精英，共商汽车强国大计，落实国家提出的“碳达峰、碳中和”战略目标要求，助力构建“双循环”新发展格局。其中，在6月19日上午举办的主题论坛“智能座舱创新技术论坛”上，澳门科技大学澳门系统工程研究所副教授韩子天发表了主题演讲。以下内容为现场演讲实录：

各位早上好！感谢建民教授、汽车城领导的支持，以及各位同仁在星期六的早上共聚一堂，一起分享，一起了解智能座舱新技术。

我演讲的主题是车载机器人的拟人化与主动交互，我先把刚才发布的白皮书简单介绍的情况给各位展示一下。

这是下载链接，如果各位有兴趣的话可以扫描二维码。正如王教授刚才提到的，《智能汽车车载机器人技术白皮书》有课题，课题是澳门资金发展资助的课题，调研了国内外40多家主机厂，将他们的想法、需求以及在车载机器人方面推动的进展进行交流提炼，开了十几次会，把目录定了下来。

白皮书的目录主要是先将车载机器人定义，车上的车载机器人有虚拟的也有实体的，会有定义。特别对虚拟机器人提出来做描述、陈述，目前确实有比较多主机厂选择了走虚拟助理的方式。

由芳教授特别提要有小章节说一下车载机器人在车上有什么用，所以专门有一个小章节是车载机器人能做什么，能带给我们什么。

第二章是关于关键技术，从硬件、软件、操作系统、算法、平台软件整体关键技术。

比较重要的一章是关于场景，机器人是AI的载体，搭载上去后要把车上的场景呈现出来。场景呈现因为多了机器人，所以是“场景行为”，和平时讲的场景还多了一个行为。

把场景行为的定义和中科创达做了沟通，他们原来有很好的场景定义工具软件叫Kanzi，基于Kanzi延伸构思，怎样用Kanzi定义车载机器人的场景、行为。在车上有人车环境，加上行为就可以把机器人定义得很好。

最后就现在、曾经研发过、展示过车载机器人的团队和企业做了罗列整理，作为参考。

就像刚才王教授说的，白皮书是从今年初开始整理，市场不断有变化，因为时间节点，所以先定稿了。定稿不代表工作会停止，因为工作才刚刚开始，已经和电子工业出版社签了合同，准备在年底出一本正式的书。

白皮书是抛砖引玉，相信在座专家有更多比我们更有体会、感受、经验可能和我们分享，算是抛砖引玉，希望你们可以将想法跟我们分享，不排除会成为我们的章节。感谢各位积极关注白皮书，可以做分享发放给你们的朋友，帮我们征集意见。

车载机器人是交互的演进，最早的车是案件式的，后来演进到HMI（Human Machine Interface），HMI是由屏和手指互相交互、传递控制信息。

现在已经看到比较多未来汽车的Nomi出台后，把车载机器人从实验室带到实际量产车上，是很大的创新。记得Nomi是在2017年底发布，2018年年初我就收到电话，上海有些朋友也在做智能交互，跟我们联系了一些长安汽车、北汽新能源、上汽等，开始讨论车载机器人预言，后来做了车载机器人的预言项目、量产项目。

项目从一方面告诉我们，车载机器人是方向，在智能座舱里交互更关注的是拟人化和主动交互，拟人化听得比较多，希望它是拟人的交互场景，而不是冰冷的屏。

今天我会为大家分享车载机器人未来两个比较重要的技术方向，也写在白皮书里：

一是拟人化。光有屏的时候很难做拟人化，光有屏，很难想象是拟人的，需要有一些形象，无论是实体、虚拟的形象，让我们联想到拟人。

二是主动交互。主动交互是目前在交互设计里比较重要的，目前很多交互都是被动的，一问一答，一个指令一个回答，或者一个指令过去没有回答。主动交互能体现机器人的拟人化，能让我们感受到它的智能，懂你才会主动跟你讲话，如果不懂你的话只能听你的指令。

今天主要分享两点：一是拟人化，二是主动交互。

一、车载机器人拟人化。

车载机器人的定义做过很多轮研讨和不断修改，车载机器人是服务机器人里的社交机器人Social robot，是个人交互机器人。昨天我在商场吃饭，吃完饭走出来看到有几个机器人站立在那里，这也是服务机器人，但服务的对象比较多，是公众机器人。

社交机器人比较强调社交属性、情感属性、个人属性。往往这种机器人更需要拟人化，功能主要是提供驾驶辅助信息，提升人机交互能力。机器人就是硬件，搭载了AI技术才具有智能，是搭载体。机器人本身并不能完成功能，而是需要搭载的技术来完成。

一般来讲，服务机器人都会有视觉、语音、前端智能、环境感知三类智能。这也是人类具有的智能，能看东西，也能语音讲话。搭载技术的目的是让它模仿和重复人类的行为，提升整体驾驶体验。

车载机器人主要希望摆脱在车上交互的设备感和指令感，由HMI向HRI进化。

（如图）左边是MIT在2009年做的世界上第一款AIDA感交互和驾驶辅助，名字把车载机器人的初心讲清楚了一方面是情感交互，是陪伴的。想象着在驾驶舱旁边都有副驾驶，为什么要有副驾驶？因为我们需要人陪伴，因为你会打瞌睡，赫哲你需要找人帮你找地图，但你的手抓着方向盘。MIT的AIDA很形象地完成了这两个工作，但是没有量产。

右边是我们团队两年前在实验室做的，主要是让机器人模拟人，车载机器人是模拟重复人的行为，和人的动作伴随产生信任感，这款当时在实验室，现在已经上了实车。

交互的拟人化有五方面可以着手：

（1）语音交互。毕竟在车上大量交互、指令都是通过语音进行的，所以要让语音交互更自然，和人类的语言更贴近，提升拟人化的程度。

（2）多通道融合。包括人脸、手势等交互，多通道融合。

（3）智能体要拥有明确的人设，它不是机器，它要有名字、性格、年龄，需要有人设。

（4）需要有主动交互能力，机器人区别于设备，它能主动，要有主动性才能体现出机器人的性能。

（5）情感判断和反馈智能。

这五点是目前在技术上兑现拟人化的方法。

第二，主动交互。

除了拟人化，主动交互可以让车更智能，主动交互也定程度上替代重复性工作，它学习到你重复性、习惯性的行为之后，能主动询问你一些行为、帮你执行一些行为。帮助我们解放了重复工作的场景。

主动交互是未来人机交互和人工智能系统的重要发展方向，才能千人千面。

怎样兑现主动交互？主动交互可以从三方面兑现：

首先，给机器人增加主动打招呼问候。另外，本地语音语料可以主动学习；最后，用户习惯记忆。这是目前我们在主机厂兑现的三点，主动交互不是看定义不是看文字怎么做，而是这三点，如果大家有更丰富的经验可以和我们分享。

前两点还好，比较容易实现，最后一点怎么实现？我们做了实现方法，实现方法要从人工智能着手。

现在车上大部分智能都是深度学习，包括用户行为习惯都是深度学习。这是有弊端的，目前深度学习出现两个不足：

（1）深度学习是归纳系统，只是把大部分人习惯找出来，用条件无法学习，但深度网络微小的特征没有办法总结归纳出来的特征他帮你整理出来。深度学习系统是很好的归纳系统，是发现共性的。但个性怎么发现？发现不了，深度网络训练出来的模式是不会有个性的。做的很多算法是做情感识别、表情识别，只是把共性找出来了，有些人的个性无法满足。

深度网络在车上的应用有很大的缺陷，车主买了车以后十年或者十年以上都在车上发生行为，行为数据很难反馈到大数据中心、深度学习中心，让他按个体的习惯用你的规律，强制别人的规律。

深度学习存在不足，我们团队有算法叫宽度学习（BLS），宽度学习算法是这几年获得关注的。简单来说，深度学习是归纳系统，宽度学习是记忆系统。记忆系统是可以通过少量数据，个体在车上发生的所谓行为数据整体出来你的习惯。

在主机厂用算法兑现了，发现的行为习惯可以针对个体可以预测，整理出规律以后就会预测，预测就能形成主动交互，这是兑现主动交互的方法。

因为时间关系，把未来在车载机器人、交互系统方面的拟人化、主动交互给大家分享了。再次邀请各位针对《智能汽车车载机器人技术白皮书》多提宝贵意见，非常感谢各位，谢谢！