小鹏“天玑系统”是什么？
5月20日，小鹏汽车举办AI DAY，正式开启AI智驾时代，并将全量推送AI“天玑系统”，何为AI“天玑系统”？小鹏汽车称其为“首个将AI技术同时应用于智能座舱与智能驾驶的操作系统”。下面我们就来了解一下这套系统的功能亮点。
几天前，我们提前体验了内测版本的车型，先说下感受，整体测试下来，AI天玑系统最大的亮点变化是AI代驾的推出，那么，AI代驾是什么呢？
AI代驾是用户在手动驾驶时，系统主动记忆学习用户的日常驾驶路线，驾驶完成后24小时内即可生成定制路线，下一次行驶该路段时，车辆可以按照记忆保存的路线智能辅助驾驶，类似于“真人代驾”，可用于上下班通勤的智能代驾，而且还可以在不能开启XNGP的路段使用该功能。覆盖范围：不限城市范围、不限道路属性，不依赖XNGP开城节奏，覆盖全国城市、县城、乡镇的国道、省道、县道及多属性复合路线，并且单个用户可存储10条记忆路线，最长可达100km，最细可覆盖小路，最难可搞定掉头。
AI代驾的原理是什么？简单来说，就是你自己在城市道路上，开一段日常的路线，比如上下班、去商场等，让汽车自己去记忆这段路线，通过将车载传感器的感知数据，与云端导航地图的数据相比较，结合车辆自身的智能驾驶算法，去学习这一段路线的驾驶，最后形成点对点的导航辅助驾驶，其实这项功能之前是被一些智能驾驶做得比较好的厂家用在了停车场的代客泊车上，比如华为系的智界S7，两者大致原理是类似的，用户先自己把车停在停车场，开一次到车位上，车辆在这个过程中对停车场进行扫描建模，相当于有了停车场的高精地图，这样停一次后，下一次车辆就能自己在这个停车场里，开到指定或者邻近的车位上。如今同样的技术路线，从停车场扩展到了日常通勤道路上，其实对于智能驾驶的软硬件需求，是一致的，换句话说只要这个厂商能够做好，不依赖于高精地图的城市NOA，那么从技术能力上来看，它就已经具备了做好AI代驾模式的条件。
值得一提的是，这个功能不同厂家有不同的叫法，小鹏汽车叫AI代驾，理想汽车叫通勤NOA，大疆车载叫记忆行车等。将来在别的品牌那里或许还会有其他的名字，不过可以预测的是这项功能可能成为智能驾驶发展进程中普及度、用户感知、用户认知的重要拐点。
为什么这么说呢？原因就是汽车厂商花了极高的成本研发出的智能驾驶技术，却没有太多人愿意为其买单，这样基本上没法持续下去了。而且目前很多汽车厂商都在去高精地图化，因为高精地图价格太贵更新太慢，城市领航辅助驾驶不会走依赖高精地图的技术路线，但即便不依赖高精地图城市领航辅助驾驶还是要靠厂商一个城市一个城市的去做适配测试，然后才能开通。但是AI代驾模式的出现有可能改变这一现状，因为AI代驾模式只要具备了基本的软硬件，不需要等待高精地图的更新，也不需要等待厂商的适配与测试，只需要通过用户的手动训练，就可以做日常通勤路线的城市道路记忆领航辅助驾驶，而且这个功能特别适合从小区到单位地下停车场。另外，这样做还有一个好处，就是当越来越多的用户都训练出了自己熟悉的路线，相当于汽车厂商一下子拥有了大量的数据积累，如果再能把不同用户之间的训练数据打通共享，整个城市的领航辅助驾驶进程也会提速，这对于用户来说不管在任何地方都觉得车上装的智能驾驶硬件有用了，最重要的是也能深刻感知到城市领航辅助驾驶的功能了，体验好了，自然愿意为其买单。
这样来看，在国内汽车厂商里蔚小理、华为系、百度系在能力上基本上都已经到位了，剩下的就是要不断靠数据积累、迭代算法、完善模型验证可用性与稳定性，到了2024年判断智能驾驶是否领先的标准，可用可靠的AI代驾或者说通勤模式也是一项重要的考核目标了。
AI代驾模式的出现，不只是智能驾驶技术的进步，更是智能驾驶一种智驾模式的创新，它能够提升高阶智能驾驶硬件的利用率，让用户愿意为这些硬件买单，真正把高高在上的智能驾驶变得大众化，提高用户感知度，提升普及率。
▍什么是AI天玑系统？
AI天玑系统是全⾯接⼊了AI⼤模型的全新AI⻋载操作系统，也是⾸次将AI技术全⾯应用于智能座舱与智能驾驶的操作系统。
适用车型：小鹏X9/G6/G9/P7i Pro和Max版本
推送时间：5月20日
软件版本：XOS5.1.0
核心能力：全⾯接⼊AI⼤模型后系统感知和理解能力⼤幅提升，AI天玑系统能实现让用户拥有专属的⻋载AI助理，同时智驾感知和理解能力赋能座舱，达到无论⼈驾或智驾都能拥有更安全舒心的驾乘体验。
▍智能驾驶方面
小鹏汽车应用端到端大模型，智驾能力将提升2倍，从手写代码到通过端到端大模型的深度应用，用无限的数据输入，生成无限的规则，来应对无限的场景。基于端到端大模型，小鹏汽车的XNGP高阶智能驾驶辅助系统，将完成感知大模型升级和规控大模型上车。具体来看，小鹏汽车将通过行业首个量产的2K纯视觉占用网络大模型上车，用超过200万个高精度网格重构世界，能清晰识别动、静态障碍物的每一个细节。此外，小鹏汽车在行业首个引入基于神经网络的规划控制大模型XPlanner，具备强推理的特点。
在人机共驾方面，小鹏汽车的AI车载操作系统，无论智驾还是人驾，都能让用户拥有更安全舒心的驾乘体验。小鹏汽车的AI保镖通过升级SR感知能力，能够将场景感知范围扩大至1.8个标准足球场大小，可精准识别50+个目标物。通过哨兵模式，可做到24小时在线，提前预警潜在风险。
在AI智驾方面，小鹏汽车出行助理AI司机的视觉感知能力和规控能力得到了很大的提升，通过AI代驾、AI泊车，为用户提供更便捷的智能出行体验。其中，AI代驾功能基于强大的自主学习能力，能够在用户手动驾驶时精准记忆行驶路径。仅需一次学习，系统便可生成定制化的驾驶路线，为用户提供覆盖全程的智能辅助驾驶，每个用户最多可选择10条路线，每条路线最长100km。真正做到了智驾和人驾开得一样好，全国都能用，全程都好用。
▍智能座舱方面
除了智能驾驶应用了AI进行辅助，小鹏汽车的全新智能座舱系统也应用了AI天玑系统。基于AI大模型的深度应用，小鹏汽车的AI小P，将具备更高级别的理解能力，并能通过个性化组合100多项座舱功能，实现精准预测、顺畅沟通及准确执行用户需求。
智能座舱方面天玑系统，可以对导航地图+应用的分屏显示、自定义Dock栏、全场景车感SR界面、升级了AI小P等功能。功能如下：
1、分屏多任务
针对XOS天玑系统实现了导航地图+N种应用的分屏显示。用户可以通过自定义设置，实现了导航地图+SR画面、导航地图+车辆设置界面、导航地图+视频界面、导航地图+音乐界面等分屏任务界面。真正做到了多任务执行互不干扰。
2、自定义Dock栏
通过对中控屏幕下方的Dock自定义，用户可以将常用功能进行排列组合，最多可支持8种常用功能的自定义排列。真正做到高频需求，一键触达。
3、全场景车感SR
在XOS天玑系统的SR界面中，做到了行泊一体的全场景覆盖。同时，该界面还可以进行全向风险的预警，例如通过红绿灯路口、开门预警、变道方向信息、无死角通过窄路等场景。
4、AI小P
天玑系统的小P形象也进行了全新的升级，小P拥有了更多动态，可以更好的融入到不同场景下。小P的唤醒，无需加“你好”两个字，对话更自然。
▍升级核心内容
AI小P，使AI小P更拟人更懂人，包括形象/声⾳/动作/神态拟人化以及上百个动作表情，任务接收自然语言化具备推理能力，表达能力自然语言化使语音交互通俗自然。
AI司机，覆盖行车及泊车的所有出行场景，点到点的智能驾驶，包括驾驶技巧娴熟驾龄每季度持续提升、全国可用全程可用不限城市不限路线。
AI保镖，智驾能力赋能手动驾驶场景，包括感知识别范围⼴类别多，感知范围有1.8个标准足球场大小，可识别含井盖、悬挂路牌等50+目标物。窄路激活全景影像，支持小窗和全屏可选转向激活后侧影像，告别变道盲区。
小P画画&小P百科，接入AI大模型，实时联网提供生活服务，小P可完成用车管家、百科老师、神笔小P及生活助理般的拟⼈陪伴体验。例如：小P画一张风景画。
小P看世界，小P感知理解车外世界，基于强大的感知和理解能力，小P可以感知并理解车外的真实物理世界，协助完成用车过程中的指令需求。例如：前⾯这个是什么车，贵吗？
AI代驾，AI学习⼀遍记忆点到点可用的智能驾驶，基于AI⾃主学习能力，在用户手动驾驶时，系统主动记忆用户的驾驶路径，24h内即可生成定制路线，可使用覆盖整条路线的智能辅助驾驶。覆盖范围：不限城市范围、不限道路属性，不依赖XNGP开城节奏，覆盖全国城市、县城、乡镇的国道、省道、县道及多属性复合路线。单个用户可存储10条记忆路线，最长可达100km，最细可覆盖小路，最难可搞定掉头。
AI泊车，泊车过程中选定车位后，下车关门，无需手机遥控，车辆自动泊入车位，手机App可随时暂停和继续完成⻋辆泊入。
XNGP：覆盖高速及城区的高阶智能辅助驾驶，基于普通地图发起导航并激活功能后，⻋辆可完成A点到B点的智能导航辅助驾驶，并可实现顺利通过红绿灯、完成左右转、变道、合流通⾏等典型交通场景，以及⻋道内侧偏主动避让货⻋等⼤型⻋辆、⾬天夜晚安全降速、根据绿灯倒计时和绿灯闪烁路⼝提前降速、鬼探头场景预防性减速及合流⼊⼝侧向来⻋主动鸣笛等。
▍AI天玑系统技术亮点
一、AI大模型深度应用
技术路线：侧重于推理⽽⾮内容生成的路线，让⼩P拥有更高级的理解能力，通过推理来识别和预测用户需求。
技术亮点：
行业首个座舱交互全流量使用LLM进行用户满足的算法架构
1.超过100+的座舱功能控制编程接⼝API，可结合⼤型语言模型LLM进⾏随意组合使用。
2.每次语⾳交互均使用LLM进⾏语义理解，可支持超长上下文理解，以及多⾳区交互等。
3.深度结合LLM的推理能力，可完成多项用户需求推理及执⾏，包括座舱内空间位置推理，用户模糊意图理解等。
4.在保障实时性的用户体验基础上，可⽀持⼤模型参数规模7B到30B模型的切换，进⼀步提升整体的座舱用户交互体验。
多模态及定制化能力的深度融合（+智谱AI）
1.借助LLM的能力，与智谱AI合作实现图文生成，故事生成等多模态AIGC相关能力满足。
2.深度结合小P约定等定制化能力，单模型统⼀所有⼦任务，更精准拆解与推理用户需求。
二、XNet深度视觉感知神经⽹络2.0
技术说明：基于BEV+Transformer架构，将多个摄像头采集的数据，进⾏多帧时序前融合，输出BEV视角下的动态⽬标物的4D信息（如车辆，二轮车等的大小、距离、位置及速度、行为预测等），以及静态目标物的3D信息（如车道线和马路边缘的位置），利用神经网络实现端到端数据驱动算法迭代，不依赖高精地图，使之具备时空理解的感知能力。
技术亮点：
1.XNet2.0时空理解能力增强：融合动态、静态和占用⽹络，三⽹合⼀，感知范围提升200%，感知类别增加11种。
2.行业⾸个运用⼤模型具备时空理解能力的感知：可读懂路牌等⽂字信息，理解不同城市特点交通元素，具备时间观念。
3.行业⾸个量产的2K纯视觉占用⽹络：裸眼3D，像激光雷达⼀样强⼤。用超过200万个⽹格重构世界，对现实世界中的可通⾏空间进⾏3D高真实度还原，清晰识别动静态障碍物的每⼀个细节。⽹格精度为业内最高精度的2倍以上，看世界的清晰度犹如2K电影与普清电影的区别。
三、XPlanner规控大模型上车
技术说明：XPlanner是行业⾸次引⼊基于神经⽹络的规划控制⼤模型，率领⾏业⾸次进⼊感知+规控的⾃动驾驶⼤模型2.0时代。从图像数据的感知输⼊，到⾏驶路径的规划控制，实现⽐⼈类手写规则的代码更智能、泛化能力更强、智驾系统开发效率更高，让智能驾驶体验更接近⼈类驾驶员的驾驶过程，进⼀步加速高阶智能导航辅助驾驶的大范围普及。
技术亮点：
1.海量数据时刻训练：通过海量优秀⼈类驾驶数据投喂，实现数据驱动，不断提升XNGP智驾规控能力，针对XNGP⾏驶路径和应变策略做针对性训练。
2.驾驶策略高度拟人：基于海量⼈类驾驶员训练数据的⽀持和驱动，实现路径规划策略更拟人，尤其在路⼝左右转时，行驶策略与成熟⼈类驾驶员高度接近。
3.模型能力不断进化：模型上车后可通过影⼦模式运⾏，实时采集脱敏数据，持续迭代进化，提升规控体能力，为用户提供安全、舒适的智能驾驶体验。
