商汤绝影UniAD端到端自动驾驶解决方案和多模态场景大脑丨商汤绝影确认申报2024金辑奖·中国汽车新供应链百强

申请技术丨商汤绝影UniAD端到端自动驾驶解决方案 和 多模态场景大脑

申报领域丨大数据及人工智能

独特优势：

UniAD的独特优势： 2022年底，商汤及联合实验室就提出了行业首个感知决策一体自动驾驶通用模型UniAD，首次将检测、跟踪、建图、轨迹预测，占据栅格预测以及规划等模块整合到一个基于Transformer的端到端网络框架之下。 2023年，得益于行业领先的性能表现，《Planning-oriented Autonomous Driving (UniAD)》(以路径规划为导向的自动驾驶)荣获2023年国际计算机视觉与模式识别会议(CVPR) 最佳论文，掀起了端到端自动驾驶的研发热潮。 2024年4月25日，商汤绝影面向量产的真·端到端自动驾驶解决方案UniAD在北京车展上完成上车演示首秀，率先实现中国端到端自动驾驶从技术创新到车端部署的关键突破。 多模态场景大脑的独特优势： 算力是AGI时代最重要的基础设施和竞争的关键，商汤前瞻布局打造商汤大装置，目前总算力规模高达12000 petaFLOPS，可为绝影多模态场景大脑的高效迭代提供强大算力支撑。 在模型能力上，4月23日，商汤科技发布全新升级的“日日新SenseNova 5.0”大模型。6000亿参数的“日日新5.0”采用混合专家架构(MOE)，具备更强的知识、数学、推理及代码能力，成为国内首个全面对标甚至超越GPT-4 Turbo的大模型，多模态能力领先GPT-4V，尤其是在OpenCompass（多模态综合榜单）位列第一。在多模态大模型的基础能力上，商汤绝影在智能汽车行业保持领先。 商汤具备强大的端侧模型能力，基于端云结合的架构，商汤端侧大模型大幅超越同量级大模型，越级比肩7B、13B大模型，更适合车端部署。多模态大模型的车端布局和应用，商汤绝影也领先业界。 此外，以多模态场景大脑为核心，商汤绝影还能提供更多基于汽车场景的AI大模型座舱产品。以商汤“大医”医疗健康大模型为桥梁的“旅医”，让用户在座舱内就可以获得专业及个性化的健康管理服务，让出行更安心。基于AIGC大模型技术的“神笔”，可以把用户简单的绘画线条转变成具有美感的艺术作品，增添驾乘乐趣。

应用场景：

UniAD的应用场景：2024年，城区NOA落地成为中国自动驾驶行业的主战场。然而随着智驾的落地场景从高速进入城区，道路环境的复杂度急剧提高，基于规则的传统智驾方案只能通过增加一行又一行的代码来解决不断出现的长尾问题(corner case)。但有限的规则难以完全覆盖无限的驾驶场景和道路状况， 另一方面，为了在智驾领域不落后于同行，车企们都在不断增加智驾方案的开城数量为就需要铺设更多的人力、书写更多行代码，投入大量资源，成本高昂。 基于规则的传统智驾方案的天花板已经出现，想要以更低的成本落地更多更复杂的场景，进而实现全国都能开，必须依靠新一代自动驾驶技术方案——以商汤绝影UniAD为代表的端到端自动驾驶。 目前，搭载UniAD智驾方案的实车无需高精地图、依靠纯视觉感知已经能够自如应对复杂的城区道路，甚至可以流畅、安全地行驶在无标线的乡村道路上。 多模态场景大脑的应用场景： 基于地理位置推荐符合用户喜好的餐厅、介绍用户感兴趣的外部自然景物，并进行优质景点推荐是绝影AI大模型座舱产品的基础功能。凭借强大的多模态感知能力，搭载商汤绝影方案的车辆能准确感知车外信息，包括周围车辆的车型、标志性建筑物等，以语音、图片或视频等方式为舱内人员提供更为准确和全面的内容，帮助用户了解和掌握外部环境信息。 大模型上车的能力不止于此。根据对于用户行程安排和实时交通数据的精准分析，结合用户的表情和语气，商汤绝影“场景大脑”能够及时发现驾驶员可能面临的迟到风险，并提供两条可选路线与预计抵达时间，用户可通过手势或语音命令进行确认。同时，在得到确认后，系统还可以根据用户的表达习惯向相关会议参与者发送通知，告知相关情况，为用户提供专业高效、温暖贴心的智能出行体验。 “旅医”这个健康管理的大模型产品，它是以“大医”医疗健康大模型为桥梁，联结健康检测及医疗生态服务，首次在座舱内对用户进行专业及个性化健康管理服务，实现健康咨询、在线挂号、检测、报告解读、用药咨询、健康科普等一系列服务。 这个功能对于怀孕的用户来说特别友好，当感知车内有孕妇时，“旅医”会主动感知和询问孕妇健康状态，当判断需要产检或者其他医疗援助时，会主动推荐相应的医疗机构，征得用户同意后，协助完成挂号等一系列操作。 近期小米SU7的上市与交付备受关注，商汤“日日新”大模型体系全面助力小爱语音助手车载场景应用，为用户提供智能座舱的升维体验。

未来前景：

UniAD的未来场景：随着端到端方案的推广，自动驾驶技术的开发和落地将从现阶段铺设大量人力、增加代码行数的传统方式转变为依靠持续算力投入和高质量数据输入的全新模式。 拥有更高能力上限、更快迭代效率、更低系统成本的感知决策一体大模型UniAD作为真·端到端技术方案，引领智驾技术路线的演进。 在UniAD的基础上，商汤绝影正在研发面向下一代自动驾驶技术——DriveAGI，它是基于多模态大模型对端到端智驾方案进行改进研发。 DriveAGI是自动驾驶大模型从数据驱动向认知驱动进化，超越司机的概念，更像人一样理解整个世界，具备更强的推理能力、决策能力以及交互能力，是目前看来自动驾驶中最贴近人类思维模式、最能理解人类意图并有最强解决驾驶困难场景能力的技术方案。 即便在0样本的情况下，DriveAGI也可以针对不同道路环境或交通状况并做出精准决策，假如在路上遇到救护车，它可以自动避让。或者在绿灯情况下，同时有交警在路口指挥交通，DriveAGI能够理解交警的手势并且将这类信息的优先级提高到红绿灯等道路信息之上。 通过打造DriveAGI，商汤绝影将实现由认知驱动的自动驾驶，智驾方案的适用场景更宽、性能更高、门槛更低，向着完全无人驾驶迈出重要一步。 此外，DriveAGI基于多模态大模型打造，具有强大的交互能力，在体验上进一步做到可感知、可交互、可信赖。例如，在自动驾驶的状态下，导航信息显示车辆需要在下一个路口调头才能到达目的地，但主驾位上的用户知道可以提前在一个缺口直接拐弯，用户可以语音命令它“直接左拐”，系统会根据实时路况对命令进行反馈操作。 商汤绝影正在打破智能座舱和智能驾驶两者的界限，推动舱驾一体的架构变革，加速智能汽车驶入AGI全新未来。 多模态场景大脑的未来前景： 绝影已经和一家国内领先的新势力车企深度合作，多模态大模型部署上车，将让智能汽车全方位感知并理解车外路况、天气等环境数据和舱内所有驾乘人员的对话、表情及用户画像等各类信息，针对性地提供更多主动关怀、深度个性化的产品和服务。 面向通用人工智能的未来，商汤绝影还在进一步探索舱驾融合，以实现智能驾驶和智能座舱在硬件、软件及应用层面的全面融合，提升用户体验、降低系统成本，进一步打破舱内外的界限和束缚，涌现更多创新功能，让智能汽车向着超级智能体进化。

金辑奖介绍：

“金辑奖”由盖世汽车发起，旨在“发现好公司，推广好技术，成就汽车人”， 并围绕着“中国汽车新供应链百强”这个主题进行展开，本届金辑奖重点聚焦智能驾驶、智能座舱、智能底盘、汽车软件、车规级芯片、大数据及人工智能、动力总成及充换电、热管理、车身及内外饰、新材料十大细分板块，进行优秀企业及先进技术解决方案的评选，向行业内外展示这些优秀的企业和行业领军人物，共同推动行业的发展和进步。