AI赋能下的智能汽车,究竟会带去怎样的体验?
近日,在2025上海车展上,商汤绝影携系列生成式AI汽车创新产品亮相。作为最专注于汽车行业的AI公司,商汤绝影全面展示了生成式智驾R-UniAD技术方案,并发布近实时在线交互的4D世界模型“绝影开悟2.0”,打造智能驾驶的新路标。
面向智能座舱,商汤绝影行业首发专为车载AIOS打造的AI内核“绝影千机”,助力车企打造下一代AI OS,“家庭新成员”New Member全新升级,具备多模态识人、深度思考、免唤醒多人多轮对话等功能。此外,商汤绝影的健康管家、安全卫士和3D交互等AI座舱创新产品也相继亮相,全场景守护出行体验。
商汤绝影CEO、商汤科技联合创始人、首席科学家王晓刚表示:“真正的AI汽车是将生成式AI深度融入智驾和座舱,既让辅助驾驶安全变得更有确定性,也要让每一辆车拥有‘有趣的灵魂’,成为真正懂你、爱你、守护你的家庭新成员。”
智驾是如今每家车企的必争之地,作为供应商为企业提供更领先的智驾解决方案,是所有供应商共同的目标和追求。2025年2月,商汤绝影发布行业首个与世界模型协同交互的端到端技术路线R-UniAD,通过世界模型生成在线交互的仿真环境,以此进行端到端模型的强化学习训练,以打破数据瓶颈,提升系统性能上限。
本届上海车展上,商汤绝影全面展示了R-UniAD技术方案,基于世界模型和强化学习两大核心技术,构建集“视觉-语言-行动-强化学习”于一体的VLAR技术架构,实现生成式智驾的核心突破。
施工占道场景是辅助驾驶领域的棘手难题,也是交通事故频发的重要场景。商汤绝影现场演示了针对“施工占道刹停”场景,R-UniAD如何依托“VLAR”增强模型能力。
首先,以“施工占道刹停”路测视频作为输入,R-UniAD基于“绝影开悟”世界进行模型4D仿真复现,然后端到端模型生成该场景下各种可能驾驶策略,并与世界模型生成的环境交互,反复强化学习中找到最优路径,能预判施工占道,丝滑变道绕行。经过泛化训练后,遇到类似场景,端到端模型也能及时变道,并显著提升对此类施工场景的泛化交互能力。
生成式R-UniAD突破了现阶段端到端范式下数据、安全和性能的三大瓶颈,将实采场景数据的需求降低两个数量级;同时,基于强化学习算法,模型充分探索多元场景的安全边界;最终,R-UniAD将能够实现远超人类的驾驶能力,打造智能驾驶的新路标。
世界模型是生成式智驾的基石所在,2024年11月,商汤绝影发布了行业标杆级别的“绝影开悟”世界模型,并已经应用于真值数据的生产。去年“绝影开悟”世界模型主要聚焦2D视频生成技术的打磨。今年上海车展,“绝影开悟”升级为2.0版本,进化为近实时在线交互的4D世界模型,能够实现“4D空间自由交互”,成为商汤绝影决胜智驾战场的重磅武器。
“绝影开悟2.0”具备三大能力,首先是“面向量产的数据生成”,它具有多样性场景的可控生成的能力,能一键生成极端高风险场景,为模型训练提供了海量且丰富的训练数据。其次它能够实现“复杂场景自由复现”,可以根据不同的需求,随心所欲地修改和调整场景中的各种要素,改变道路的布局、车辆的速度和类型,助力重构仿真测试场景。
最后,“绝影开悟2.0”具备近实时交互能力,比行业 SOTA 提升 5 倍之多,让仿真训练过程更加高效和逼真,车辆的决策和反馈能够几乎在瞬间得到响应;同时感知结果接近真实精标数据98%,能避免因数据风格差异带来的 Sim-to-Real 迁移时能力退化问题,为端到端模型打造“云端虚拟训练场”。
生成式AI不仅带来了智驾新范式,同时也在深度融入智能座舱。商汤绝影重磅发布行业首个专为车载AIOS打造的AI内核“绝影千机”,助力车企打造下一代AIOS。最核心的三大技术包括MOE多模态大模型、类人记忆框架以及原生智能体框架。同时,AI 基础系统模块、AIOS 工具链和生成式 UI等外围技术,为三大核心模块提供支持与交互。
依托于“日日新SenseNova V6”基模型,商汤绝影构建了覆盖 0.1B 至 70B汽车垂类模型矩阵,模型首字延迟小于300ms,吐字速度高达 47 Tokens/s,性能超越DeepSeek,还能在快慢思考之间自如切换,契合每一种场景需求。
同时,具备类人情感的座舱系统,离不开记忆。商汤绝影构建了业内首个端侧类人记忆框架,赋予AIOS真正的认知力与成长性,每一次交互都让它更懂用户。
商汤绝影去年发布了“A New Member For U”(你的家庭新成员),让每一辆车拥有“有趣的灵魂”。今年上海车展,New Member迎来全新升级。
首先New Member拥有了多模态识人能力,不需要用户专门进行注册,它在座舱多人交互的过程推测出每个人的名字,与相貌的结合,人物之间的关系。New member不仅“认识你”,还能“理解你”,在和用户长期的互动过程当中,它不但能够记住兴趣爱好,还能记住生活的点滴,产生共情,从而更贴心地进行互动。
同时,它还具备深度思考的能力,表达会更加生动有趣。当用户提出需求时,小影不是被动响应,而是会结合记忆与场景,主动分析疲惫情绪、家庭需求甚至天气变化进行综合性的深度思考,然后给出最合适的方案,成为懂你、会揣摩的“聪明搭子”。
最后,New Member在业内首次实现免唤醒的多人多轮对话能力。之前行业做到的是大模型一对一的交流,如今New Member未被唤醒也能关注并理解座舱内成员间的对话,并能随时参与到对话当中,做到“不过度打扰,但时刻陪伴”,展现“有趣灵魂”该有的模样。
比如四个同事下班后临时决定一起聚餐,但四个人住的地方分散在上海各区,彼此距离较远,同时饮食偏好也有差异,New Member能够听懂每个人的潜台词,综合回家的距离、口味诉求,就像一个“规划大师”,给出了大家都能接受的推荐餐厅。
智能座舱也是如今智能汽车的核心之一,基于语言大模型、多模态大模型、文生图大模型和“大医”医疗大模型等组成的 AI 大模型体系,商汤绝影构建了健康管家、安全卫士、3D交互等AI座舱创新产品矩阵。
商汤绝影已量产上车行业首个医疗AI大模型产品“旅医”。依托行业领先的医疗检测模型和「大医」大模型,绝影对用户进行对标医疗级的健康监测,打造用户专属健康档案,针对性推送健康科普内容,打造全出行周期的健康管家,同时,还将通过整合第三方线上医疗服务的能力,贯通车舱医疗生态圈,助力“旅医”成长为用户的全场景私人医生。
安全始终是智能汽车的基石。商汤绝影将展示行业领先的DMS/OMS、多模态哨兵等多项安全产品,守护全场景的生命与财产安全。本届上海车展,绝影发布“驾驶失能”产品,通过传感器检测驾驶员面部、肢体姿态,结合车辆操控行为和呼气酒精含量,实时判断其状态并及时提醒,一旦驾驶员失去驾驶能力,自动安全停车并拨打求救电话,保障出行安全。
人眼3D视线技术也带去更多功能和体验,比如与辅助驾驶深度融合。结合对舱外的人、车及其他障碍物的检测,3D视线可实时识别潜在风险。如当前方有行人突然奔跑欲横穿马路,而驾驶员视线未关注该方向,系统便会主动预警,提醒注意行人穿越风险。同时,AEB等安全功能的触发灵敏度可根据3D视线智能调整,若驾驶员持续注视接近的障碍物,系统会降低预警频率,甚至无需提醒;反之,若驾驶员视线偏离,系统则保持正常灵敏度,及时响应。
打通舱内外的3D视线还能让用车体验更流畅。以离开停车场为例,现在用户要拿出手机扫码,流程长、体验差。通过3D视线结合车外摄像头,用户只需注视出口处二维码的同时说“我要缴费”,系统即可自动完成扫码支付,实现更便捷的无感通行。
商汤绝影的生成式AI技术和产品持续创新,商业化落地也全面开花,量产交付正在加速推进。在辅助驾驶领域,商汤绝影的量产方案目前已合作4家车企,上车7款车型,2025年更将厚积薄发,全力推进辅助驾驶方案的量产交付。
今年3月底,绝影和广汽联合打造的行业首批基于地平线征程®6M的辅助驾驶方案正式量产上市。今年还有更多基于地平线征程®6打造的辅助驾驶方案量产落地奇瑞等众多车企伙伴,在英伟达DIRVE AGX Thor平台部署的绝影UniAD一段式端到端量产方案也将于2025年第四季度量产交付东风汽车。
作为中国智能座舱AI软件的领头羊,商汤绝影的座舱 AI 软件市场份额已连续5年位列行业第一,并打造了超过20个行业首发的智能座舱产品与功能。2025年初,商汤绝影联手知名车企伙伴,实现行业首个原生流式多模态座舱产品量产上车。行业首个医疗AI大模型产品“旅医”于2025年3月正式量产上车星途揽月,为用户打造全场景的健康管家。
截至2024年底,商汤绝影已与超30家国内外车企达成合作,覆盖130余款车型,量产交付累计突破360万辆。