2026年6月26日，在第八届AI智能座舱大会暨2026第四届车载显示与感知技术革新峰会上，联友智连科技有限公司舱驾开发服务部总监杨威围绕智能座舱交互的演进历程与AI原生技术实践发表了主题演讲。 杨威指出，智能座舱交互正从物理按键、屏幕触控、语音指令向多模态自然交互演进，而AI大模型的出现正在重塑整个交互架构。联友智连推出的多模态推理中间件服务，通过统一的AI大脑替代传统三段式语音方案，实现了从quot;工具调用quot;到quot;意图理解quot;的跨越，让座舱真正具备记忆、推理与安全兜底的能力，推动人车交互从quot;指令式quot;走向quot;对话式quot;。 联友智连科技有限公司 舱驾开发服务部总监 以下为演讲内容整理: 智能座舱交互的四个演进阶段 回顾智能座舱交互的发展历程，可以清晰地划分为四个阶段。第一阶段是基于物理硬件的交互，以传统实体按键为代表。这种交互方式的短板在于用户需要关注按键的具体功能，且按键与车辆控制功能高度绑定，拓展性较差。随着汽车电动化、智能化水平提升以及车联网技术升级，第二阶段以屏幕交互为主，实体按键大幅减少，用户可以通过触屏与整车进行更丰富的交互。但屏幕交互要求驾驶者在操作时将注意力转移到屏幕上，存在分心驾驶的行车风险。第三阶段是语音识别交互，得益于语音技术的成熟，用户可以完全释放双手，仅通过指令即可实现车窗开闭、空调调节、导航设置等操作，显著提升了交互的安全性和便利性。但传统语音采用三段式技术架构，仅能识别预设的固定句式和词槽，交互方式较为生硬，理解能力有限。随着AI技术的发展，第四阶段即多模态交互正在成为主流方向，它能够弥补语音在理解能力和个性化表达上的不足，实现更自然、更丰富的人车交互体验。 多模态融合从割裂走向原生 多模态交互的发展本身也经历了一个演进过程。原有的单模态语音技术主要基于文字的理解与表达，后来DMS、OMS等摄像头的引入，使得语音可以结合图像信息实现双模态交互。但这一时期的双模态本质上是割裂的图像负责图像的识别与理解，语音仅将图像识别结果进行陈述和表达。如今，随着VLM、Omni等原生多模态大模型的出现，数据特征得以在更深层次上融合，模型能够同时处理视觉、语音、文本等多种信号，实现对用户复杂意图和舱内空间场景的精准理解。这种原生的多模态融合，为座舱交互带来了质的飞跃。 AI原生架构破解传统语音困局 传统的语音助手方案采用三段式架构，前端经过ASR语音识别、自然语言理解再到语音合成，其中自然语言理解环节又拆分为多个独立模块，维护成本极高。针对不同车企客户和不同车型的功能差异，这些模块的实现相互割裂，复杂规则和技能调度依赖大量代码定义，导致语音迭代升级周期拉长，整车OTA节奏变慢。同时，固定句式对口语的理解能力较差，无法融合摄像头、车控信息、车内外环境等多元数据，整体交互体验生硬。 为解决上述问题，联友智连推出面向智能座舱的AI原生多模态推理平台MSP，该平台采用ReAct引擎形式，在感知层不再区分语音、图像、GUI、舱内外摄像头、底盘CAN信号等信源，而是将所有信号统一输入大模型。大模型能够原生处理图像、语音和音频信号，无需对输入进行格式化区分。 在核心推理层，整个架构只部署一个多模态大模型作为统一的quot;大脑quot;，负责对前端信号输入进行深入理解并输出相应技能。在执行层面，未来的座舱应用不再以垂直化、隔离化的方式提供服务，而是将各种能力以原子化技能的形式暴露给推理中间件，从而完整打通车上的所有原子技能，让真正的大脑只存在于推理层，与输入和技能接入实现解耦。 记忆引擎让座舱越用越懂用户 为实现千人千面的个性化交互，联友智连设计了双通道记忆引擎。其一是长期记忆偏好，记录用户明确表达的个人喜好，如偏好的温度设定、常去的餐厅或地点、喜欢的音乐风格等。其二是情景记忆引擎，基于上下文情境进行关联，例如用户前一天去过某地，当天可以自然地说quot;还想去昨天的地方quot;，或quot;上次看的电影继续播放quot;。这两种记忆形式共同体现在推理过程中，让座舱能够展现个性化与千人千面的服务能力。所有记忆数据均存储在本地磁盘中，随着使用频次增加，记忆不断积累并自动筛选更新，实现越用越好用的体验。 安全门机制为AI交互兜底 大模型存在幻觉问题，其概率输出特性可能导致不可预知的结果。为此，联友智连在整个推理框架中引入了安全门机制。在注册新技能时，系统会明确定义该技能的安全边界和可用权限，通过权限限制来判断技能是否应继续执行、放弃或拒识。例如，在夜间行驶场景中，用户发出quot;关闭大灯quot;的指令，系统调用大灯控制技能时，可以通过自然语言方式预先定义该技能在哪些情况下不允许被控制、在哪些情况下应做相应调节。又如高速公路行驶时，即使乘客感到热，也不应允许开窗，尤其是雨雪天气。这些安全规则通过自然语言描述即可完成约束，在技能调用时自动进行安全裁决，确保车辆行驶安全。 场景落地与未来挑战 基于MSP平台，联友智连已在多个场景中实现落地验证。 在复杂语义理解方面，系统能够处理quot;最近听到一首歌，歌词叫什么暗恋的烟火，是什么歌来的quot;这类模糊、口语化等多轮询问，并连续回答歌曲名称、发行年份、专辑信息，随后执行播放和收藏操作，整个过程跨域自然、无需用户分步骤指令。 在记忆场景方面，系统支持短期上下文的回溯纠错，例如用户误退出导航后，通过quot;不小心退出了，再给我导航去刚刚的地方quot;即可恢复导航，同时也支持长期个性化指令的录制与自动执行，如记录quot;想抽烟quot;时的车窗、天窗及空调联动操作，或quot;车里好热quot;时的温度与风量组合调节。 在多模态感知方面，舱内手势识别、DMS、OMS等视觉信号可直接输入多模态大模型，用于理解用户在舱内的真实意图，并扩展至危险行为识别、AI增强哨兵等应用。 当前，联友智连在交互响应性能和交互质量上均已达到较好水平。面向未来，挑战主要集中在三个方面。其一，隐私数据合规方面，人脸信息、语音原始数据等敏感信息若在云端处理，涉及合规与脱敏问题，端侧大模型部署是重要方向，要求算力平台进一步升级，当前8155、8295等主流座舱平台难以高效运行7B、14B及更高参数规模的模型，算力需求将持续增长，同时需做好模型的轻量化与端侧部署优化。其二，随着整车电子电气架构升级，各ECU和域控制器数据逐步打通，更多原子化技能需要接入大模型交互系统，以实现更丰富的服务应用。其三，如何在端侧保证quot;大脑quot;足够聪明，使推理准确、精确地符合用户需求，仍需持续深耕突破。 关于联友智连 联友智连科技有限公司成立于2021年3月，注册资本2亿元人民币，是深圳联友科技有限公司的全资子公司。公司聚焦于汽车智能化零部件及汽车工程等领域的研发，重点布局智能网联、智能域控、AI大模型及智能舱驾产品与开发服务，助力汽车智能化的发展，同时沉淀自身生产制造和创新能力，致力于成为汽车前沿科技的最佳实践者，以先进的科技技术赋能智慧人·车·生活。 郑重声明：此文内容为本网站转载企业宣传资讯，目的在于传播更多信息，与本站立场无关。仅供读者参考，并请自行核实相关内容。 |
