【导读】作为智能汽车计算芯片的引领者，黑芝麻智能从成立之初就意识到了软硬一体的重要性，在开发芯片的同时也组建团队对智驾算法进行研究，保证产品能够满足当下和未来数年的算法发展需求。
最近一两年，"端到端"是自动驾驶领域最热门的话题，不管是整车企业还是自动驾驶公司，开发布会几乎言必提"端到端"，整个行业进一步拥抱AI技术。
自动驾驶系统是一个软、硬件高度耦合的系统，当软件算法跨入端到端的时代，如何在不同算力的芯片上都能够发挥出足够好的性能？
作为智能汽车计算芯片的引领者，黑芝麻智能从成立之初就意识到了软硬一体的重要性，在开发芯片的同时也组建团队对智驾算法进行研究，保证产品能够满足当下和未来数年的算法发展需求。
黑芝麻智能计划推出支持华山及武当系列芯片的端到端算法参考方案。该方案采用One Model架构，并在决策规划单元引入了VLM视觉语言大模型和PRR行车规则的概率化表征子模块，进一步提升了智驾系统的决策规划能力。
该方案分为标准版和高阶版两个版本。前者在单颗武当C1200家族中算力平台上即可部署，而后者可在即将推出的华山A2000家族中发挥全部实力。
一、采用One Model架构 最大化信息传递
现阶段量产的端到端系统，相当一部分采用了分段式架构，即将端到端系统分成几个不同的?？榧读?。虽然这些模块也使用AI模型进行工作，但各?？橹淙源嬖谌宋ㄒ宓慕涌诶创涫?，这就必然导致有一定的信息损失，加上不同?？榫２捎枚懒⒀盗返哪Ｊ剑湫Ч⒎侨肿钣?。
黑芝麻智能的端到端智驾系统，一步到位采用了One Model的架构。一端可输入摄像头、激光雷达、4D毫米波雷达、导航地图等信息，另一端直接输出驾驶决策所需要的信息，即本车的预期轨迹。
端到端的总体架构
具体到模型内部，其可以分为BEV编码器和决策（轨迹预测）两个神经网络单元。
BEV编码的工作过程中，车外摄像头或 激光雷达、4D 毫米波雷达等各类传感器的数据进入 ResNet 和 FPN 等主干网络，提取并融合多层特征，生成多尺度特征金字塔。经过几何变换，特征图对齐成俯视视角（BEV），实现统一的空间表示。
随后，系统通过多尺度时序聚合将当前与历史 BEV特征融合，减少噪声干扰，增强动态物体感知精度和系统鲁棒性，最终生成特征图（Feature Maps）传递至决策单元，用于生成车辆的预期行驶轨迹。
BEV和决策两个神经网络单元之间传递的是特征图(Feature Maps)。由于这些基础特征图没有人为定义的接口和处理过程，所以信息可以更为原始和完整地传递，以便于网络进行优化和决策。
与此同时，用Feature Maps将两个单元进行连接，还可以以back-propagation反向传播的方式——即通过计算最终输出的轨迹与实际目标之间的误差，然后将该误差反向传播到决策和BEV单元——来进行两个神经网络单元的联合训练和参数调优。
通过前面的分析可以看出，黑芝麻智能的One Model架构既解决了多?？橹淇赡艽嬖诘男畔⒋菟鸷奈侍猓质迪至烁兄途霾叩ピ牧涎盗?，实际效果会更佳优秀。
二、决策单元引入多源输入 提升轨迹预测准确性
在此基础之上，黑芝麻智能团队还更进一步，通过引入VLM（视觉语言大模型）和规则的概率化表征（Probabilistic Representation of Rules，以下简称 PRR）两个?？?，来进一步提升端到端系统决策的准确性和灵活性。
VLM 模型基于开源 VLM 模型改进而来，该模型可同时接收图像和语言输入信息（比如用户的导航指令），然后通过 Transformer 结构中的交叉注意力机制将视觉和语言两种模态的信息相互关联，从而让模型更深层地理解当前的场景，并以符号特征的形式，将对于场景的理解输入到决策单元中。
例如，当系统识别到行人在斑马线上移动的视觉信息，VLM 可以通过语言规则的匹配，理解这个场景是"行人在过马路"，并且知道此时应该停车或者减速——将这种信息传递给轨迹预测模块，显然能够帮助其做出更加正确的驾驶决策。
除了有 VLM 子?？榈陌镏?，决策单元还有行车规则的概率化表征?？椋≒RR）提供信息。
规则的概率化表征?？?/p>
该模块用于将人类的驾驶常识和交通规则转化为自动驾驶系统可理解的概率分布，再通过概率化轨迹采样生成符合交通规则的候选轨迹，并为每个选项赋予相应的概率权重。例如，在交叉路口，系统可以生成"等待""缓慢通过"等符合规则的选项，并赋予相应的优先级。
此外，该?？榛拱嬖虻挠镅悦枋霾糠郑煌ü嬖蚝图菔恢噶畋嗦胛镆逄卣?，使其能够被决策模块理解和应用。例如，红灯停车或右转让行的规则会生成特定语义向量。
PRR输出的两种信息均会进入到决策单元，与BEV单元输出的特征图、VLM输出的场景理解特征互相融合，最终生成一条最佳的目标行驶轨迹。
最后补充一点，VLM和PRR?？楸局噬鲜嵌说蕉讼低车脑銮啃?quot;外挂"，它们额外引入了类人的对于场景的综合理解能力，以及常识和交规的语义表征，从而在扩展轨迹决策能力的同时维持了端到端系统的整体工作原理， 其本质上相当于一个功能增强了的One Model架构。
三、用扩散模型生成轨迹，应对不同环境
介绍完各个单元和?？楹?，我们再来重点看一下这套端到端系统的核心——决策部分，到底是如何进行轨迹预测的。
这里主要使用了扩散模型这种生成式模型。工作时，系统会首先生成多个可能的候选轨迹，然后通过逐层多次去噪筛选出最优轨迹。例如，在行驶过程中，如果系统预测到前方车辆可能变道，扩散模型会生成多个候选路径，并在去噪过程中逐步排除高风险的路径，确保最终选择一条安全的行驶路径。
基于扩散模型的轨迹预测?？?/p>
这种轨迹生成方法具备多种优势。首先，扩散模型采用逐步迭代的去噪过程，每一步都对预测进行细化，从而逐渐优化输出。相比于传统一次性生成结果的模型，扩散模型能够更精细地控制输出，使轨迹预测更加平滑和自然。这一特性尤其适用于动态环境中的轨迹预测，确保模型在复杂场景中生成的路径符合实际行驶需求。
其次，扩散模型的核心设计是去噪。这使其在面对噪声数据或带有随机扰动的输入时，依然能够稳定地生成合理的轨迹，让系统在应对复杂环境时具备更强的鲁棒性。
最后，该模型在处理长尾场景时表现出色，比如极端天气、异形障碍物、突然横穿的行人等，增加了智驾系统的泛化能力。
四、C1200可快速部署，A2000将大显身手
黑芝麻智能的端到端参考方案，以其创新的One Model架构和多?？樾杓?，成功解决了传统分段式端到端系统中信息损耗、训练分离等核心问题。在决策单元引入VLM和PRR?？楹?，这套方案进一步提升了决策能力，无论在场景理解、轨迹规划，还是动态环境适应方面，都达到了新的高度。这种设计不仅提升了端到端系统的整体性能，也为行业开创了更智能、更高效的技术路径。
当然，再先进的算法也离不开芯片的支持。黑芝麻智能在设计端到端参考方案的同时，充分考虑了软硬件结合的实际需求，使其方案可以灵活适配不同性能的芯片平台。
不含 VLM 和 PRR 模块的标准版方案，可在黑芝麻智能现有的武当 C1200家族芯片上高效部署，满足车企和Tier1等合作伙伴基于算法的参考方案快速适配硬件并开发量产端到端系统的需求；而随着未来黑芝麻智能华山A2000家族芯片的推出，则可以用超高算力支持包括VLM和PRR?？榈母呓装娑说蕉讼低车牟渴穑斩丝突峁└咝阅艿闹羌萏逖?，并为L3和L4级自动驾驶做好准备。
未来，随着端到端架构的不断完善和芯片技术的迭代提升，黑芝麻智能将继续引领行业发展，为中国智能汽车产业的加速崛起贡献更多智慧与力量。
免责声明：本文为转载文章，转载此文目的在于传递更多信息，版权归原作者所有。本文所用视频、图片、文字如涉及作品版权问题，请联系小编进行处理。
推荐阅读：
LED 调光引擎：基于 8 位 MCU 的开关模式可调光 LED 驱动器解决方案
雷诺旗下安培与意法半导体签署碳化硅长期供应协议，合作开发电动汽车电源控制系统
如何利用英飞凌MOTIX embedded power硬件机制标定小电机ECU
