2022年11月15日,由盖世汽车主办,上海虹桥国际中央商务区管委会、上海闵行区人民政府指导,上海南虹桥投资开发(集团)有限公司协办的2022第二届智能汽车域控制器创新峰会上,安霸半导体技术(上海) 有限公司软件研发高级总监孙鲁毅介绍,安霸的高性能、低功耗AI SoC主控芯片提供超高清图像处理、视频压缩及强大的神经网络处理,能够从高分辨率视频和雷达信息中提取有价值的数据,在智能感知、多传感器融合和中央域控处理系统等领域大显身手。
安霸半导体技术(上海)有限公司软件研发高级总监 孙鲁毅
以下是演讲内容整理:
今天主要讲三个内容,首先是安霸公司介绍,安霸中国公司2007年在上海成立,但是最近几年才有陆陆续续在一些主机厂和Tier1中获得知名度,后期随着更多产品推向市场,希望大家对我们增进了解。第二,CV3在大算力中央域控制主芯片领域有哪些技术优势。第三,如果客户采用CV3作为主芯片做自动驾驶域控系统,会带来哪些特色。
安霸在ADAS和自动驾驶领域的技术储备
简单介绍下安霸的得名,安霸的英文名叫Ambarella,Ambarella是一种水果的名字,在佛经里有记载,曾在斯里兰卡等地有种植,后被引进至太平洋上的开曼群岛,而安霸公司2004年的注册地就在开曼群岛,此后,安霸在硅谷设立研发中心进行芯片开发,2007年成立中国团队。
2012年,安霸在纳斯达克上市,代码叫AMBA。真正进入汽车前装行业是在2015年,那年我们收购了一家做自动驾驶的公司。2017年,安霸第一颗AI前端视觉主芯片CV1面世,提供给汽车市场人工智能方面的单芯片解决方案,2018年,安霸陆续推出第二代CV系列AI主芯片,与行业内的很多客户和合作伙伴建立深度合作关系,2019年开始陆续在商用车及乘用车市场量产落地。
迄今为止,在汽车以及人工智能行业,安霸已经商业化落地量产百万颗以上的CV系列AI主芯片,加上去年收购了4D毫米波雷达算法公司傲酷,现在安霸不仅布局了应用于ADAS的主芯片、中央域控处理主芯片、还布局了4D毫米波雷达算法。2022年,安霸发布了大算力自动驾驶域控芯片CV3。
CV系列的芯片目前已经有10款面世。从2018年开始,我们推出10nm制程的车规级CV2x芯片系列,在行业中属于芯片设计与制程方面较领先的公司。目前已经推出的两颗5nm制程芯片,一颗是用于工业类和消费类的CV5,另一颗是汽车大算力域控主芯片CV3。明年我们还会推出5nm车规制程的ADAS主芯片系列以及大算力域控主芯片系列。
CV2x系列AI主芯片平台,软件全兼容,全系列芯片均已在乘用车前装项目量产。SDK成熟稳定,支持多种算法开发和优化全系列芯片的CV工具链兼容,提供成熟的模拟和调试工具,缩短新产品开发周期。CV2x系列芯片提供“磐石”信息安全综合解决方案支持硬件信息安全,已在多项目量产;CV3和后续芯片支持硬件HSM,进一步改善信息安全。在功能安全方面,CV2FS和CV22FS达到芯片ISO26262 功能安全ASIL-C,功能安全岛ASIL-D等级;CV3也带有ASIL-D功能安全岛,整颗芯片可达到ASIL-B等级。
安霸的多种技术优势,最后都是为了保证产品稳定量产。安霸做芯片多年来一直秉承着的核心思想就是如何能给客户带来稳定、好用的解决方案。其中芯片设计是核心,除了芯片以外,还有软件SDK工具,以及供应链与客户支持,这一系列的优势组合都能够更好地服务市场。
安霸目前的技术优势
安霸的核心技术包括自研ISP的设计和算法。 秉承安霸多年来ISP算法研究的成果和不断迭代创新,当采用同样的CMOS图像传感器时,安霸的ISP通常带来更好的动态范围和效果,从而得到更好的还原,改善ADAS算法在复杂场景下的准确度。
安霸的CV芯片系列还集成了高效的神经网络引擎CVflow架构,CVFlow代表Computer Vision(计算机图像处理),采用CVflow架构的CV系列芯片是当下单位功耗下性能最高的AI处理器。CVflow完全自研且经过量产考验。带有完整成熟的工具链,从用户导入算法模型,优化,量化,编译转换,执行,一气呵成,支持Caffe, Tensorflow, Pytorch, PaddlePaddle等训练框架,兼容各种开源神经网络和客户自有神经网络。
CV2x系列AI视觉感知芯片里有很多颗,这些芯片架构和软件兼容,具有较强的可扩展性,这给客户带来了很大的便利性。它意味着客户挑选开发的第一颗CV2系列的芯片,和其它的CV2x系列没有太大的区别,只是硬件的配置有高有低。
全系列的CV2x都集成了高性能高质量ISP,支持全硬件加速几何形变矫正,可支持多达8路图像传感器输入,包含了高性能神经网络处理器CVflow和多路实时视频编码(H.264/H.265/JPEG),采用10nm低功耗设计,均已在汽车前装量产,满足AEC-Q100 Grade2级别,并可实现系统功能安全。
目前为止,安霸的芯片不仅仅是技术领先,其在可靠性、稳定性方面也都得到了客户的高度评价。除了AI性能之外,CV系列芯片还有非常强的数据采集能力和图像编码能力。摄像头的图像采集和录制是安霸的看家本领,这些数据采集不仅仅是指多路摄像头数据(支持H.265高品质压缩比72倍以上,以及YUV,RAW格式),还包括毫米波雷达和激光雷达的数据采集。
自从我们收购了毫米波雷达算法公司傲酷以后,我们也做了一些毫米波雷达的研究和测试,比如下图场景是最近实际采集到的东西,绿色的是4D毫米波雷达采集到的数据,黄色的点是激光雷达采集的数据,视频是我们摄像头采集的数据,这是一个小测试,主要对激光雷达、4D毫米波雷达、视觉图像的实时采集信息进行对比分析。
激光雷达和4D毫米波雷达采集点的数目差别不大,而且4D毫米波雷达采集范围更远。结合这些测试,我们为客户提供芯片和SDK软件,把多种数据的采集存储融合以及时间同步等问题都进行了很好地解决,也可以配合客户进行类似的工作。
图片来源:安霸半导体技术(上海)有限公司软件研发高级总监 孙鲁毅
在功能安全方面,安霸在CV2FS芯片上已经获得全芯片设计ASIL-C等级,功能安全岛ASIL-D等级,由EXIDA官方认证。安霸能够对于能够对于有功能安全需求的项目提供完整功能安全文档和设计,软件也符合ISO26262要求。
大算力中央域控芯片CV3的技术优势
下面我集中说一下CV3的优势,2020年CES上安霸的前代产品CV2和友商30T算力芯片进行公开对比,运行相同的神经网络算法性能相当,CV2功耗只有对手的1/5;到了2022年,CV3已在AI性能上大幅超越友商的最新汽车域控芯片。
CV3系列中,CV3 High是CV3系列当中性能最高的一颗,在这个芯片展示出来的神经网络性能远超目前行业在用的大算力芯片性能的同时,它的功耗只有50w。
这一芯片的性能不是靠我们随便说的,我们给客户当面演示,说到的性能可以做到,并会让客户亲手验证。CV3 系列芯片支持多个摄像头,毫米波雷达,激光雷达,超声波雷达等传感器的同时输入;CV3支持各种传感器的数据前处理,后处理,运行神经网络和传统算法,并且对多传感器的结果进行融合;CV还可高效地通过硬件支持Transformer/BEV类视觉感知算法,比竞品速度更快,精度更高;此外,CV3还支持集中式4D毫米波雷达处理,以改善雷达性能降低成本。
怎么做到功耗更低反而性能更高?
首先就是芯片的架构设计,CV3采用独特的芯片架构设计,其独有的CVFlow,ISP,H.265编码器等硬件模块都为低功耗做了特别优化,当运行相同算法的时候,占用内存带宽更少。其次,CV3采用领先行业的5nm车规制程,进一步降低功耗。因此在运行大算力计算和多个8百万摄像头输入的时候,CV3的实际AI性能是目前市场在用的最大算力域控芯片的3~6倍,此时CV3的功耗不到其的一半。
由CV3做主芯片的自动驾驶中央域控制器,可以接入12路以上的摄像头,并且由于CV3集成ISP,图像处理能力强,画质更优,对于客户来讲,能够节省成本和功耗。为了使摄像头达到更好的图像质量,安霸会负责图像的支持和调优。CV3不仅对于每路摄像头输入都可以独立控制图像质量,而且还支持多个摄像头的曝光同步,包括控制不同摄像头的曝光延时。
最后,CV3系列芯片功能齐备,接口丰富,工具链成熟:
CV3使用多个(最多16个)ARM Cortex A78AE,因此有目前最强的CPU算力;通过支持高位宽的LPDDR5内存,CV3具备了充沛的内存带宽;CV3芯片支持大算力域控常见的所有接口,且都为最新规格;其连接外设的网口,CAN口数量足够多;CV3芯片自带ASIL-D级别功能安全岛,可支持AUTOSAR CP;CV3芯片支持通过PCIe多片级联用以扩充性能;CV3的工具链和前代安霸量产芯片CV2x系列兼容;CV3的SDK提供整套开发工具,调试工具和基于开源的中间件。
以CV3为核心芯片的自动驾驶系统的特色和突破
如果以CV3为核心芯片的这套自动驾驶,将给客户带来什么?
第一,有利于降低系统的成本:节省外置摄像头模组的ISP;节省外置的Safety MCU;节省散热成本,因其更低的功耗;节省主芯片个数,因为AI算力更强;节省CPU资源,因为硬件加速丰富;节省大容量存储,因为系统优化好;节省开发时间,因为算法兼容性好。
第二,CV3加Transformer/BEV如虎添翼。CV3可以高效支持多摄像头,多激光雷达的BEV类算法。BEV类算法有利于多传感器融合;更加适合后端的预测,决策,规控,是目前自动驾驶的算法发展的主流方向;Transformer网络在BEV类型算法常用,CV3的CVflow算力单元中NVP可高效支持transformer网络,通过提供transformer的硬件加速,比竞品速度更快,精度更高;CV3的多个NVP可独立对于多路视频同时计算,高度并行,硬件可高效支持点云和图像的前处理等,大大减少对于ARM CPU算力的需求。
第三,CV3可以带来集中式中央域控雷达技术。收购4D雷达算法公司傲酷后,安霸在CV3上开发了集中式中央域控雷达技术,把4D毫米波雷达算法的准确度和点云数目大幅提升,并且有效降低了前端雷达设备的成本。目前有很多家国外的大主机厂,在下一代架构上已经考虑到中央域控雷达,而安霸的CV3上已经集成了中央域控雷达处理的硬件。
第四,安霸获得广泛的行业认可。此前,安霸在英国知名媒体“电子元器件(Components in Electronics)”每年一次的“电子行业奖(Electronics Industry Awards)”中,安霸凭借CV3汽车AI域控制器SoC荣获“2022年度产品大奖”。
(以上内容来自安霸半导体技术(上海)有限公司软件研发高级总监孙鲁毅于2022年11月15日由盖世汽车主办,上海虹桥国际中央商务区管委会、上海闵行区人民政府指导,上海南虹桥投资开发(集团)有限公司协办的2022第二届智能汽车域控制器创新峰会发表的《大算力低功耗的自动驾驶中央域控芯片CV3》主题演讲。)