伟德线上推荐

携手NVIDIA I 天准AI技术赋能智慧交通

2020-08-20  阅读数:6809

人工(gong)智(zhi)(zhi)能已经(jing)成为新一轮产业变革的(de)核心驱动力,正在对世(shi)界(jie)经(jing)济、社会(hui)进步(bu)和(he)人类生活产生极其深刻的(de)影(ying)响(xiang)。作为人工(gong)智(zhi)(zhi)能范畴最重要的(de)前沿(yan)分支之一,机器视觉(jue)已服(fu)务工(gong)业 30 年,相当(dang)于(yu)现代工(gong)业生产和(he)智(zhi)(zhi)能制造的(de)“机器眼睛(jing)”。苏州天准科技(ji)股(gu)份有限公司致力于(yu)以(yi)领(ling)先的(de)人工(gong)智(zhi)(zhi)能技(ji)术推动工(gong)业转型升(sheng)级,通过(guo)持续高强度创新,不(bu)断突破行业极限。

在精密测(ce)量领(ling)域,由天准(zhun)牵头的“复合式高精度坐标测(ce)量仪器开(kai)发和应(ying)用”项目入(ru)选(xuan)“国(guo)家(jia)重(zhong)大科学仪器设备(bei)(bei)开(kai)发专项”,设备(bei)(bei)精度高达 0.3 微米,使中国(guo)成为继德国(guo)、日本之后,掌握同等测(ce)量技(ji)术(shu)的全球第三个国(guo)家(jia)。

天(tian)准的(de)智(zhi)能检(jian)测装备(bei)将机(ji)器(qi)视觉技术(shu)应用(yong)于工(gong)业(ye)流水线上(shang)的(de)在线检(jian)测场景,实(shi)现对工(gong)业(ye)零部件(jian)和产(chan)品的(de)实(shi)时在线尺(chi)寸(cun)与缺陷检(jian)测。以光伏领域为例,天(tian)准不断打(da)破业(ye)界极限(xian),将硅片分选检(jian)测设备(bei)产(chan)能成(cheng)功(gong)提(ti)升到业(ye)界 1.5 倍以上(shang),成(cheng)本降(jiang)低(di) 50% 以上(shang)。

天准的智(zhi)(zhi)能(neng)制造系统不(bu)仅(jin)可消除生(sheng)(sheng)产(chan)检测中人的不(bu)稳定因素、提升生(sheng)(sheng)产(chan)效率、降低生(sheng)(sheng)产(chan)成本,而且可帮助(zhu)改(gai)善产(chan)品品质,已广(guang)泛应用于(yu) 3C 电子、汽车制造等智(zhi)(zhi)能(neng)化生(sheng)(sheng)产(chan)程度较高的行业,推进工厂(chang)无(wu)人化和智(zhi)(zhi)能(neng)化进程。

无(wu)人(ren)物(wu)流车是机(ji)器视(shi)觉技(ji)术在(zai)物(wu)流领域的落地(di)场景。天准(zhun)作为 NVIDIA Jetson Preferred Partner,将基于(yu) NVIDIAJetson 处理器的 AI 边缘(yuan)计(ji)算(suan)技(ji)术与无(wu)人(ren)车相(xiang)结合,打(da)造(zao)无(wu)人(ren)移动(dong)平台加 AI 边缘(yuan)计(ji)算(suan)整体解决方案,使机(ji)器视(shi)觉技(ji)术赋能更多的行业和场景。

NVIDIA 产品或平台、工具介绍

NVIDIA® Jetson AGX Xavier™  为(wei)边缘(yuan)设备(bei)的(de)(de)计算(suan)密度(du)、能(neng)(neng)效(xiao)和(he)(he) AI 推理功能(neng)(neng)设定(ding)了新标杆。作为(wei)首款专(zhuan)为(wei)自主机器设计的(de)(de)计算(suan)机,Jetson AGX Xavier 的(de)(de)性(xing)能(neng)(neng)足以完成如下任务:视觉(jue)测(ce)距、传感器融合、定(ding)位与(yu)地图绘制、障碍物检测(ce)以及对(dui)新一代机器人至关重要的(de)(de)路线规划算(suan)法。在(zai)紧凑的(de)(de)外(wai)形下,用户可以获得 GPU 工作站级(ji)别的(de)(de)性(xing)能(neng)(neng)—— 32 万(wan)亿次运(yun)算(suan)/秒 (TOPS) 的(de)(de)峰值计算(suan)能(neng)(neng)力和(he)(he) 750 Gbps  的(de)(de)高速 I/O 性(xing)能(neng)(neng);得益于 NVIDIA 整套丰富(fu)的(de)(de) AI 工具和(he)(he)工作流(liu)程,可帮助(zhu)开发者快速训练和(he)(he)部署神经网络。

该(gai)平(ping)台支持 NVIDIA JetPack 和DeepStreamSDK,以及 CUDA®、cuDNN 和 TensorRT 软件库,使得在云端(duan)(duan)训练的(de)深度学习算(suan)法(fa)模型可以无(wu)缝的(de)迁移(yi)到边缘端(duan)(duan),大大加(jia)速产品的(de)原型验证(zheng)和批量(liang)部署过程。

方案与开发技术分享

随着 AI 算(suan)法(fa)的飞(fei)速发展和计(ji)算(suan)平台(tai)算(suan)力的不断提升,AI 技(ji)术充(chong)分(fen)赋能自(zi)动驾驶、智(zhi)慧(hui)公路(lu)、轨道交通(tong)等(deng)诸(zhu)多(duo)领域,应用于(yu)无人(ren)驾驶、车(che)路(lu)协同(tong)、轨交列车(che)安全监控(kong)等(deng)各(ge)种智(zhi)慧(hui)交通(tong)场景。在(zai)这些场景中,往(wang)往(wang)需要借助于(yu)多(duo)种不同(tong)的传感(gan)器,利用各(ge)种传感(gan)器的不同(tong)特(te)性,从不同(tong)维度充(chong)分(fen)获取周(zhou)围环(huan)境信息。常(chang)用的传感(gan)器有(you)相(xiang)机(ji)、激光雷达、IMU、毫米波雷达等(deng)。

各(ge)种传感器数据(ju)产生于(yu)不(bu)同(tong)(tong)的时(shi)刻、且均在(zai)各(ge)自的坐标系(xi)中进行(xing)表(biao)达(da),为(wei)了从各(ge)个不(bu)同(tong)(tong)的传感器中得到统一的目(mu)(mu)标信息,需要对(dui)(dui)其进行(xing)时(shi)空融(rong)合(he),即(ji)时(shi)间同(tong)(tong)步(bu)和空间对(dui)(dui)齐。下图是只进行(xing)空间融(rong)合(he)、未做(zuo)时(shi)间对(dui)(dui)齐的激光(guang)雷达(da)和图像(xiang)数据(ju)融(rong)合(he)的结果(guo):对(dui)(dui)于(yu)静止目(mu)(mu)标,两(liang)种数据(ju)可以(yi)很(hen)好(hao)地匹配到一起(qi);对(dui)(dui)于(yu)运动(dong)目(mu)(mu)标,则会产生明(ming)显的数据(ju)不(bu)匹配情况,根本原因(yin)就(jiu)在(zai)于(yu)两(liang)种传感器数据(ju)产生的时(shi)刻不(bu)同(tong)(tong)。因(yin)此,在(zai)有移(yi)动(dong)目(mu)(mu)标的应(ying)用场景中,时(shi)间同(tong)(tong)步(bu)和空间对(dui)(dui)齐缺一不(bu)可。

在传统的智慧交通应用中,各种传感器数据往往通过 USB 接口或网口接入到工控机或服务器中进行算法处理,以满足 AI 推理算法处理海量数据的大算力需求。这种方式往往容易带来以下问题:
①工控机网口和USB接口一般非防松设计,多种传感器接入后,在无人车或列车行进过程中,很容易出现松动问题;
② 工控机只能通过网口进行IEEE 1588协议或NTP协议进行授时,前者需要专业的授时设备,后者授时精度不高;
③在工控机中进行多传感器数据融合,由于需要进行大量的矩阵运算,会占用工控机宝贵的算力资源。

为解决上述问题,本项目基于NVIDIA Jetson Xavier,设计了用于智慧交通场景的Sensor Box,主要解决以下三个问题:
①各种传感器的可靠接入;
②各传感器高精度的授时;
③时空融合计算。

Sensor Box 如下图所示,该(gai)设备支(zhi)持(chi)常用(yong)的 GMSL2 相机接(jie)口(kou)(kou)、千兆网(wang)口(kou)(kou)、万兆光(guang)口(kou)(kou)、USB3.0 网(wang)口(kou)(kou)、CAN 总线接(jie)口(kou)(kou)等接(jie)口(kou)(kou)形(xing)式(shi),各(ge)种(zhong)接(jie)口(kou)(kou)均具有防松设计;内(nei)置纳秒级(ji)(ji)精度的同步触(chu)发和授时(shi)电路,并具有 GPS 失锁守(shou)时(shi)功能;可以(yi)耐受(shou) XYZ 三(san)轴 3Grms0~1000Hz 的随(sui)机振动,整机可以(yi)达(da)到 IP65 防护等级(ji)(ji)。各(ge)传(chuan)(chuan)感(gan)器(qi)数据接(jie)入 Sensor Box 之后(hou)进行(xing)时(shi)空融(rong)合(he)后(hou),或者在 Sensor Box 内(nei)直接(jie)进行(xing)推理运算,或者通过万兆光(guang)口(kou)(kou)传(chuan)(chuan)给工控机进行(xing)更复(fu)杂的算法(fa)处理。


一个(ge)(ge) 1080P 相机(ji)的(de)像素(su)(su)数约(yue)为 200 万个(ge)(ge),一个(ge)(ge) 32 线激光(guang)雷达一帧数据约(yue)有 12 万个(ge)(ge)点(dian),按(an)每(mei)秒 10 帧的(de)帧率计算,产生的(de)像素(su)(su)点(dian)是(shi)千(qian)万级(ji),点(dian)云点(dian)数则为百(bai)万级(ji)。在自动驾驶场景,存在多个(ge)(ge)相机(ji)和(he)(he)多个(ge)(ge)激光(guang)雷达的(de)情况下,每(mei)秒钟(zhong) sensor box 将要(yao)处(chu)(chu)理以(yi)亿计的(de)像素(su)(su)和(he)(he)点(dian)云数量。对于点(dian)云到图像的(de)融合计算来(lai)说,每(mei)个(ge)(ge)点(dian)需(xu)要(yao)进行 9 次(ci)乘法(fa)和(he)(he) 12 次(ci)加(jia)法(fa)运算,如(ru)果全(quan)部放到 CPU 中处(chu)(chu)理,难以(yi)满足(zu)海量数据处(chu)(chu)理实时(shi)性的(de)要(yao)求。

1个激光(guang)雷(lei)达和(he)1个相机进行时空同步(bu)后的融(rong)合效果。基(ji)于Xavier 的 Sensor Box 解决方案已经在国内很多自动驾(jia)驶场景中(zhong)路测使用。

通过(guo) NVIDIA Jetson 提(ti)供的(de) CUDA 工具,将空(kong)间融(rong)合(he)的(de)乘加运算迁移到 GPU 的(de) CUDA 核(he)中进行并行处理,大大提(ti)升了处理速度,提(ti)高了计算性(xing)能。以典型(xing)的(de)传感器数量(liang)偏多(duo)的(de)自(zi)动驾驶卡车为例,基于 Xavier 的(de) Sensor Box 可支持多(duo)达10路 1080P 相机(ji)(ji)和(he) 6 路激光雷达接入,为其提(ti)供同(tong)(tong)步(bu)触发和(he)授(shou)时(shi)(shi)功(gong)能,在其内部完成所有传感器的(de)时(shi)(shi)空(kong)同(tong)(tong)步(bu)计算后,通过(guo)万(wan)兆光口(kou)传到工控机(ji)(ji)。将传感器采集、时(shi)(shi)空(kong)同(tong)(tong)步(bu)等比较消耗算力(li)的(de)过(guo)程前置到 Sensor Box 中,使工控机(ji)(ji)内可以执行更复杂更智能的(de) L4 级自(zi)动驾驶算法。

文章原作者NVIDIA开发(fa)(fa)者社区,本文经(jing)NVIDIA授权(quan)转发(fa)(fa)。