TX2-FPGA机器视觉深度学习—算法复合加速平台
QQ图片20170917122703
QQ截图20170831160305
产品介绍
D-CAP是一款复合加速计算平台,由Xilinx的28nm制程的FPGA—XC7K325T-3FFG900I和NVidia的16nm制程的GPU—TX2互联构成。平台互联细节如图1所示:
FPGA和GPU之间的主要物理信道是PCI-Express,Gen2,×4,用于搬移图像等需要高传输带宽的实时数据,作为前端控制器,FPGA控制Dual-Full Camera Link芯片组,可以用于互联Base, Medium, Full, Dual Full等所有规格的工业级标准Camera Link相机,平台主要接口(及其指标)如下所示:
PCI-Express带宽                40GT/s(TX+RX)
Camera Link                      Base, Medium, Full, Dual Full @ 85MHz
GPU处理性能                     2TFLOPS @ TDP=15W
40G光纤接口                      10G-SFP×4
GPU内存                            LPDDR4 @ 1866Mbps,58.9GB/s
其余接口                             VGA×2
                                          CAN×2
                                           RS422×4
                                          Ethernet×1
                                          mSATA×1
                                          USB3.0×1
                                          USB2.0×1
其中,Camera Link可以适配所有规格的业界标准Camera Link相机,而4个10G SFP光口可以用于扩展帧率更高的光纤相机或者用作四个万兆网口(4个SFP的用途完全可以利用FPGA来编程实现,取决于用户需求)。
FPGA除了作为前端用于控制核心还可以对所采集的图像进行滤波、降噪、提取图像金字塔等预处理——对后续机器视觉的算法实施进行初步加速。
GPU在不超过15W的功耗下,可以提供2TFLOPS的强大的运算性能,足以支持任何‘机器视觉/深度学习’领域内算法的实时嵌入式应用。其256个强大的Pascal流处理核(每核最高主频为1.3GHz)对算法的实施完成2次加速(FPGA算是第一次加速)。
因此M/D-CAP可以对算法的加速是复合式的,较传统意义上的加速有质的提升。
除此之外,M/D-CAP工业级应用所需的高可靠性和稳定性,经过了军用标准的振动、冲击、高低温等苛刻测试,相关指标如下所示:
工作温度                :-40℃~ +85℃
相对湿度                :80%可正常工作
连续工作时间         :数年
可靠性                   :MTBF≥5000h
维修性                   :MTTR≤0.5h
电压                       :+12V
整机功耗                :≤30W
PCIE带宽                :800MB/s ~ 1.2GB/s
尺寸                        :160*233MM
 
机器视觉中的应用
M/D-CAP使用案例1:舰载激光炮瞄准设备 —高速无人机跟踪[帧率 = 500fps,分辨率 = 512×512]
QQ截图20171010214626
M/D-CAP使用案例2 :防空火炮目标跟踪系统 — 高速机动目标(歼击机)跟踪[帧率 = 1000fps,分辨率 = 1024×1024]
QQ截图20171010214908
在军事目标跟踪中的应用案例2 ,防空火炮目标跟踪系统 — 高速机动目标(歼击机)跟踪
M/D-CAP使用案例3:智能交通/高清监控/车牌设别/违章识别[帧率 = 60fps,分辨率 = 1920×1200]
QQ截图20171010215329
深度学习中的应用
QQ截图20171010215616
深度学习的概念源于人工神经网络的研究。含多个隐层的多层感知器,如图5所示,就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征,以发现数据的分布式特征表示。深度学习是机器学习研究中的一个新的领域,其动机在于建立、模拟人脑进行分析学习的神经网络,它模仿人脑的机制来解释数据,例如图像,声音和文本。
QQ截图20171010215919
M/D-CAP使用案例1:利用GPU加速图像特征提取
QQ截图20171010220152
M/D-CAP使用案例2:利用GPU加速图像配准:
QQ截图20171010220356
  基于FPGA的前端逻辑的定制
QQ截图20171010220604
FPGA除了完成算法的一级加速(如图像预处理),还要负责各种前端传感器或者芯片组的控制和调度,其主要作用如图8所示在图8所示的典型应用中,FPGA完成了以下功能:
i.   Camera Link相机数据的采集,并将视频通过PCIE写入TX2的主存
ii.   VGA显示器的时序控制,主要用于将图像处理结果输出到显示器
iii.  向TX2发出中断通知,以提示之一个完整视频帧的到来
iv.  摇杆等RS422设备的控制和访问,主要用于和用户HID设备的交互
针对不同客户的需求,我们可以支持不同的FPGA逻辑定制业务,并提供相应的驱动程(TX2侧运行的驱动程序,因为在TX2看来,FPGA是它的一个PCIE端点外设),以使得这些底层的FPGA硬件逻辑(Verilog/VHDL)被完全封装起来,对于用户而言,只需要打通数据链路即可。