近日，世界領先的視覺處理器芯片公司肇觀電子正式發布了3D深度計算+AI加速芯片D163A, 可廣泛應用于包括各種形態機器人、AGV、無人機、可穿戴設備、以及人臉識別等多個領域。

我們所處的現實世界是一個三維空間，即3D立體空間；高級動物如哺乳類長了一雙眼睛，通過左右眼觀察到的信息的差別來判斷物體的遠近。

而普通的照相機拍攝出來的照片卻是平面的，二維的。如果要用計算機視覺的方式來獲得環境空間信息，根據二維照片的輸入，怎么實現呢？

顏色的冷暖代表的是人體離鏡頭的不同距離

對空間立體信息的感知能力是智能設備比如無人機、無人車、機器人的最重要的能力之一。

四周物體和自己的相對位置比如方向、距離、運動方向、運動速度、運動加速度等等這些信息，對于機器人在空間中判斷自身位置以及和周圍物體互動十分重要。

我們如果想讓機器人從點A到點B，機器人首先要確定什么是點A，什么是點B，如何從點A走到點B，如何規劃初始路徑，中間遇到障礙該如何動態調整路徑，完成這些任務都需要機器人具有幾何解算能力，而3D深度計算是幾何解算的基礎任務之一。

雙目立體視覺、結構光、飛行時間傳感器（ToF）、激光雷達這些諸多技術路線都是為了解決3D深度信息獲取問題而生，每一種技術路線都由信號獲取（傳感器）和信號處理（計算）兩部分組成。

雙目立體視覺是計算機視覺的一個經典領域，其技術路線具有信息量大、不受陽光干擾、距離范圍從近到遠、無多徑干擾問題、傳感器成本低等諸多優點，頗受學術界和工業界青睞；

其代表應用為斯巴魯汽車的Eyesight高級輔助駕駛系統，無人機的飛行避障系統，火星車的視覺模塊、波士頓動力的機器人的視覺系統；但立體視覺需要消耗大量的計算力來處理，因此在傳統觀點來看代價十分高昂。

結構光、飛行時間傳感器（ToF）、激光雷達這些技術利用了主動發射特定信息然后讓接收器選擇性接收這些信息的原理，本質上是通過增加傳感器的復雜度來降低對計算的要求，達到在算力不足的情況下獲取深度信息的目的，在各自領域有著諸多應用。

隨著應用日益復雜，往往工程師在通過傳感器獲取到這些原始信息之后，需要在后端計算引擎上面做降噪、增強、融合等各種進一步加工，這需要有充足算力的芯片來處理。

肇觀電子D163A芯片

肇觀電子推出了D163A芯片，具有包括深度計算幾何引擎和AI計算引擎在內的一系列加速器，將計算機視覺領域的應用推進了一大步。

D163A是一個完整的SoC主控芯片，其具有CPU，DSP，ISP，Codec，CV加速引擎，MCU，AI計算引擎和豐富的接口等在內的一系列組件，支持Linux和RTOS操作系統，是一款適合作為信號處理的核心芯片。

以下是D163A的高精度3D深度計算能力的例子：

一、被動光雙目【高分辨率1280x720】

01. 近距離深度圖

▲近距離人臉深度圖

▲近距離五指深度圖

肇觀電子D163A的稠密度和深度準確率呈現出來輪廓清晰、細節完整、代表不同深度的顏色分明的效果, 五指張開之間的距離十分有限，但即便如此，輪廓也十分清晰。

02.中距離的前后物體展示

▲ 中距離前后物體展示

在中距離的展示中，肇觀電子D163A芯片深度圖稠密度高，視角大，距離范圍大，單芯片系統方案，不需要依靠任何外部芯片或者PC機而獨立完成全部功能，從而達到極致精簡的系統成本。

03.陽光下遠距離的自然環境可見光圖和深度圖

▲ 陽光下遠距離的自然環境可見光圖和深度圖

肇觀電子D163A芯片展示出來的遠距離圖具有適應范圍廣、不受陽光干擾的特點。

二、 被動光雙目【高幀率的640x480】

可見光下踢球，肇觀電子展示了D163A芯片在640*480高幀率下的成像效果，最終成像的深度圖準確反映了球在地上遠近滾動的不同深度。

三、主動光雙目比對

▲在主動光雙目場景中，

D163A（中）和Intel Realsense（右）的對比

以下是D163A的幾何計算能力的例子：

實時特征點計算

實時640x480的FAST角點計算和AI計算同時運行

D163A有著業界領先的數字信號處理能力，支持200余種通用數學計算算子例如三角函數、對數、快速傅里葉變換、HoG、SVM、RANSAC等等。

除了強大的3D深度計算能力和數字信號處理能力，D163A有著業界領先的AI計算加速能力包括領先的每TOPs處理幀數，實時數據流處理能力，支持高精度FP16神經網絡模型無損部署，以及高性能的INT8網絡支持能力。

以下是D163A的AI計算能力的例子：

01. D163A的NN性能表 

在INT8的精度下，D163A跑各項網絡可以達到的每秒幀數

在FP16的精度下，D163A跑各項網絡可以達到的每秒幀數

02.網絡精度 ：

根據各種不同網絡的測試結果，D163A INT8量化網絡幾乎無精度損失（1%以內）

針對七種算法網絡，D163A INT8量化網絡幾乎無精度損失

D163A搭配肇觀電子推出的“5分鐘部署”的AI應用開發平臺Infer Studio?，助力AI算法快速商用。

D163A支持雙目立體視覺、結構光、飛行時間傳感器（ToF）、激光雷達等各種傳感器的信號處理，包括采集、降噪、增強、融合等后處理算法的加速；其高性能低功耗、適用于端側應用；接口豐富，支持千兆以太網和USB3.0，支持各種操作系統，既可用作主控芯片也可用作協處理器芯片。

D163A在機器人自主避障、車與車之間的距離測算、活體檢測、手勢識別、空間定位、工業相機、AR、VR等各個方面具有廣泛的應用，搭載D163A的模組和系統已經在包括智能叉車、可穿戴設備、無人機、工業檢測、人臉識別等多個領域批量商用。肇觀電子將全力支持下游模組和系統客戶，共建美好未來。

新聞來源：CPS中安網