L2/L2+ 先進駕駛輔助系統 (ADAS) 中的鳥瞰圖 (BEV)

鳥瞰圖 (BEV) 是自動駕駛應用中 L2/L2+ 感測器融合系統的基本組成區塊之一。現代先進駕駛輔助系統 (ADAS) 和自動駕駛車輛需要全面了解車輛周遭環境。傳統方法會為每個攝影機執行獨立的感知管道，並在推論後合併結果。此程序會增加延遲和記憶體負擔，還可能會在攝影機邊界造成不一致。BEV 方法改用在物件偵測前，將多個攝影機輸入融合為單一整合式空間表示，進而實現具有較低整體系統成本的單一神經網路推論。  

即時 BEV 需要強大的處理能力，以處理多攝影機輸入、執行幾何轉換、執行神經網路推論以進行物體偵測，以及維持低延遲。TDA 處理器專為這些類型的多攝影機工作負載而設計，配備了 C7™ NPU 和實現高性能 BEV 所需的介面。

處理器 SDK 包含 FastBEV 示範，可立即執行，作為開發自訂解決方案之前評估期間的初始步驟。此示範可融合 6 個攝影機的影像饋送，並執行同步物體偵測，建立統一的"鳥瞰"視角。重要的是，這裡的 BEV 感知完全基於視覺。光達點雲資料僅用作地面實況參考，用於驗證偵測到的物體，而非做為感知管線的即時輸入。 

L2/L2+ 應用的感測器融合 BEV 系統需要經過校準的多攝影機設定，並在車輛周圍提供完整覆蓋。 

數據收集應涵蓋各種駕駛場景，包括不同的照明條件（白天、夜間、陰影）、天氣條件、道路類型、交通密度，以及各種與自動駕駛相關的車輛、行人和障礙物。

光達點雲資料在開發與評估期間，可做為驗證 BEV 表示中偵測到的物體的地面實況，這不是部署的感知管線所需的輸入。如果使用光達地面實況，攝影機畫框和光達掃描的同步擷取對於準確驗證至關重要。 

對於具有並行物體偵測功能的 AI 強化型 BEV 系統，標記訓練資料應識別車輛、行人、自行車騎士、車道標線、道路邊界和其他對自動駕駛功能至關重要的相關特徵。

攝影機校準準確度對於透視到 BEV 視圖轉換至關重要。這取決於兩類參數：

內部參數：描述每個攝影機感測器和鏡頭的內部光學屬性。這包括焦距、主點和失真係數等因素。這些參數規範了世界中的 3D 點如何投影到單一攝影機內的 2D 圖像平面上。
外部參數：描述每個攝影機相對於共享 BEV 坐標系的位置和方向。 

這兩者對於從 2D 影像框準確映射深度和空間位置至關重要。任一者的錯誤將直接傳播至 BEV 表示中偵測到的物件的空間準確度。

TI Model Zoo 提供預先訓練的 BEV 模型，可用於評估和部署。 

開發人員也可能希望準備自己的 BEV 模型。如果是，可以利用 edgeai-mmdetection3d，這是一個用於開發、訓練和評估各種 BEV 3D 偵測模型的統一架構，該架構建立在 mmdetection3d 的基礎上。或者，進階開發人員可以選擇使用自己的自訂訓練環境。 

無論模型如何訓練，部署前都必須先為 TIDL 編譯，才能在 C7™ NPU 上執行。ONNX 或 LiteRT 格式的模型可使用 edgeai-tidl-tools 編譯，該工具會針對 TI 的深度學習加速器對網路進行最佳化。

模型選擇應在偵測準確度與延遲限制之間取得平衡。TI Model Zoo 和基準測試工具提供性能資料，引導根據目標硬體進行選擇。

TI FastBEV 示範中使用的模型使用 ResNet-18 骨幹 + FPN 架構，並以開放原始碼 Fast-BEV 模型為基礎，該模型專為在車載晶片上執行更快速的 BEV 感知而設計。該模型使用 nuScenes 資料集進行訓練和驗證。

FastBEV 示範展示了 BEV 模型的典型部署，該模型使用 TDA 處理器 SDK 中隨附的 Vision Apps 架構。 

核心感知管線：基於 OpenVX 的管線整合了 6 攝影機擷取、MSC 硬體縮放、A72 預處理、C7™ NPU 上的 TIDL 推論，以及 A72 後處理。

光達地面實況整合：除了核心管線外，光達點雲資料還會平行接收，並在 BEV 輸出上重疊做為空間參考。這使開發人員能夠在評估過程中將偵測到的物體與地面實況進行視覺比較。

其他管線功能：此示範也包括即時性能監控和雙視畫面顯示，呈現在個別攝影機影像和自上而下 BEV 視角中偵測到的物體。 

L2/L2+ 鳥瞰圖 (BEV) 系統的裝置選擇視攝影機數量、解析度、幀率需求和並行 AI 處理需求而定。這些應用受益於 TDA4x 系列的汽車級處理器，這些處理器具備高記憶體頻寬、專用視覺加速器 (VPAC)、多個 C7™ NPU 核心可進行 AI 加速，並且具備在核心間分割網路以發揮最佳性能的能力。