／ 導讀 ／

在自動駕駛的感知領(lǐng)域中，基于單個傳感器的感知往往具有著信息不足，特定環(huán)境下無法穩(wěn)定適用，價格成本等等的顧慮，這也就造成了目前市面上大多數(shù)自動駕駛企業(yè)都會為一輛自動駕駛汽車配備數(shù)量、種類繁多的傳感器，為的便是充分利用上每個傳感器的特點以及適用場景，在可控成本的基礎(chǔ)上最大程度地保證自動駕駛功能的安全性。這也就造就了多傳感器融合技術(shù)成為了目前廠商需求量最大的崗位之一，能夠熟知各類傳感器的特點以及使用，并且能夠?qū)崿F(xiàn)信息完美融合不丟失的技術(shù)，將給未來的自動駕駛落地帶來可能。本文就詳細解讀一下目前市面上最火的多傳感器融合技術(shù)，以及其如何能幫助自動駕駛車輛完成各類復雜的感知任務。

1?何為多傳感器融合？

進行自動分析和綜合，以完成所需的決策和估計而進行的信息處理過程。和人的感知相似，不同的傳感器擁有其他傳感器不可替代的作用，當各種傳感器進行多層次，多空間的信息互補和優(yōu)化組合處理，最終產(chǎn)生對觀測環(huán)境的一致性解釋。

具體來講，多傳感器數(shù)據(jù)融合處理：

（1）多個不同類型傳感器（有源或無源）收集觀測目標的數(shù)據(jù)；

（2）對傳感器的輸出數(shù)據(jù)（離散或連續(xù)的時間函數(shù)數(shù)據(jù)、輸出矢量、成像數(shù)據(jù)或一個直接的屬性說明）進行特征提取的變換，提取代表觀測數(shù)據(jù)的特征矢量Yi；

（3）對特征矢量Yi進行模式識別處理（如聚類算法、自適應神經(jīng)網(wǎng)絡(luò)或其他能將特征矢量Yi變換成目標屬性判決的統(tǒng)計模式識別法等），完成各傳感器關(guān)于目標的說明；

（4）將各傳感器關(guān)于目標的說明數(shù)據(jù)按同一目標進行分組，即關(guān)聯(lián)；

（5）利用融合算法將目標的各傳感器數(shù)據(jù)進行合成，得到該目標的一致性解釋與描述。

2?多傳感器融合的優(yōu)勢

多傳感器融合的技術(shù)以及工程化落地難度無疑是復雜的，那么為何眾多自動駕駛公司依然趨之若鶩，想要攻克實現(xiàn)路途中的一個個難題？這是因為多傳感器融合可以很好地應用上每個傳感器自身的優(yōu)勢，統(tǒng)一之后為下游輸出一個更加穩(wěn)定、全面的感知信息，讓下游規(guī)控模塊能夠根據(jù)這些精確穩(wěn)定的結(jié)果實現(xiàn)車輛最終的安全駕駛。

而應用上多傳感器融合，自動駕駛系統(tǒng)將具有以下幾類特征：

一方面可以實現(xiàn)信息的冗余。對于環(huán)境的某個特征，可以通過多個傳感器（或者單個傳感器的多個不同時刻）得到它的多份信息，這些信息是冗余的，并且具有不同的可靠性，通過融合處理，可以從中提取出更加準確和可靠的信息。與此同時，信息的冗余性可以提高系統(tǒng)的穩(wěn)定性，從而能夠避免因單個傳感器失效而對整個系統(tǒng)所造成的影響。

第二，完成信息的互補性。不同種類的傳感器可以為系統(tǒng)提供不同性質(zhì)的信息，這些信息所描述的對象是不同的環(huán)境特征，它們彼此之間具有互補性。如果定義一個由所有特征構(gòu)成的坐標空間，那么每個傳感器所提供的信息只屬于整個空間的一個子空間，和其他傳感器形成的空間相互獨立。

第三，保證信息處理的及時性。各傳感器的處理過程相互獨立，整個處理過程可以采用并行導熱處理機制，從而使系統(tǒng)具有更快的處理速度，提供更加及時的處理結(jié)果。

最后，也是可以實現(xiàn)信息處理的低成本性。我們知道自動駕駛車輛的成本是非常高的，其中重要一項便是來源于傳感器的價格。多個低成本傳感器可以花費更少的代價來得到相當于單個高成本傳感器所能得到的信息量，另一方面，如果不將單個傳感器所提供的信息用來實現(xiàn)其他功能，這無疑是資源的浪費，無法充分利用起每個傳感器的價值。

3?多傳感器融合算法分類

融合分為前融合和后融合，主要是依據(jù)傳感器信息在整個融合流程中的位置劃分，前融合包括數(shù)據(jù)集融合，特征集融合，后融合指的是目標集融合，判斷一個融合系統(tǒng)是前融合還是后融合，主要看該系統(tǒng)中有幾個感知算法。前融合只有一個感知算法，而后融合有幾個傳感器，就有幾個感知算法。

后端融合算法

后端融合算法又被稱為松耦合算法，本質(zhì)上是對融合后的多維綜合數(shù)據(jù)進行感知，如下圖所示，后端融合算法是松散的，在出結(jié)果之前，所有的傳感器都是獨立的，不存在傳感器與傳感器的約束。每個傳感器各自獨立處理生成的目標數(shù)據(jù)；比如激光雷達處理后得到點云目標屬性，攝像頭處理后得到圖像目標，然后經(jīng)過坐標轉(zhuǎn)換得到世界坐標系下的目標屬性，毫米波雷達直接獲得目標的速度、距離信息；當所有傳感器完成目標數(shù)據(jù)處理后（如目標檢測、速度預測），再使用一些傳統(tǒng)方法來融合所有傳感器的結(jié)果，得到最終的目標信息

前端融合算法

本質(zhì)上就是每個傳感器作為一部分融合成一個單一的傳感器，從整體上來考慮信息，這樣做的好處是在前端時候即可融合數(shù)據(jù)，讓這些數(shù)據(jù)具有關(guān)聯(lián)性，例如當VSLAM在平地行走時，缺少Z軸方向上的激勵，這是時通過里程計等傳感器的前端融合可以較好地避免系統(tǒng)的衰減。通過在空間、時間同步的前提下，將傳感器數(shù)據(jù)融合在一起，然后進行處理，得到一個具有多維綜合屬性的結(jié)果層目標。比如將攝像頭、激光雷達、毫米比雷達數(shù)據(jù)進行融合，就可以得到一個既有顏色信息、形狀信息、又有運動信息的目標（即融合了圖像RGB、Lidar三維信息、毫米波距離速度信息）。

4?總結(jié)

在自動駕駛領(lǐng)域，無論是哪一類型的技術(shù)，都是在幫助車輛的決策系統(tǒng)獲取車輛運行過程中的數(shù)據(jù)，但是感知領(lǐng)域中每一種傳感器都存在著不確定性，比如激光雷達和攝像頭會受到極端天氣的影響，毫米波雷達對靜態(tài)物體感知不準等等。正是因為這個原因，導致在自動駕駛技術(shù)在環(huán)境感知環(huán)節(jié)依賴于多傳感器的數(shù)據(jù)融合，這樣才能讓不同的傳感器在不同的環(huán)境下發(fā)揮自身的最大作用，也為下游的決策規(guī)劃模塊可以提供最為穩(wěn)定與準確的結(jié)果。

－ End －

來源：https://nev.ofweek.com/2022-11/ART-77015-11000-30578367.html