論文の概要: Uncertainty-Encoded Multi-Modal Fusion for Robust Object Detection in
Autonomous Driving
- arxiv url: http://arxiv.org/abs/2307.16121v1
- Date: Sun, 30 Jul 2023 04:00:41 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-01 17:36:43.855140
- Title: Uncertainty-Encoded Multi-Modal Fusion for Robust Object Detection in
Autonomous Driving
- Title(参考訳): 自律運転におけるロバスト物体検出のための不確実性エンコードマルチモーダル融合
- Authors: Yang Lou, Qun Song, Qian Xu, Rui Tan, Jianping Wang
- Abstract要約: 本稿では,単一モードの不確かさをLiDAR-camera融合に明示的に組み込む不確実性符号化混合(UMoE)を提案する。
UMoEの最大性能は10.67%、3.17%、そして5.40%である。
- 参考スコア(独自算出の注目度): 8.991012799672713
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multi-modal fusion has shown initial promising results for object detection
of autonomous driving perception. However, many existing fusion schemes do not
consider the quality of each fusion input and may suffer from adverse
conditions on one or more sensors. While predictive uncertainty has been
applied to characterize single-modal object detection performance at run time,
incorporating uncertainties into the multi-modal fusion still lacks effective
solutions due primarily to the uncertainty's cross-modal incomparability and
distinct sensitivities to various adverse conditions. To fill this gap, this
paper proposes Uncertainty-Encoded Mixture-of-Experts (UMoE) that explicitly
incorporates single-modal uncertainties into LiDAR-camera fusion. UMoE uses
individual expert network to process each sensor's detection result together
with encoded uncertainty. Then, the expert networks' outputs are analyzed by a
gating network to determine the fusion weights. The proposed UMoE module can be
integrated into any proposal fusion pipeline. Evaluation shows that UMoE
achieves a maximum of 10.67%, 3.17%, and 5.40% performance gain compared with
the state-of-the-art proposal-level multi-modal object detectors under extreme
weather, adversarial, and blinding attack scenarios.
- Abstract(参考訳): マルチモーダルフュージョンは、自律運転知覚の物体検出に有望な結果を示した。
しかし、既存の多くの核融合スキームはそれぞれの核融合入力の品質を考慮せず、1つ以上のセンサーで悪い状況に陥る可能性がある。
予測的不確実性は、実行時の単一モーダルオブジェクト検出性能を特徴付けるために適用されてきたが、マルチモーダル融合に不確実性を取り込むことは、主に不確実性のクロスモーダル非互換性と様々な状況に対する異なる感受性のために、有効な解決策を欠いている。
このギャップを埋めるために, 単一モードの不確かさをLiDAR-camera 融合に明示的に組み込んだ Uncertainty-Encoded Mixture-of-Experts (UMoE) を提案する。
UMoEは個々の専門家ネットワークを使用して、各センサーの検出結果をエンコードされた不確実性と共に処理する。
そして、専門家ネットワークの出力をゲーティングネットワークで解析して融合重量を決定する。
提案されたUMoEモジュールは、任意のプロポーザル融合パイプラインに統合できる。
評価の結果、umoeは、極端な天候、敵対的、盲目な攻撃シナリオにおいて、最先端の提案レベルのマルチモーダル物体検出器と比較して、最大10.67%、3.17%、および5.40%のパフォーマンス向上を達成した。
関連論文リスト
- Provable Dynamic Fusion for Low-Quality Multimodal Data [94.39538027450948]
動的マルチモーダル融合は、有望な学習パラダイムとして現れる。
広く使われているにもかかわらず、この分野の理論的正当化は依然として顕著に欠落している。
本稿では、一般化の観点から最もポピュラーなマルチモーダル融合フレームワークの下で、この問題に答える理論的理解を提供する。
QMF(Quality-Aware Multimodal Fusion)と呼ばれる新しいマルチモーダル融合フレームワークを提案する。
論文 参考訳(メタデータ) (2023-06-03T08:32:35Z) - Multimodal Industrial Anomaly Detection via Hybrid Fusion [59.16333340582885]
ハイブリッド核融合方式を用いた新しいマルチモーダル異常検出法を提案する。
本モデルでは,MVTecD-3 ADデータセットにおける検出精度とセグメンテーション精度の両面で,最先端(SOTA)手法より優れている。
論文 参考訳(メタデータ) (2023-03-01T15:48:27Z) - Target-aware Dual Adversarial Learning and a Multi-scenario
Multi-Modality Benchmark to Fuse Infrared and Visible for Object Detection [65.30079184700755]
本研究は、物体検出のために異なるように見える赤外線と可視画像の融合の問題に対処する。
従来のアプローチでは、2つのモダリティの根底にある共通点を発見し、反復最適化またはディープネットワークによって共通空間に融合する。
本稿では、融合と検出の連立問題に対する二段階最適化の定式化を提案し、その後、核融合と一般的に使用される検出ネットワークのためのターゲット認識デュアル逆学習(TarDAL)ネットワークに展開する。
論文 参考訳(メタデータ) (2022-03-30T11:44:56Z) - CertainNet: Sampling-free Uncertainty Estimation for Object Detection [65.28989536741658]
ニューラルネットワークの不確実性を推定することは、安全クリティカルな設定において基本的な役割を果たす。
本研究では,オブジェクト検出のための新しいサンプリング不要不確実性推定法を提案する。
私たちはそれをCertainNetと呼び、各出力信号に対して、オブジェクト性、クラス、位置、サイズという、別の不確実性を提供するのは、これが初めてです。
論文 参考訳(メタデータ) (2021-10-04T17:59:31Z) - Multimodal Object Detection via Bayesian Fusion [59.31437166291557]
我々は、RGBとサーマルカメラでマルチモーダルオブジェクト検出を研究します。後者は照明不良下ではるかに強力なオブジェクトシグネチャを提供することができます。
我々の重要な貢献は、異なるモードのボックス検出を融合する非学習遅延融合法である。
このアプローチは、整列(KAIST)と非整列(FLIR)のマルチモーダルセンサーデータを含むベンチマークに適用されます。
論文 参考訳(メタデータ) (2021-04-07T04:03:20Z) - Multi-Modality Cascaded Fusion Technology for Autonomous Driving [18.93984652806857]
本稿では,決定レベルと特徴レベルの融合の利点を生かした,汎用的なマルチモーダリティ・カスケード融合フレームワークを提案する。
融合過程において、異なるモードからセンサ間の誤差を低減するために動的座標アライメント(DCA)を行う。
提案手法は, エンド・ツー・エンド・フュージョン法に比べ, より解釈しやすく, 柔軟である。
論文 参考訳(メタデータ) (2020-02-08T10:59:18Z) - Learning Selective Sensor Fusion for States Estimation [47.76590539558037]
本稿では,エンド・ツー・エンドのセンサ・フュージョン・モジュールであるSelectFusionを提案する。
予測中、ネットワークは異なるセンサーモードから潜伏する特徴の信頼性を評価することができる。
我々は、公開データセットと漸進的に劣化したデータセットの両方において、すべての融合戦略を広範囲に評価する。
論文 参考訳(メタデータ) (2019-12-30T20:25:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。