論文の概要: Uncertainty-Encoded Multi-Modal Fusion for Robust Object Detection in Autonomous Driving

• arxiv url: http://arxiv.org/abs/2307.16121v1
• Date: Sun, 30 Jul 2023 04:00:41 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-01 17:36:43.855140
• Title: Uncertainty-Encoded Multi-Modal Fusion for Robust Object Detection in Autonomous Driving
• Title（参考訳）: 自律運転におけるロバスト物体検出のための不確実性エンコードマルチモーダル融合
• Authors: Yang Lou, Qun Song, Qian Xu, Rui Tan, Jianping Wang
• Abstract要約: 本稿では,単一モードの不確かさをLiDAR-camera融合に明示的に組み込む不確実性符号化混合(UMoE)を提案する。 UMoEの最大性能は10.67%、3.17%、そして5.40%である。
• 参考スコア（独自算出の注目度）: 8.991012799672713
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-modal fusion has shown initial promising results for object detection of autonomous driving perception. However, many existing fusion schemes do not consider the quality of each fusion input and may suffer from adverse conditions on one or more sensors. While predictive uncertainty has been applied to characterize single-modal object detection performance at run time, incorporating uncertainties into the multi-modal fusion still lacks effective solutions due primarily to the uncertainty's cross-modal incomparability and distinct sensitivities to various adverse conditions. To fill this gap, this paper proposes Uncertainty-Encoded Mixture-of-Experts (UMoE) that explicitly incorporates single-modal uncertainties into LiDAR-camera fusion. UMoE uses individual expert network to process each sensor's detection result together with encoded uncertainty. Then, the expert networks' outputs are analyzed by a gating network to determine the fusion weights. The proposed UMoE module can be integrated into any proposal fusion pipeline. Evaluation shows that UMoE achieves a maximum of 10.67%, 3.17%, and 5.40% performance gain compared with the state-of-the-art proposal-level multi-modal object detectors under extreme weather, adversarial, and blinding attack scenarios.
• Abstract（参考訳）: マルチモーダルフュージョンは、自律運転知覚の物体検出に有望な結果を示した。 しかし、既存の多くの核融合スキームはそれぞれの核融合入力の品質を考慮せず、1つ以上のセンサーで悪い状況に陥る可能性がある。 予測的不確実性は、実行時の単一モーダルオブジェクト検出性能を特徴付けるために適用されてきたが、マルチモーダル融合に不確実性を取り込むことは、主に不確実性のクロスモーダル非互換性と様々な状況に対する異なる感受性のために、有効な解決策を欠いている。 このギャップを埋めるために, 単一モードの不確かさをLiDAR-camera 融合に明示的に組み込んだ Uncertainty-Encoded Mixture-of-Experts (UMoE) を提案する。 UMoEは個々の専門家ネットワークを使用して、各センサーの検出結果をエンコードされた不確実性と共に処理する。 そして、専門家ネットワークの出力をゲーティングネットワークで解析して融合重量を決定する。 提案されたUMoEモジュールは、任意のプロポーザル融合パイプラインに統合できる。 評価の結果、umoeは、極端な天候、敵対的、盲目な攻撃シナリオにおいて、最先端の提案レベルのマルチモーダル物体検出器と比較して、最大10.67%、3.17%、および5.40%のパフォーマンス向上を達成した。

関連論文リスト

• Cocoon: Robust Multi-Modal Perception with Uncertainty-Aware Sensor Fusion [26.979291099052194]
  オブジェクトレベルの不確実性を認識した融合フレームワークであるCocoonを紹介します。 鍵となる革新は不均一表現に対する不確実な定量化である。 Cocoonは、通常の条件と挑戦条件の両方において、既存の静的および適応的な手法より一貫して優れている。
  論文  参考訳（メタデータ） (2024-10-16T14:10:53Z)
• t-READi: Transformer-Powered Robust and Efficient Multimodal Inference for Autonomous Driving [34.4792159427294]
  t-READiは,マルチモーダルセンサデータの変動を考慮した適応型推論システムである。 平均推論精度を6%以上改善し、推論遅延を約15倍削減する。
  論文  参考訳（メタデータ） (2024-10-13T06:53:58Z)
• MMLF: Multi-modal Multi-class Late Fusion for Object Detection with Uncertainty Estimation [13.624431305114564]
  本稿では,マルチクラス検出が可能なレイトフュージョンのための先駆的マルチモーダル・マルチクラスレイトフュージョン法を提案する。 KITTI検証と公式テストデータセットで実施された実験は、大幅なパフォーマンス改善を示している。 我々のアプローチでは、不確実性分析を分類融合プロセスに組み込んで、モデルをより透明で信頼性の高いものにします。
  論文  参考訳（メタデータ） (2024-10-11T11:58:35Z)
• RADAR: Robust Two-stage Modality-incomplete Industrial Anomaly Detection [61.71770293720491]
  本稿では,2段階のロバスト・モードアリティ不完全融合とFlaAmewoRkの検出について提案する。 我々のブートストラッピング哲学は、MIIADの2段階を強化し、マルチモーダルトランスの堅牢性を向上させることである。 実験の結果,提案手法は従来のMIAD法よりも有効性とロバスト性に優れていた。
  論文  参考訳（メタデータ） (2024-10-02T16:47:55Z)
• Provable Dynamic Fusion for Low-Quality Multimodal Data [94.39538027450948]
  動的マルチモーダル融合は、有望な学習パラダイムとして現れる。 広く使われているにもかかわらず、この分野の理論的正当化は依然として顕著に欠落している。 本稿では、一般化の観点から最もポピュラーなマルチモーダル融合フレームワークの下で、この問題に答える理論的理解を提供する。 QMF(Quality-Aware Multimodal Fusion)と呼ばれる新しいマルチモーダル融合フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-03T08:32:35Z)
• Multimodal Industrial Anomaly Detection via Hybrid Fusion [59.16333340582885]
  ハイブリッド核融合方式を用いた新しいマルチモーダル異常検出法を提案する。 本モデルでは,MVTecD-3 ADデータセットにおける検出精度とセグメンテーション精度の両面で,最先端(SOTA)手法より優れている。
  論文  参考訳（メタデータ） (2023-03-01T15:48:27Z)
• CertainNet: Sampling-free Uncertainty Estimation for Object Detection [65.28989536741658]
  ニューラルネットワークの不確実性を推定することは、安全クリティカルな設定において基本的な役割を果たす。 本研究では,オブジェクト検出のための新しいサンプリング不要不確実性推定法を提案する。 私たちはそれをCertainNetと呼び、各出力信号に対して、オブジェクト性、クラス、位置、サイズという、別の不確実性を提供するのは、これが初めてです。
  論文  参考訳（メタデータ） (2021-10-04T17:59:31Z)
• Multimodal Object Detection via Bayesian Fusion [59.31437166291557]
  我々は、RGBとサーマルカメラでマルチモーダルオブジェクト検出を研究します。後者は照明不良下ではるかに強力なオブジェクトシグネチャを提供することができます。 我々の重要な貢献は、異なるモードのボックス検出を融合する非学習遅延融合法である。 このアプローチは、整列(KAIST)と非整列(FLIR)のマルチモーダルセンサーデータを含むベンチマークに適用されます。
  論文  参考訳（メタデータ） (2021-04-07T04:03:20Z)
• Learning Selective Sensor Fusion for States Estimation [47.76590539558037]
  本稿では,エンド・ツー・エンドのセンサ・フュージョン・モジュールであるSelectFusionを提案する。 予測中、ネットワークは異なるセンサーモードから潜伏する特徴の信頼性を評価することができる。 我々は、公開データセットと漸進的に劣化したデータセットの両方において、すべての融合戦略を広範囲に評価する。
  論文  参考訳（メタデータ） (2019-12-30T20:25:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。