論文の概要: SB-BEVFusion: Enhancing the Robustness against Sensor Malfunction and Corruptions
- arxiv url: http://arxiv.org/abs/2605.11799v1
- Date: Tue, 12 May 2026 08:57:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-13 21:48:56.733947
- Title: SB-BEVFusion: Enhancing the Robustness against Sensor Malfunction and Corruptions
- Title(参考訳): SB-BEVフュージョン:センサの故障と破損に対するロバスト性を高める
- Authors: Markus Essl, Marta Moscati, Mubashir Noman, Muhammad Zaigham Zaheer, Usman Naseem, Shah Nawaz, Markus Schedl,
- Abstract要約: 我々はカメラとLiDARデータのためのフレームワークに依存しない融合モジュールを開発した。
私たちのモジュールは、欠落や破損したモダリティのシナリオ下で、良好なパフォーマンス向上を実現しています。
- 参考スコア(独自算出の注目度): 24.4820890251407
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multimodal sensor fusion has demonstrated remarkable performance improvements over unimodal approaches in 3D object detection for autonomous vehicles. Typically, existing methods transform multimodal data from independent sensors, such as camera and LiDAR, into a unified bird's-eye view (BEV) representation for fusion. Although effective in ideal conditions, this strategy suffers from substantial performance deterioration when camera or LiDAR data are missing, corrupted, or noisy. To address this vulnerability, we develop a framework-agnostic fusion module for camera and LiDAR data that allows for handling cases when one of the two modalities is missing or corrupted. To demonstrate the effectiveness of our module, we instantiate it in BEVFusion [1], a well-established framework to combine camera and LiDAR data for 3D object detection. By means of quantitative experiments on the MultiCorrupt dataset, we demonstrate that our module achieves favorable performance improvements under scenarios of missing and corrupted modalities, substantially outperforming existing unified representation approaches across a wide range of sensor deterioration scenarios and reaching state-of-the-art performance in scenarios of corrupted modality due to extreme weather conditions and sensor failure.
- Abstract(参考訳): マルチモーダル・センサ・フュージョンは、自動運転車の3次元物体検出において、一方向アプローチよりも顕著な性能向上を示した。
通常、既存の方法では、カメラやLiDARのような独立したセンサーからのマルチモーダルデータを統合された鳥眼ビュー(BEV)に変換して融合する。
理想的な状況では有効だが、この戦略はカメラやLiDARデータの欠落、破損、ノイズに悩まされる。
この脆弱性に対処するために、カメラとLiDARデータのためのフレームワークに依存しないフュージョンモジュールを開発し、2つのモダリティのうちの1つが欠落または破損した場合のケース処理を可能にする。
BEVFusion [1]は、カメラとLiDARのデータを組み合わせて3Dオブジェクト検出を行うフレームワークである。
我々は,MultiCorruptデータセットの定量的実験により,過度な気象条件とセンサ故障による劣化モードのシナリオにおいて,我々のモジュールは,欠落および破損モードのシナリオにおいて良好な性能向上を実現し,既存の統一表現手法を広範囲のセンサ劣化シナリオで大幅に上回り,最先端性能に達することを実証した。
関連論文リスト
- Post Fusion Bird's Eye View Feature Stabilization for Robust Multimodal 3D Detection [2.336163487623381]
Post Fusion Stabilizer (PFS)は、既存の検出器の中間的なBEV表現で動作する軽量モジュールである。
PFSは、領域シフトの下で特徴統計を安定化し、センサ劣化による空間領域を抑圧し、残留補正によって弱められたキューを適応的に復元する。
PFSはいくつかの障害モードを実現し、特にカメラのドロップアウトロバスト性は+1.2%向上し、低照度性能は+4.4%向上した。
論文 参考訳(メタデータ) (2026-03-05T19:27:57Z) - RobuRCDet: Enhancing Robustness of Radar-Camera Fusion in Bird's Eye View for 3D Object Detection [68.99784784185019]
暗い照明や悪天候はカメラの性能を低下させる。
レーダーは騒音と位置のあいまいさに悩まされる。
本稿では,BEVの頑健な物体検出モデルであるRobuRCDetを提案する。
論文 参考訳(メタデータ) (2025-02-18T17:17:38Z) - Reliability-Driven LiDAR-Camera Fusion for Robust 3D Object Detection [0.0]
本稿では,鳥眼ビュー(BEV)空間で動作するLiDARカメラ融合フレームワークReliFusionを提案する。
ReliFusionは、Spatio-Temporal Feature Aggregation (STFA)モジュール、Reliabilityモジュール、Confidence-Weighted Mutual Cross-Attention (CW-MCA)モジュールという3つの重要なコンポーネントを統合している。
nuScenesデータセットの実験では、ReliFusionは最先端の手法よりも優れており、LiDARの視野に制限のあるシナリオにおいて、より優れた堅牢性と精度を実現している。
論文 参考訳(メタデータ) (2025-02-03T22:07:14Z) - Robust Multimodal 3D Object Detection via Modality-Agnostic Decoding and Proximity-based Modality Ensemble [15.173314907900842]
既存の3Dオブジェクト検出方法は、LiDARセンサーに大きく依存している。
我々は,LiDAR過信頼問題に対処するためにMEFormerを提案する。
我々のMEFormerは73.9% NDSと71.5% mAPの最先端性能を実現している。
論文 参考訳(メタデータ) (2024-07-27T03:21:44Z) - Multi-Modal 3D Object Detection by Box Matching [109.43430123791684]
マルチモーダル3次元検出のためのボックスマッチング(FBMNet)による新しいフュージョンネットワークを提案する。
3Dオブジェクトと2Dオブジェクトの提案を学習することで、ROI特徴を組み合わせることで、検出のための融合を効果的に行うことができる。
論文 参考訳(メタデータ) (2023-05-12T18:08:51Z) - Robo3D: Towards Robust and Reliable 3D Perception against Corruptions [58.306694836881235]
我々は,3次元検出器とセグメンタのロバスト性を,アウト・オブ・ディストリビューションのシナリオで検証するための,最初の総合的なベンチマークであるRobo3Dを紹介する。
気象条件の悪化,外乱,センサの故障などに起因する8種類の汚職について検討した。
本稿では,モデルレジリエンスを高めるための簡易なフレキシブルなボキセル化戦略とともに,密度に敏感なトレーニングフレームワークを提案する。
論文 参考訳(メタデータ) (2023-03-30T17:59:17Z) - Benchmarking the Robustness of LiDAR-Camera Fusion for 3D Object
Detection [58.81316192862618]
自律運転における3D知覚のための2つの重要なセンサーは、カメラとLiDARである。
これら2つのモダリティを融合させることで、3次元知覚モデルの性能を大幅に向上させることができる。
我々は、最先端の核融合法を初めてベンチマークした。
論文 参考訳(メタデータ) (2022-05-30T09:35:37Z) - TransFusion: Robust LiDAR-Camera Fusion for 3D Object Detection with
Transformers [49.689566246504356]
そこで本研究では,LiDAR-カメラ融合に対するソフトアソシエーション機構による堅牢な解であるTransFusionを提案する。
TransFusionは大規模データセット上で最先端のパフォーマンスを実現する。
提案手法を3次元トラッキングタスクに拡張し,nuScenesトラッキングのリーダーボードにおける第1位を達成する。
論文 参考訳(メタデータ) (2022-03-22T07:15:13Z) - EPNet++: Cascade Bi-directional Fusion for Multi-Modal 3D Object
Detection [56.03081616213012]
本稿では,新しいCasscade Bi-directional Fusion(CB-Fusion)モジュールを導入することで,マルチモーダル3Dオブジェクト検出のためのEPNet++を提案する。
提案したCB-Fusionモジュールは、カスケード双方向相互作用融合方式で画像特徴と点特徴の豊富な意味情報を高める。
KITTI、JRDB、SUN-RGBDデータセットの実験結果は、最先端の手法よりもEPNet++の方が優れていることを示している。
論文 参考訳(メタデータ) (2021-12-21T10:48:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。