論文の概要: MultiCorrupt: A Multi-Modal Robustness Dataset and Benchmark of LiDAR-Camera Fusion for 3D Object Detection
- arxiv url: http://arxiv.org/abs/2402.11677v2
- Date: Fri, 29 Mar 2024 12:34:34 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-01 18:02:50.005075
- Title: MultiCorrupt: A Multi-Modal Robustness Dataset and Benchmark of LiDAR-Camera Fusion for 3D Object Detection
- Title（参考訳）: MultiCorrupt: マルチモードロバストネスデータセットと3次元物体検出のためのLiDAR-Camera Fusionのベンチマーク
- Authors: Till Beemelmanns, Quan Zhang, Lutz Eckstein,
- Abstract要約: 自動走行のためのマルチモーダル3Dオブジェクト検出モデルは、nuScenesのようなコンピュータビジョンベンチマークでは例外的な性能を示した。
しかし、密集したLiDAR点雲や精密に校正されたセンサーアレイへの依存は、現実世界のアプリケーションに課題をもたらす。
我々は,10種類の汚職に対してマルチモーダル3Dオブジェクト検出器の堅牢性を評価するためのベンチマークであるMultiCorruptを紹介する。
- 参考スコア（独自算出の注目度）: 5.967234352488247
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multi-modal 3D object detection models for automated driving have demonstrated exceptional performance on computer vision benchmarks like nuScenes. However, their reliance on densely sampled LiDAR point clouds and meticulously calibrated sensor arrays poses challenges for real-world applications. Issues such as sensor misalignment, miscalibration, and disparate sampling frequencies lead to spatial and temporal misalignment in data from LiDAR and cameras. Additionally, the integrity of LiDAR and camera data is often compromised by adverse environmental conditions such as inclement weather, leading to occlusions and noise interference. To address this challenge, we introduce MultiCorrupt, a comprehensive benchmark designed to evaluate the robustness of multi-modal 3D object detectors against ten distinct types of corruptions. We evaluate five state-of-the-art multi-modal detectors on MultiCorrupt and analyze their performance in terms of their resistance ability. Our results show that existing methods exhibit varying degrees of robustness depending on the type of corruption and their fusion strategy. We provide insights into which multi-modal design choices make such models robust against certain perturbations. The dataset generation code and benchmark are open-sourced at https://github.com/ika-rwth-aachen/MultiCorrupt.
- Abstract（参考訳）: 自動走行のためのマルチモーダル3Dオブジェクト検出モデルは、nuScenesのようなコンピュータビジョンベンチマークでは例外的な性能を示した。
しかし、密集したLiDAR点雲や精密に校正されたセンサーアレイへの依存は、現実世界のアプリケーションに課題をもたらす。
センサの不整合、誤校正、異なるサンプリング周波数などの問題は、LiDARとカメラのデータにおける空間的および時間的不整合につながる。
加えて、LiDARとカメラデータの完全性は、インクリメント気象などの有害な環境条件によってしばしば損なわれ、閉塞やノイズ干渉を引き起こす。
この課題に対処するため,MultiCorruptは,10種類の汚職に対してマルチモーダル3Dオブジェクト検出器の堅牢性を評価するために設計された総合的なベンチマークである。
我々は,MultiCorrupt上で5つの最先端マルチモーダル検出器を評価し,その耐久性能の観点からその性能を解析した。
以上の結果から, 既存手法は, 腐敗の種類や融合戦略によって, 各種の強靭性を示すことがわかった。
マルチモーダルな設計選択が、そのようなモデルをある種の摂動に対して堅牢にするための洞察を提供する。
データセット生成コードとベンチマークはhttps://github.com/ika-rwth-aachen/MultiCorruptで公開されている。
関連論文リスト
- Robust Multimodal 3D Object Detection via Modality-Agnostic Decoding and Proximity-based Modality Ensemble [15.173314907900842]
既存の3Dオブジェクト検出方法は、LiDARセンサーに大きく依存している。
我々は,LiDAR過信頼問題に対処するためにMEFormerを提案する。
我々のMEFormerは73.9% NDSと71.5% mAPの最先端性能を実現している。
論文 参考訳（メタデータ） (2024-07-27T03:21:44Z) - M3DM-NR: RGB-3D Noisy-Resistant Industrial Anomaly Detection via Multimodal Denoising [63.39134873744748]
既存の産業異常検出手法は主に、原始RGB画像を用いた教師なし学習に重点を置いている。
本稿では,CLIPの強力なマルチモーダル識別機能を利用する新しい耐雑音性M3DM-NRフレームワークを提案する。
M3DM-NRは3D-RGBマルチモーダルノイズ異常検出において最先端の手法より優れていた。
論文 参考訳（メタデータ） (2024-06-04T12:33:02Z) - Towards Unified 3D Object Detection via Algorithm and Data Unification [70.27631528933482]
我々は、最初の統一型マルチモーダル3Dオブジェクト検出ベンチマークMM-Omni3Dを構築し、上記のモノクロ検出器をマルチモーダルバージョンに拡張する。
設計した単分子・多モード検出器をそれぞれUniMODEとMM-UniMODEと命名した。
論文 参考訳（メタデータ） (2024-02-28T18:59:31Z) - Towards a Robust Sensor Fusion Step for 3D Object Detection on Corrupted
Data [4.3012765978447565]
この研究は、データの破損に対処し、3Dオブジェクト検出のためのセンサ融合をより堅牢にする新しい融合ステップを示す。
提案手法は,通常のデータに対する最先端手法と同等に動作し,不整合データに対して性能を向上することを示す。
論文 参考訳（メタデータ） (2023-06-12T18:06:29Z) - Multi-Modal 3D Object Detection by Box Matching [109.43430123791684]
マルチモーダル3次元検出のためのボックスマッチング(FBMNet)による新しいフュージョンネットワークを提案する。
3Dオブジェクトと2Dオブジェクトの提案を学習することで、ROI特徴を組み合わせることで、検出のための融合を効果的に行うことができる。
論文 参考訳（メタデータ） (2023-05-12T18:08:51Z) - Benchmarking Robustness of 3D Object Detection to Common Corruptions in
Autonomous Driving [44.753797839280516]
既存の3D検出器は、悪天候やセンサーノイズなどによって引き起こされる現実世界の腐敗に対して堅牢性に欠ける。
実世界の運転シナリオを考慮したLiDARとカメラ入力の27種類の共通汚職をベンチマークした。
本研究は,24種類の3次元物体検出モデルを用いた大規模実験を行い,ロバスト性の評価を行った。
論文 参考訳（メタデータ） (2023-03-20T11:45:54Z) - Multimodal Industrial Anomaly Detection via Hybrid Fusion [59.16333340582885]
ハイブリッド核融合方式を用いた新しいマルチモーダル異常検出法を提案する。
本モデルでは,MVTecD-3 ADデータセットにおける検出精度とセグメンテーション精度の両面で,最先端(SOTA)手法より優れている。
論文 参考訳（メタデータ） (2023-03-01T15:48:27Z) - Benchmarking the Robustness of LiDAR-Camera Fusion for 3D Object
Detection [58.81316192862618]
自律運転における3D知覚のための2つの重要なセンサーは、カメラとLiDARである。
これら2つのモダリティを融合させることで、3次元知覚モデルの性能を大幅に向上させることができる。
我々は、最先端の核融合法を初めてベンチマークした。
論文 参考訳（メタデータ） (2022-05-30T09:35:37Z) - EPNet++: Cascade Bi-directional Fusion for Multi-Modal 3D Object
Detection [56.03081616213012]
本稿では,新しいCasscade Bi-directional Fusion(CB-Fusion)モジュールを導入することで,マルチモーダル3Dオブジェクト検出のためのEPNet++を提案する。
提案したCB-Fusionモジュールは、カスケード双方向相互作用融合方式で画像特徴と点特徴の豊富な意味情報を高める。
KITTI、JRDB、SUN-RGBDデータセットの実験結果は、最先端の手法よりもEPNet++の方が優れていることを示している。
論文 参考訳（メタデータ） (2021-12-21T10:48:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。