論文の概要: MultiCorrupt: A Multi-Modal Robustness Dataset and Benchmark of
LiDAR-Camera Fusion for 3D Object Detection
- arxiv url: http://arxiv.org/abs/2402.11677v1
- Date: Sun, 18 Feb 2024 18:56:13 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-20 19:29:51.664556
- Title: MultiCorrupt: A Multi-Modal Robustness Dataset and Benchmark of
LiDAR-Camera Fusion for 3D Object Detection
- Title(参考訳): MultiCorrupt: マルチモードロバストネスデータセットと3次元物体検出のためのLiDAR-Camera Fusionのベンチマーク
- Authors: Till Beemelmanns, Quan Zhang, and Lutz Eckstein
- Abstract要約: 自動走行のためのマルチモーダル3Dオブジェクト検出モデルは、nuScenesのようなコンピュータビジョンベンチマークでは例外的な性能を示した。
しかし、密集したLiDAR点雲や精密に校正されたセンサーアレイへの依存は、現実世界のアプリケーションに課題をもたらす。
我々は,10種類の汚職に対してマルチモーダル3Dオブジェクト検出器の堅牢性を評価するためのベンチマークであるMultiCorruptを紹介する。
- 参考スコア(独自算出の注目度): 5.967234352488247
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multi-modal 3D object detection models for automated driving have
demonstrated exceptional performance on computer vision benchmarks like
nuScenes. However, their reliance on densely sampled LiDAR point clouds and
meticulously calibrated sensor arrays poses challenges for real-world
applications. Issues such as sensor misalignment, miscalibration, and disparate
sampling frequencies lead to spatial and temporal misalignment in data from
LiDAR and cameras. Additionally, the integrity of LiDAR and camera data is
often compromised by adverse environmental conditions such as inclement
weather, leading to occlusions and noise interference. To address this
challenge, we introduce MultiCorrupt, a comprehensive benchmark designed to
evaluate the robustness of multi-modal 3D object detectors against ten distinct
types of corruptions. We evaluate five state-of-the-art multi-modal detectors
on MultiCorrupt and analyze their performance in terms of their resistance
ability. Our results show that existing methods exhibit varying degrees of
robustness depending on the type of corruption and their fusion strategy. We
provide insights into which multi-modal design choices make such models robust
against certain perturbations. The dataset generation code and benchmark are
open-sourced at https://github.com/ika-rwth-aachen/MultiCorrupt.
- Abstract(参考訳): 自動走行のためのマルチモーダル3Dオブジェクト検出モデルは、nuScenesのようなコンピュータビジョンベンチマークでは例外的な性能を示した。
しかし、密集したLiDAR点雲や精密に校正されたセンサーアレイへの依存は、現実世界のアプリケーションに課題をもたらす。
センサの誤用、ミスキャリブレーション、異なるサンプリング周波数などの問題は、lidarやカメラからのデータの空間的および時間的不均衡につながる。
加えて、LiDARとカメラデータの完全性は、インクリメント気象などの有害な環境条件によってしばしば損なわれ、閉塞やノイズ干渉を引き起こす。
この課題に対処するため,我々は,マルチモーダル3次元物体検出器のロバスト性を評価するための総合ベンチマークであるmulticorruptを導入する。
マルチコラプトにおける5つの最先端マルチモーダル検出器を評価し,その耐性について検討した。
以上の結果から, 既存手法では腐敗の種類や融解戦略によってロバスト性が異なっていた。
マルチモーダルな設計選択が、そのようなモデルをある種の摂動に対して堅牢にするための洞察を提供する。
データセット生成コードとベンチマークはhttps://github.com/ika-rwth-aachen/MultiCorruptで公開されている。
関連論文リスト
- Towards a Robust Sensor Fusion Step for 3D Object Detection on Corrupted
Data [4.3012765978447565]
この研究は、データの破損に対処し、3Dオブジェクト検出のためのセンサ融合をより堅牢にする新しい融合ステップを示す。
提案手法は,通常のデータに対する最先端手法と同等に動作し,不整合データに対して性能を向上することを示す。
論文 参考訳(メタデータ) (2023-06-12T18:06:29Z) - Multi-Modal 3D Object Detection by Box Matching [109.43430123791684]
マルチモーダル3次元検出のためのボックスマッチング(FBMNet)による新しいフュージョンネットワークを提案する。
3Dオブジェクトと2Dオブジェクトの提案を学習することで、ROI特徴を組み合わせることで、検出のための融合を効果的に行うことができる。
論文 参考訳(メタデータ) (2023-05-12T18:08:51Z) - Benchmarking Robustness of 3D Object Detection to Common Corruptions in
Autonomous Driving [44.753797839280516]
既存の3D検出器は、悪天候やセンサーノイズなどによって引き起こされる現実世界の腐敗に対して堅牢性に欠ける。
実世界の運転シナリオを考慮したLiDARとカメラ入力の27種類の共通汚職をベンチマークした。
本研究は,24種類の3次元物体検出モデルを用いた大規模実験を行い,ロバスト性の評価を行った。
論文 参考訳(メタデータ) (2023-03-20T11:45:54Z) - Multimodal Industrial Anomaly Detection via Hybrid Fusion [59.16333340582885]
ハイブリッド核融合方式を用いた新しいマルチモーダル異常検出法を提案する。
本モデルでは,MVTecD-3 ADデータセットにおける検出精度とセグメンテーション精度の両面で,最先端(SOTA)手法より優れている。
論文 参考訳(メタデータ) (2023-03-01T15:48:27Z) - CAMO-MOT: Combined Appearance-Motion Optimization for 3D Multi-Object
Tracking with Camera-LiDAR Fusion [34.42289908350286]
3D Multi-object Track (MOT) は、連続的な動的検出時の一貫性を保証する。
LiDAR法で物体の不規則な動きを正確に追跡することは困難である。
複合外観運動最適化(CAMO-MOT)に基づく新しいカメラ-LiDAR融合3DMOTフレームワークを提案する。
論文 参考訳(メタデータ) (2022-09-06T14:41:38Z) - GLENet: Boosting 3D Object Detectors with Generative Label Uncertainty
Estimation [59.05097963821385]
本稿では,対象物の潜在的可算有界箱の多様性として,ラベルの不確実性問題を定式化する。
本稿では,条件付き変分オートエンコーダを応用した生成フレームワークであるGLENetを提案する。
GLENetが生成するラベルの不確実性はプラグアンドプレイモジュールであり、既存のディープ3D検出器に便利に統合することができる。
論文 参考訳(メタデータ) (2022-07-06T06:26:17Z) - Benchmarking the Robustness of LiDAR-Camera Fusion for 3D Object
Detection [58.81316192862618]
自律運転における3D知覚のための2つの重要なセンサーは、カメラとLiDARである。
これら2つのモダリティを融合させることで、3次元知覚モデルの性能を大幅に向上させることができる。
我々は、最先端の核融合法を初めてベンチマークした。
論文 参考訳(メタデータ) (2022-05-30T09:35:37Z) - EPNet++: Cascade Bi-directional Fusion for Multi-Modal 3D Object
Detection [56.03081616213012]
本稿では,新しいCasscade Bi-directional Fusion(CB-Fusion)モジュールを導入することで,マルチモーダル3Dオブジェクト検出のためのEPNet++を提案する。
提案したCB-Fusionモジュールは、カスケード双方向相互作用融合方式で画像特徴と点特徴の豊富な意味情報を高める。
KITTI、JRDB、SUN-RGBDデータセットの実験結果は、最先端の手法よりもEPNet++の方が優れていることを示している。
論文 参考訳(メタデータ) (2021-12-21T10:48:34Z) - 3D-VField: Learning to Adversarially Deform Point Clouds for Robust 3D
Object Detection [111.32054128362427]
安全クリティカルな環境では、アウト・オブ・ディストリビューションとロングテールサンプルの堅牢性は、危険な問題を回避するのに不可欠である。
トレーニング中の変形点雲を考慮した3次元物体検出器の領域外データへの一般化を著しく改善する。
我々は、リアルに損傷を受けた稀な車の合成データセットであるCrashDを提案し、共有する。
論文 参考訳(メタデータ) (2021-12-09T08:50:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。