論文の概要: Reliability-Driven LiDAR-Camera Fusion for Robust 3D Object Detection

• arxiv url: http://arxiv.org/abs/2502.01856v1
• Date: Mon, 03 Feb 2025 22:07:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-05 15:02:16.269618
• Title: Reliability-Driven LiDAR-Camera Fusion for Robust 3D Object Detection
• Title（参考訳）: ロバスト3次元物体検出のための信頼性駆動LiDAR-Camera核融合
• Authors: Reza Sadeghian, Niloofar Hooshyaripour, Chris Joslin, WonSook Lee,
• Abstract要約: 本稿では,鳥眼ビュー(BEV)空間で動作するLiDARカメラ融合フレームワークReliFusionを提案する。 ReliFusionは、Spatio-Temporal Feature Aggregation (STFA)モジュール、Reliabilityモジュール、Confidence-Weighted Mutual Cross-Attention (CW-MCA)モジュールという3つの重要なコンポーネントを統合している。 nuScenesデータセットの実験では、ReliFusionは最先端の手法よりも優れており、LiDARの視野に制限のあるシナリオにおいて、より優れた堅牢性と精度を実現している。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Accurate and robust 3D object detection is essential for autonomous driving, where fusing data from sensors like LiDAR and camera enhances detection accuracy. However, sensor malfunctions such as corruption or disconnection can degrade performance, and existing fusion models often struggle to maintain reliability when one modality fails. To address this, we propose ReliFusion, a novel LiDAR-camera fusion framework operating in the bird's-eye view (BEV) space. ReliFusion integrates three key components: the Spatio-Temporal Feature Aggregation (STFA) module, which captures dependencies across frames to stabilize predictions over time; the Reliability module, which assigns confidence scores to quantify the dependability of each modality under challenging conditions; and the Confidence-Weighted Mutual Cross-Attention (CW-MCA) module, which dynamically balances information from LiDAR and camera modalities based on these confidence scores. Experiments on the nuScenes dataset show that ReliFusion significantly outperforms state-of-the-art methods, achieving superior robustness and accuracy in scenarios with limited LiDAR fields of view and severe sensor malfunctions.
• Abstract（参考訳）: 正確な3Dオブジェクト検出は、LiDARやカメラなどのセンサーからのデータを融合することで、検出精度を高める自律運転において不可欠である。 しかし、破損や切断などのセンサの故障は性能を低下させる可能性があり、既存の融合モデルは1つのモダリティが失敗したときに信頼性を維持するのに苦労することが多い。 そこで我々は,鳥眼ビュー(BEV)空間で動作する新しいLiDARカメラ融合フレームワークであるReliFusionを提案する。 ReliFusionには、フレーム間の依存関係をキャプチャして予測を安定化するSpatio-Temporal Feature Aggregation (STFA)モジュール、困難条件下で各モードの信頼性を定量化するために信頼性スコアを割り当てるReliabilityモジュール、これらの信頼性スコアに基づいてLiDARとカメラモダリティからの情報を動的にバランスするConfidence-Weighted Mutual Cross-Attention (CW-MCA)モジュールの3つの主要なコンポーネントが含まれている。 nuScenesデータセットの実験では、ReliFusionは最先端の手法よりも優れており、LiDARの視野に制限のあるシナリオにおいて、より優れた堅牢性と精度を実現している。

関連論文リスト

• MSC-Bench: Benchmarking and Analyzing Multi-Sensor Corruption for Driving Perception [9.575044300747061]
  マルチセンサー融合モデルは、特に3Dオブジェクト検出やHDマップ構築といったタスクにおいて、自律運転知覚において重要な役割を果たす。 これらのモデルは、自律運転システムに必須かつ包括的な静的環境情報を提供する。 カメラ-LiDAR融合法は有望な結果を示しているが、それらはしばしば完全なセンサー入力に依存する。 この依存は、センサーが破損したり行方不明になったりした場合のロバスト性や潜在的な故障を招き、重大な安全性上の懸念を引き起こす可能性がある。 この課題に対処するために,多センサ自律運転知覚モデルの各種センサ破損に対する堅牢性評価を目的とした,初の総合的なベンチマークであるMulti-Sensor Corruption Benchmark(MSC-Bench)を導入する。
  論文  参考訳（メタデータ） (2025-01-02T03:38:46Z)
• ReliOcc: Towards Reliable Semantic Occupancy Prediction via Uncertainty Learning [26.369237406972577]
  視覚中心のセマンティック占有予測は、自律運転において重要な役割を果たす。 カメラからのセマンティック占有率を予測するための信頼性を探求する研究は、まだ少ない。 本稿では,カメラによる占有ネットワークの信頼性向上を目的としたReliOccを提案する。
  論文  参考訳（メタデータ） (2024-09-26T16:33:16Z)
• Robust Multimodal 3D Object Detection via Modality-Agnostic Decoding and Proximity-based Modality Ensemble [15.173314907900842]
  既存の3Dオブジェクト検出方法は、LiDARセンサーに大きく依存している。 我々は,LiDAR過信頼問題に対処するためにMEFormerを提案する。 我々のMEFormerは73.9% NDSと71.5% mAPの最先端性能を実現している。
  論文  参考訳（メタデータ） (2024-07-27T03:21:44Z)
• Towards Stable 3D Object Detection [64.49059005467817]
  安定度指数(SI)は3次元検出器の安定性を信頼度、ボックスの定位、範囲、方向で総合的に評価できる新しい指標である。 モデルの安定性向上を支援するため,予測一貫性学習(PCL)と呼ばれる,汎用的で効果的なトレーニング戦略を導入する。 PCLは本質的に、異なるタイムスタンプと拡張の下で同じオブジェクトの予測一貫性を促進し、検出安定性を向上させる。
  論文  参考訳（メタデータ） (2024-07-05T07:17:58Z)
• ShaSTA-Fuse: Camera-LiDAR Sensor Fusion to Model Shape and Spatio-Temporal Affinities for 3D Multi-Object Tracking [26.976216624424385]
  3Dマルチオブジェクトトラッキング(MOT)は、自律移動エージェントが安全にシーンをナビゲートするために不可欠である。 我々は,カメラとLiDARセンサ情報を融合した3DMOTフレームワークの開発を目指している。
  論文  参考訳（メタデータ） (2023-10-04T02:17:59Z)
• Multi-Modal 3D Object Detection by Box Matching [109.43430123791684]
  マルチモーダル3次元検出のためのボックスマッチング(FBMNet)による新しいフュージョンネットワークを提案する。 3Dオブジェクトと2Dオブジェクトの提案を学習することで、ROI特徴を組み合わせることで、検出のための融合を効果的に行うことができる。
  論文  参考訳（メタデータ） (2023-05-12T18:08:51Z)
• Robo3D: Towards Robust and Reliable 3D Perception against Corruptions [58.306694836881235]
  我々は,3次元検出器とセグメンタのロバスト性を,アウト・オブ・ディストリビューションのシナリオで検証するための,最初の総合的なベンチマークであるRobo3Dを紹介する。 気象条件の悪化,外乱,センサの故障などに起因する8種類の汚職について検討した。 本稿では,モデルレジリエンスを高めるための簡易なフレキシブルなボキセル化戦略とともに,密度に敏感なトレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-30T17:59:17Z)
• Benchmarking the Robustness of LiDAR-Camera Fusion for 3D Object Detection [58.81316192862618]
  自律運転における3D知覚のための2つの重要なセンサーは、カメラとLiDARである。 これら2つのモダリティを融合させることで、3次元知覚モデルの性能を大幅に向上させることができる。 我々は、最先端の核融合法を初めてベンチマークした。
  論文  参考訳（メタデータ） (2022-05-30T09:35:37Z)
• TransFusion: Robust LiDAR-Camera Fusion for 3D Object Detection with Transformers [49.689566246504356]
  そこで本研究では,LiDAR-カメラ融合に対するソフトアソシエーション機構による堅牢な解であるTransFusionを提案する。 TransFusionは大規模データセット上で最先端のパフォーマンスを実現する。 提案手法を3次元トラッキングタスクに拡張し,nuScenesトラッキングのリーダーボードにおける第1位を達成する。
  論文  参考訳（メタデータ） (2022-03-22T07:15:13Z)
• LIF-Seg: LiDAR and Camera Image Fusion for 3D LiDAR Semantic Segmentation [78.74202673902303]
  本稿では,LiDAR分割のための粗大なLiDARとカメラフュージョンベースネットワーク(LIF-Seg)を提案する。 提案手法は,画像の文脈情報を完全に活用し,単純だが効果的な早期融合戦略を導入する。 これら2つのコンポーネントの協力により、効果的なカメラ-LiDAR融合が成功する。
  論文  参考訳（メタデータ） (2021-08-17T08:53:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。