論文の概要: V2X-R: Cooperative LiDAR-4D Radar Fusion for 3D Object Detection with Denoising Diffusion

• arxiv url: http://arxiv.org/abs/2411.08402v1
• Date: Wed, 13 Nov 2024 07:41:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-14 16:11:15.406441
• Title: V2X-R: Cooperative LiDAR-4D Radar Fusion for 3D Object Detection with Denoising Diffusion
• Title（参考訳）: V2X-R:Denoising Diffusionを用いた3次元物体検出のための共同LiDAR-4Dレーダ核融合
• Authors: Xun Huang, Jinlong Wang, Qiming Xia, Siheng Chen, Bisheng Yang, Cheng Wang, Chenglu Wen,
• Abstract要約: 我々は、LiDAR、カメラ、および4Dレーダを取り入れた初のシミュレーションV2XデータセットであるV2X-Rを提案する。 V2X-Rには12,079のシナリオがあり、LiDARと4Dレーダーポイント雲の37,727フレーム、150,908の画像、170,859の注釈付き3D車両バウンディングボックスがある。 本稿では,3次元物体検出のための新しいコラボレーティブLiDAR-4Dレーダ融合パイプラインを提案し,様々な融合戦略を用いて実装する。
• 参考スコア（独自算出の注目度）: 42.410991478944055
• License:
• Abstract: Current Vehicle-to-Everything (V2X) systems have significantly enhanced 3D object detection using LiDAR and camera data. However, these methods suffer from performance degradation in adverse weather conditions. The weatherrobust 4D radar provides Doppler and additional geometric information, raising the possibility of addressing this challenge. To this end, we present V2X-R, the first simulated V2X dataset incorporating LiDAR, camera, and 4D radar. V2X-R contains 12,079 scenarios with 37,727 frames of LiDAR and 4D radar point clouds, 150,908 images, and 170,859 annotated 3D vehicle bounding boxes. Subsequently, we propose a novel cooperative LiDAR-4D radar fusion pipeline for 3D object detection and implement it with various fusion strategies. To achieve weather-robust detection, we additionally propose a Multi-modal Denoising Diffusion (MDD) module in our fusion pipeline. MDD utilizes weather-robust 4D radar feature as a condition to prompt the diffusion model to denoise noisy LiDAR features. Experiments show that our LiDAR-4D radar fusion pipeline demonstrates superior performance in the V2X-R dataset. Over and above this, our MDD module further improved the performance of basic fusion model by up to 5.73%/6.70% in foggy/snowy conditions with barely disrupting normal performance. The dataset and code will be publicly available at: https://github.com/ylwhxht/V2X-R.
• Abstract（参考訳）: 現在のV2Xシステムでは、LiDARとカメラデータを用いた3Dオブジェクト検出が大幅に強化されている。 しかし,これらの手法は悪天候条件下での性能劣化に悩まされる。 ウェザーロバスト4Dレーダーはドップラーと追加の幾何学的情報を提供し、この問題に対処する可能性を高める。 この目的のために,LiDAR,カメラ,4Dレーダを取り入れた初のV2XデータセットであるV2X-Rを提案する。 V2X-Rには12,079のシナリオがあり、LiDARと4Dレーダーポイント雲の37,727フレーム、150,908の画像、170,859の注釈付き3D車両バウンディングボックスがある。 次に,3次元物体検出のための新しい協調型LiDAR-4Dレーダ融合パイプラインを提案し,様々な融合戦略で実装する。 気象ロバスト検出を実現するため,核融合パイプラインにマルチモーダル・デノナイジング拡散(MDD)モジュールを提案する。 MDDは気象汚染の4Dレーダを条件として、拡散モデルにノイズの多いLiDAR特徴を識別させる。 実験により、我々のLiDAR-4Dレーダ融合パイプラインは、V2X-Rデータセットにおいて優れた性能を示すことが示された。 以上の結果から,MDDモジュールは霧・雪条件下での核融合モデルの性能を最大5.73%/6.70%向上させることができた。 データセットとコードは、https://github.com/ylwhxht/V2X-Rで公開される。

関連論文リスト

• UniBEVFusion: Unified Radar-Vision BEVFusion for 3D Object Detection [2.123197540438989]
  多くのレーダービジョン融合モデルではレーダーを希薄なLiDARとして扱い、レーダー固有の情報を過小評価している。 本稿では,レーダー固有データを深度予測プロセスに統合したRDLモジュールを提案する。 また、異なるモードでBEV機能を抽出するUnified Feature Fusion (UFF)アプローチも導入する。
  論文  参考訳（メタデータ） (2024-09-23T06:57:27Z)
• L4DR: LiDAR-4DRadar Fusion for Weather-Robust 3D Object Detection [24.568605267098317]
  L4DRは,LiDARと4Dレーダ融合を効果的に実現する3次元物体検出法である。 我々のL4DRには、センサギャップを再現するためのマルチモーダルMMEとフォアグラウンド・アウェア・デノナイジング(FAD)技術が含まれています。 霧のレベルによってパフォーマンスが大幅に向上し、3D mAPは従来のLiDARのみのアプローチよりも最大20.0%向上した。
  論文  参考訳（メタデータ） (2024-08-07T10:36:26Z)
• ThermRad: A Multi-modal Dataset for Robust 3D Object Detection under Challenging Conditions [15.925365473140479]
  ThermRadと呼ばれる新しいマルチモーダルデータセットは、3D LiDAR、4Dレーダー、RGBカメラ、サーマルカメラを含む。 本研究では4次元レーダーとサーマルカメラの相補的な強度を利用して物体検出性能を向上させるRTDF-RCNNと呼ばれる新しいマルチモーダル融合法を提案する。 本手法は,自動車,歩行者,自転車の検出において,それぞれ7.98%,24.27%,27.15%以上の改善を実現している。
  論文  参考訳（メタデータ） (2023-08-20T04:34:30Z)
• 4DRVO-Net: Deep 4D Radar-Visual Odometry Using Multi-Modal and Multi-Scale Adaptive Fusion [2.911052912709637]
  4次元(4D)レーダー-視覚計測(4DRVO)は4次元レーダーとカメラの補完情報を統合している。 4DRVOは4Dレーダーポイント雲の空隙による追跡誤差が顕著である可能性がある。 本稿では,4次元レーダ・ビジュアル・オドメトリーの手法である4DRVO-Netを提案する。
  論文  参考訳（メタデータ） (2023-08-12T14:00:09Z)
• Echoes Beyond Points: Unleashing the Power of Raw Radar Data in Multi-modality Fusion [74.84019379368807]
  本稿では,既存のレーダ信号処理パイプラインをスキップするEchoFusionという新しい手法を提案する。 具体的には、まずBird's Eye View (BEV)クエリを生成し、次にレーダーから他のセンサーとフューズに対応するスペクトル特徴を取ります。
  論文  参考訳（メタデータ） (2023-07-31T09:53:50Z)
• SMURF: Spatial Multi-Representation Fusion for 3D Object Detection with 4D Imaging Radar [12.842457981088378]
  本稿では,単一4次元イメージングレーダを用いた新しい3次元物体検出手法である空間多重表現融合(SMURF)を提案する。 SMURFは、狭角分解能とレーダ信号のマルチパス伝搬による測定精度の低下を緩和する。 The experimental evaluations on View-of-Delft (VoD) and TJ4DRadSet datasets showed the effective and generalization ability of SMURF。
  論文  参考訳（メタデータ） (2023-07-20T11:33:46Z)
• Bi-LRFusion: Bi-Directional LiDAR-Radar Fusion for 3D Dynamic Object Detection [78.59426158981108]
  この課題に対処し、動的オブジェクトの3D検出を改善するために、双方向LiDAR-Radar融合フレームワーク、Bi-LRFusionを導入する。 我々はnuScenesとORRデータセットに関する広範な実験を行い、我々のBi-LRFusionが動的オブジェクトを検出するための最先端のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2023-06-02T10:57:41Z)
• Benchmarking the Robustness of LiDAR-Camera Fusion for 3D Object Detection [58.81316192862618]
  自律運転における3D知覚のための2つの重要なセンサーは、カメラとLiDARである。 これら2つのモダリティを融合させることで、3次元知覚モデルの性能を大幅に向上させることができる。 我々は、最先端の核融合法を初めてベンチマークした。
  論文  参考訳（メタデータ） (2022-05-30T09:35:37Z)
• LiRaNet: End-to-End Trajectory Prediction using Spatio-Temporal Radar Fusion [52.59664614744447]
  本稿では,レーダセンサ情報と広範に使用されているライダーと高精細度(HD)マップを用いた新しい終端軌道予測手法LiRaNetを提案する。 自動車レーダーは、リッチで補完的な情報を提供し、より長い距離の車両検出と即時速度測定を可能にします。
  論文  参考訳（メタデータ） (2020-10-02T00:13:00Z)
• Depth Estimation from Monocular Images and Sparse Radar Data [93.70524512061318]
  本稿では,ディープニューラルネットワークを用いた単眼画像とレーダ点の融合により,より正確な深度推定を実現する可能性を検討する。 レーダ測定で発生するノイズが,既存の融合法の適用を妨げている主要な理由の1つであることが判明した。 実験はnuScenesデータセット上で行われ、カメラ、レーダー、LiDARの記録を様々な場面と気象条件で記録する最初のデータセットの1つである。
  論文  参考訳（メタデータ） (2020-09-30T19:01:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。