論文の概要: L4DR: LiDAR-4DRadar Fusion for Weather-Robust 3D Object Detection

• arxiv url: http://arxiv.org/abs/2408.03677v4
• Date: Tue, 12 Nov 2024 14:33:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-13 13:16:57.330689
• Title: L4DR: LiDAR-4DRadar Fusion for Weather-Robust 3D Object Detection
• Title（参考訳）: L4DR:LiDAR-4DRadar Fusion for Weather-Robust 3D Object Detection
• Authors: Xun Huang, Ziyu Xu, Hai Wu, Jinlong Wang, Qiming Xia, Yan Xia, Jonathan Li, Kyle Gao, Chenglu Wen, Cheng Wang,
• Abstract要約: L4DRは,LiDARと4Dレーダ融合を効果的に実現する3次元物体検出法である。 我々のL4DRには、センサギャップを再現するためのマルチモーダルMMEとフォアグラウンド・アウェア・デノナイジング(FAD)技術が含まれています。 霧のレベルによってパフォーマンスが大幅に向上し、3D mAPは従来のLiDARのみのアプローチよりも最大20.0%向上した。
• 参考スコア（独自算出の注目度）: 24.568605267098317
• License:
• Abstract: LiDAR-based vision systems are integral for 3D object detection, which is crucial for autonomous navigation. However, they suffer from performance degradation in adverse weather conditions due to the quality deterioration of LiDAR point clouds. Fusing LiDAR with the weather-robust 4D radar sensor is expected to solve this problem. However, the fusion of LiDAR and 4D radar is challenging because they differ significantly in terms of data quality and the degree of degradation in adverse weather. To address these issues, we introduce L4DR, a weather-robust 3D object detection method that effectively achieves LiDAR and 4D Radar fusion. Our L4DR includes Multi-Modal Encoding (MME) and Foreground-Aware Denoising (FAD) technique to reconcile sensor gaps, which is the first exploration of the complementarity of early fusion between LiDAR and 4D radar. Additionally, we design an Inter-Modal and Intra-Modal ({IM}2 ) parallel feature extraction backbone coupled with a Multi-Scale Gated Fusion (MSGF) module to counteract the varying degrees of sensor degradation under adverse weather conditions. Experimental evaluation on a VoD dataset with simulated fog proves that L4DR is more adaptable to changing weather conditions. It delivers a significant performance increase under different fog levels, improving the 3D mAP by up to 20.0% over the traditional LiDAR-only approach. Moreover, the results on the K-Radar dataset validate the consistent performance improvement of L4DR in real-world adverse weather conditions.
• Abstract（参考訳）: LiDARベースの視覚システムは3Dオブジェクト検出に不可欠であり、自律的なナビゲーションには不可欠である。 しかし、LiDAR点雲の品質劣化により、悪天候下での性能劣化に悩まされる。 LiDARと4Dレーダーセンサーを融合させることで、この問題を解決することが期待されている。 しかし、LiDARと4Dレーダの融合は、データ品質と悪天候の劣化度で大きく異なるため、困難である。 これらの問題に対処するために,L4DRという,LiDARと4Dレーダ融合を効果的に実現した気象破砕型3次元物体検出手法を導入する。 我々のL4DRには、LiDARと4Dレーダの初期の融合の相補性の最初の調査であるセンサギャップを分解するMMEとFAD技術が含まれています。 さらに, マルチスケールGated Fusion (MSGF) モジュールと組み合わせた並列特徴抽出バックボーンを設計し, 悪天候下でのセンサ劣化の度合いの変動に対処する。 霧を模擬したVoDデータセットの実験的評価により,L4DRは気象条件の変化に適応可能であることが示された。 霧のレベルによってパフォーマンスが大幅に向上し、3D mAPは従来のLiDARのみのアプローチよりも最大20.0%向上した。 さらに,K-Radarデータセットを用いて,現実の悪天候条件下でのL4DRの性能改善を検証した。

関連論文リスト

• UniBEVFusion: Unified Radar-Vision BEVFusion for 3D Object Detection [2.123197540438989]
  多くのレーダービジョン融合モデルではレーダーを希薄なLiDARとして扱い、レーダー固有の情報を過小評価している。 本稿では,レーダー固有データを深度予測プロセスに統合したRDLモジュールを提案する。 また、異なるモードでBEV機能を抽出するUnified Feature Fusion (UFF)アプローチも導入する。
  論文  参考訳（メタデータ） (2024-09-23T06:57:27Z)
• RadarOcc: Robust 3D Occupancy Prediction with 4D Imaging Radar [15.776076554141687]
  3D占有に基づく知覚パイプラインは、かなり進歩した自律運転を持つ。 現在の方法では、LiDARやカメラの入力を3D占有率予測に頼っている。 本稿では,4次元イメージングレーダセンサを用いた3次元占有予測手法を提案する。
  論文  参考訳（メタデータ） (2024-05-22T21:48:17Z)
• Better Monocular 3D Detectors with LiDAR from the Past [64.6759926054061]
  カメラベースの3D検出器は、画像の奥行きのあいまいさのため、LiDARベースの検出器に比べて性能が劣ることが多い。 本研究では,未ラベルの歴史的LiDARデータを活用することにより,単分子3D検出器の改良を図る。 複数の最先端モデルやデータセットに対して,9.66ミリ秒の追加レイテンシとストレージコストの低い,一貫性と大幅なパフォーマンス向上を示す。
  論文  参考訳（メタデータ） (2024-04-08T01:38:43Z)
• ThermRad: A Multi-modal Dataset for Robust 3D Object Detection under Challenging Conditions [15.925365473140479]
  ThermRadと呼ばれる新しいマルチモーダルデータセットは、3D LiDAR、4Dレーダー、RGBカメラ、サーマルカメラを含む。 本研究では4次元レーダーとサーマルカメラの相補的な強度を利用して物体検出性能を向上させるRTDF-RCNNと呼ばれる新しいマルチモーダル融合法を提案する。 本手法は,自動車,歩行者,自転車の検出において,それぞれ7.98%,24.27%,27.15%以上の改善を実現している。
  論文  参考訳（メタデータ） (2023-08-20T04:34:30Z)
• 4DRVO-Net: Deep 4D Radar-Visual Odometry Using Multi-Modal and Multi-Scale Adaptive Fusion [2.911052912709637]
  4次元(4D)レーダー-視覚計測(4DRVO)は4次元レーダーとカメラの補完情報を統合している。 4DRVOは4Dレーダーポイント雲の空隙による追跡誤差が顕著である可能性がある。 本稿では,4次元レーダ・ビジュアル・オドメトリーの手法である4DRVO-Netを提案する。
  論文  参考訳（メタデータ） (2023-08-12T14:00:09Z)
• SMURF: Spatial Multi-Representation Fusion for 3D Object Detection with 4D Imaging Radar [12.842457981088378]
  本稿では,単一4次元イメージングレーダを用いた新しい3次元物体検出手法である空間多重表現融合(SMURF)を提案する。 SMURFは、狭角分解能とレーダ信号のマルチパス伝搬による測定精度の低下を緩和する。 The experimental evaluations on View-of-Delft (VoD) and TJ4DRadSet datasets showed the effective and generalization ability of SMURF。
  論文  参考訳（メタデータ） (2023-07-20T11:33:46Z)
• Bi-LRFusion: Bi-Directional LiDAR-Radar Fusion for 3D Dynamic Object Detection [78.59426158981108]
  この課題に対処し、動的オブジェクトの3D検出を改善するために、双方向LiDAR-Radar融合フレームワーク、Bi-LRFusionを導入する。 我々はnuScenesとORRデータセットに関する広範な実験を行い、我々のBi-LRFusionが動的オブジェクトを検出するための最先端のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2023-06-02T10:57:41Z)
• Vision Transformers, a new approach for high-resolution and large-scale mapping of canopy heights [50.52704854147297]
  分類(離散化)と連続損失関数を最適化した新しい視覚変換器(ViT)モデルを提案する。 このモデルは、従来使用されていた畳み込みベースのアプローチ(ConvNet)よりも、連続損失関数のみで最適化された精度が向上する。
  論文  参考訳（メタデータ） (2023-04-22T22:39:03Z)
• LiDAR Snowfall Simulation for Robust 3D Object Detection [116.10039516404743]
  そこで本研究では,降雪の影響をシミュレーションする物理的手法を提案する。 本手法では,LiDARの各線に対して2次元空間の雪粒子をサンプリングし,誘導幾何を用いて各LiDAR線の測定を修正した。 我々はシミュレーションを用いて、部分的に合成された雪のLiDARデータを生成し、これらのデータを利用して、降雪に頑健な3次元物体検出モデルを訓練する。
  論文  参考訳（メタデータ） (2022-03-28T21:48:26Z)
• Lidar Light Scattering Augmentation (LISA): Physics-based Simulation of Adverse Weather Conditions for 3D Object Detection [60.89616629421904]
  ライダーベースの物体検出器は、自動運転車のような自律ナビゲーションシステムにおいて、3D知覚パイプラインの重要な部分である。 降雨、雪、霧などの悪天候に敏感で、信号-雑音比(SNR)と信号-背景比(SBR)が低下している。
  論文  参考訳（メタデータ） (2021-07-14T21:10:47Z)
• LiRaNet: End-to-End Trajectory Prediction using Spatio-Temporal Radar Fusion [52.59664614744447]
  本稿では,レーダセンサ情報と広範に使用されているライダーと高精細度(HD)マップを用いた新しい終端軌道予測手法LiRaNetを提案する。 自動車レーダーは、リッチで補完的な情報を提供し、より長い距離の車両検出と即時速度測定を可能にします。
  論文  参考訳（メタデータ） (2020-10-02T00:13:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。