論文の概要: UniBEVFusion: Unified Radar-Vision BEVFusion for 3D Object Detection

• arxiv url: http://arxiv.org/abs/2409.14751v1
• Date: Mon, 23 Sep 2024 06:57:27 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-06 21:12:18.821142
• Title: UniBEVFusion: Unified Radar-Vision BEVFusion for 3D Object Detection
• Title（参考訳）: UniBEVFusion:3Dオブジェクト検出のための統一レーダービジョンBEVFusion
• Authors: Haocheng Zhao, Runwei Guan, Taoyu Wu, Ka Lok Man, Limin Yu, Yutao Yue,
• Abstract要約: 多くのレーダービジョン融合モデルではレーダーを希薄なLiDARとして扱い、レーダー固有の情報を過小評価している。 本稿では,レーダー固有データを深度予測プロセスに統合したRDLモジュールを提案する。 また、異なるモードでBEV機能を抽出するUnified Feature Fusion (UFF)アプローチも導入する。
• 参考スコア（独自算出の注目度）: 2.123197540438989
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: 4D millimeter-wave (MMW) radar, which provides both height information and dense point cloud data over 3D MMW radar, has become increasingly popular in 3D object detection. In recent years, radar-vision fusion models have demonstrated performance close to that of LiDAR-based models, offering advantages in terms of lower hardware costs and better resilience in extreme conditions. However, many radar-vision fusion models treat radar as a sparse LiDAR, underutilizing radar-specific information. Additionally, these multi-modal networks are often sensitive to the failure of a single modality, particularly vision. To address these challenges, we propose the Radar Depth Lift-Splat-Shoot (RDL) module, which integrates radar-specific data into the depth prediction process, enhancing the quality of visual Bird-Eye View (BEV) features. We further introduce a Unified Feature Fusion (UFF) approach that extracts BEV features across different modalities using shared module. To assess the robustness of multi-modal models, we develop a novel Failure Test (FT) ablation experiment, which simulates vision modality failure by injecting Gaussian noise. We conduct extensive experiments on the View-of-Delft (VoD) and TJ4D datasets. The results demonstrate that our proposed Unified BEVFusion (UniBEVFusion) network significantly outperforms state-of-the-art models on the TJ4D dataset, with improvements of 1.44 in 3D and 1.72 in BEV object detection accuracy.
• Abstract（参考訳）: 4Dミリ波(MMW)レーダーは、高度情報と3DMMWレーダー上の高密度点雲データの両方を提供するが、3Dオブジェクト検出ではますます人気が高まっている。 近年、レーダービジョン融合モデルはLiDARベースのモデルに近い性能を示し、ハードウェアコストの低減と極端な条件下でのレジリエンスの向上という利点を提供している。 しかし、多くのレーダービジョン融合モデルはレーダーを希薄なLiDARとして扱い、レーダー固有の情報を利用する。 さらに、これらのマルチモーダルネットワークは、しばしば単一のモダリティ、特に視覚の失敗に敏感である。 これらの課題に対処するために、レーダー固有データを深度予測プロセスに統合し、ビジュアルバードアイビュー(BEV)機能の品質を向上させるRDLモジュールを提案する。 さらに,共有モジュールを用いたBEV特徴量の抽出を行うUnified Feature Fusion (UFF) 手法を導入する。 マルチモーダルモデルのロバスト性を評価するため,ガウス雑音を注入することによって視覚のモダリティ障害をシミュレートする新しいフェール・テスト(FT)アブレーション実験を開発した。 我々は、View-of-Delft(VoD)とTJ4Dデータセットについて広範な実験を行う。 その結果,提案したUnified BEVFusion(UniBEVFusion)ネットワークは,TJ4Dデータセットの最先端モデルよりも優れ,BEVオブジェクト検出精度は1.44,BEVオブジェクト検出精度は1.72向上した。

関連論文リスト

• RCBEVDet++: Toward High-accuracy Radar-Camera Fusion 3D Perception Network [34.45694077040797]
  本稿では、BEEVDetと呼ばれるレーダーカメラ融合3Dオブジェクト検出フレームワークを提案する。 RadarBEVNetは、スパースレーダーポイントを高密度の鳥の目視特徴に符号化する。 提案手法は,3次元オブジェクト検出,BEVセマンティックセグメンテーション,および3次元マルチオブジェクト追跡タスクにおいて,最先端のレーダカメラ融合を実現する。
  論文  参考訳（メタデータ） (2024-09-08T05:14:27Z)
• VFMM3D: Releasing the Potential of Image by Vision Foundation Model for Monocular 3D Object Detection [80.62052650370416]
  モノクル3Dオブジェクト検出は、自律運転やロボティクスなど、さまざまなアプリケーションにおいて重要な役割を担っている。 本稿では,VFMM3Dを提案する。VFMM3Dは,ビジョンファウンデーションモデル(VFM)の機能を利用して,単一ビュー画像を正確にLiDARポイントクラウド表現に変換する,革新的なフレームワークである。
  論文  参考訳（メタデータ） (2024-04-15T03:12:12Z)
• Diffusion-Based Point Cloud Super-Resolution for mmWave Radar Data [8.552647576661174]
  ミリ波レーダセンサは、環境条件下では安定した性能を維持している。 レーダー点雲は比較的希薄で、巨大なゴーストポイントを含んでいる。 本稿では3次元ミリ波レーダデータに対する新しい点雲超解像法,Radar-diffusionを提案する。
  論文  参考訳（メタデータ） (2024-04-09T04:41:05Z)
• Reviewing 3D Object Detectors in the Context of High-Resolution 3+1D Radar [0.7279730418361995]
  高分解能4D(3+1D)レーダーセンサーは、ディープラーニングに基づくレーダー知覚の研究を行っている。 本研究では,3次元物体検出のためのレーダポイントクラウドで動作するディープラーニングモデルについて検討する。
  論文  参考訳（メタデータ） (2023-08-10T10:10:43Z)
• SMURF: Spatial Multi-Representation Fusion for 3D Object Detection with 4D Imaging Radar [12.842457981088378]
  本稿では,単一4次元イメージングレーダを用いた新しい3次元物体検出手法である空間多重表現融合(SMURF)を提案する。 SMURFは、狭角分解能とレーダ信号のマルチパス伝搬による測定精度の低下を緩和する。 The experimental evaluations on View-of-Delft (VoD) and TJ4DRadSet datasets showed the effective and generalization ability of SMURF。
  論文  参考訳（メタデータ） (2023-07-20T11:33:46Z)
• Bi-LRFusion: Bi-Directional LiDAR-Radar Fusion for 3D Dynamic Object Detection [78.59426158981108]
  この課題に対処し、動的オブジェクトの3D検出を改善するために、双方向LiDAR-Radar融合フレームワーク、Bi-LRFusionを導入する。 我々はnuScenesとORRデータセットに関する広範な実験を行い、我々のBi-LRFusionが動的オブジェクトを検出するための最先端のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2023-06-02T10:57:41Z)
• 3D Reconstruction of Multiple Objects by mmWave Radar on UAV [15.47494720280318]
  UAVに搭載されたミリ波レーダーセンサを用いて空間内の複数の物体の3次元形状を再構成する可能性を検討する。 UAVは宇宙の様々な場所でホバリングし、搭載されたレーダーセンサーはSAR(Synthetic Aperture Radar)操作で空間をスキャンすることで生のレーダーデータを収集する。 レーダデータはディープニューラルネットワークモデルに送信され、空間内の複数のオブジェクトの点雲再構成を出力する。
  論文  参考訳（メタデータ） (2022-11-03T21:23:36Z)
• Boosting 3D Object Detection by Simulating Multimodality on Point Clouds [51.87740119160152]
  本稿では,LiDAR 画像検出器に追従する特徴や応答をシミュレートすることで,単一モダリティ (LiDAR) 3次元物体検出器を高速化する新しい手法を提案する。 このアプローチでは、単一モダリティ検出器をトレーニングする場合のみ、LiDARイメージデータを必要とし、十分にトレーニングされた場合には、推論時にのみLiDARデータが必要である。 nuScenesデータセットの実験結果から,本手法はSOTA LiDARのみの3D検出器よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2022-06-30T01:44:30Z)
• Fully Convolutional One-Stage 3D Object Detection on LiDAR Range Images [96.66271207089096]
  FCOS-LiDARは、自律走行シーンのLiDAR点雲のための完全な1段式3Dオブジェクト検出器である。 標準的な2Dコンボリューションを持つRVベースの3D検出器は、最先端のBEVベースの検出器と同等の性能を発揮することを示す。
  論文  参考訳（メタデータ） (2022-05-27T05:42:16Z)
• EPNet++: Cascade Bi-directional Fusion for Multi-Modal 3D Object Detection [56.03081616213012]
  本稿では,新しいCasscade Bi-directional Fusion(CB-Fusion)モジュールを導入することで,マルチモーダル3Dオブジェクト検出のためのEPNet++を提案する。 提案したCB-Fusionモジュールは、カスケード双方向相互作用融合方式で画像特徴と点特徴の豊富な意味情報を高める。 KITTI、JRDB、SUN-RGBDデータセットの実験結果は、最先端の手法よりもEPNet++の方が優れていることを示している。
  論文  参考訳（メタデータ） (2021-12-21T10:48:34Z)
• SGM3D: Stereo Guided Monocular 3D Object Detection [62.11858392862551]
  SGM3Dと呼ばれるステレオ誘導単分子物体検出ネットワークを提案する。 ステレオ画像から抽出したロバストな3次元特徴を利用して、モノクル画像から得られた特徴を強化する。 本手法は,余分な計算コストを伴わずに性能を向上させるために,他の多くの単分子的手法に統合することができる。
  論文  参考訳（メタデータ） (2021-12-03T13:57:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。