論文の概要: HGSFusion: Radar-Camera Fusion with Hybrid Generation and Synchronization for 3D Object Detection
- arxiv url: http://arxiv.org/abs/2412.11489v1
- Date: Mon, 16 Dec 2024 07:06:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-17 14:02:34.021408
- Title: HGSFusion: Radar-Camera Fusion with Hybrid Generation and Synchronization for 3D Object Detection
- Title（参考訳）: HGSFusion:3次元物体検出のためのハイブリッド・同期型レーダカメラフュージョン
- Authors: Zijian Gu, Jianwei Ma, Yan Huang, Honghao Wei, Zhanye Chen, Hui Zhang, Wei Hong,
- Abstract要約: ミリ波レーダーは、自律走行のための3次元物体検出において重要な役割を果たす。
レーダー点雲は、鮮明な間隔と避けられない角度推定誤差に悩まされる。
レーダーとカメラデータの直接融合は、負の効果や反対効果につながる可能性がある。
- 参考スコア（独自算出の注目度）: 10.91039672865197
- License:
- Abstract: Millimeter-wave radar plays a vital role in 3D object detection for autonomous driving due to its all-weather and all-lighting-condition capabilities for perception. However, radar point clouds suffer from pronounced sparsity and unavoidable angle estimation errors. To address these limitations, incorporating a camera may partially help mitigate the shortcomings. Nevertheless, the direct fusion of radar and camera data can lead to negative or even opposite effects due to the lack of depth information in images and low-quality image features under adverse lighting conditions. Hence, in this paper, we present the radar-camera fusion network with Hybrid Generation and Synchronization (HGSFusion), designed to better fuse radar potentials and image features for 3D object detection. Specifically, we propose the Radar Hybrid Generation Module (RHGM), which fully considers the Direction-Of-Arrival (DOA) estimation errors in radar signal processing. This module generates denser radar points through different Probability Density Functions (PDFs) with the assistance of semantic information. Meanwhile, we introduce the Dual Sync Module (DSM), comprising spatial sync and modality sync, to enhance image features with radar positional information and facilitate the fusion of distinct characteristics in different modalities. Extensive experiments demonstrate the effectiveness of our approach, outperforming the state-of-the-art methods in the VoD and TJ4DRadSet datasets by $6.53\%$ and $2.03\%$ in RoI AP and BEV AP, respectively. The code is available at https://github.com/garfield-cpp/HGSFusion.
- Abstract（参考訳）: ミリ波レーダーは、全天候および全照度条件の知覚能力のために、自律走行のための3次元物体検出において重要な役割を担っている。
しかし、レーダー点雲は鮮やかさと避けられない角度推定誤差に悩まされている。
これらの制限に対処するために、カメラを組み込むことは、欠点を部分的に緩和するのに役立つかもしれない。
それでも、レーダーとカメラデータの直接融合は、画像の深度情報の欠如や、暗い照明条件下での低品質な画像の特徴のために、負の効果や反対効果をもたらす可能性がある。
そこで本研究では,レーダ電位と3次元物体検出のための画像特徴の融合を目的としたハイブリッド・ジェネレーション・シンクロナイゼーション(HGSFusion)を用いたレーダカメラ融合ネットワークを提案する。
具体的には、レーダ信号処理における方向-方向(DOA)推定誤差を完全に考慮したレーダハイブリッド生成モジュール(RHGM)を提案する。
このモジュールは、意味情報の助けを借りて、異なる確率密度関数(PDF)を通してより密度の高いレーダーポイントを生成する。
一方、空間同期とモード同期を組み合わせたデュアル同期モジュール(DSM)を導入し、レーダ位置情報による画像特徴の向上と、異なるモダリティの異なる特徴の融合を容易にする。
大規模な実験により、VoDとTJ4DRadSetデータセットの最先端手法をそれぞれ6.53\%、RoI APとBEV APで2.03\%で上回った。
コードはhttps://github.com/garfield-cpp/HGSFusion.comで公開されている。
関連論文リスト
- RobuRCDet: Enhancing Robustness of Radar-Camera Fusion in Bird's Eye View for 3D Object Detection [68.99784784185019]
暗い照明や悪天候はカメラの性能を低下させる。
レーダーは騒音と位置のあいまいさに悩まされる。
本稿では,BEVの頑健な物体検出モデルであるRobuRCDetを提案する。
論文 参考訳（メタデータ） (2025-02-18T17:17:38Z) - TransRAD: Retentive Vision Transformer for Enhanced Radar Object Detection [6.163747364795787]
本稿では,新しい3次元レーダ物体検出モデルであるTransRADを提案する。
本研究では、ディープレーダオブジェクト検出における重複境界ボックスの共通問題を軽減するために、位置認識型NMSを提案する。
その結果,TransRADは2次元および3次元のレーダ検出タスクにおいて最先端の手法よりも優れていた。
論文 参考訳（メタデータ） (2025-01-29T20:21:41Z) - Vision meets mmWave Radar: 3D Object Perception Benchmark for Autonomous
Driving [30.456314610767667]
CRUW3Dデータセットには、66K同期カメラ、レーダー、LiDARフレームが含まれる。
この種のフォーマットは、カメラとレーダーの間の情報や特徴を融合させた後、機械学習モデルによりより信頼性の高い知覚結果が得られる。
論文 参考訳（メタデータ） (2023-11-17T01:07:37Z) - Echoes Beyond Points: Unleashing the Power of Raw Radar Data in
Multi-modality Fusion [74.84019379368807]
本稿では,既存のレーダ信号処理パイプラインをスキップするEchoFusionという新しい手法を提案する。
具体的には、まずBird's Eye View (BEV)クエリを生成し、次にレーダーから他のセンサーとフューズに対応するスペクトル特徴を取ります。
論文 参考訳（メタデータ） (2023-07-31T09:53:50Z) - RCM-Fusion: Radar-Camera Multi-Level Fusion for 3D Object Detection [15.686167262542297]
本稿では,機能レベルとインスタンスレベルの両モードを融合するRadar-Camera Multi-level fusion (RCM-Fusion)を提案する。
特徴レベルの融合のために,カメラ特徴を正確なBEV表現に変換するRadar Guided BEVを提案する。
実例レベルでの融合では,ローカライズエラーを低減するRadar Grid Point Refinementモジュールを提案する。
論文 参考訳（メタデータ） (2023-07-17T07:22:25Z) - Bi-LRFusion: Bi-Directional LiDAR-Radar Fusion for 3D Dynamic Object
Detection [78.59426158981108]
この課題に対処し、動的オブジェクトの3D検出を改善するために、双方向LiDAR-Radar融合フレームワーク、Bi-LRFusionを導入する。
我々はnuScenesとORRデータセットに関する広範な実験を行い、我々のBi-LRFusionが動的オブジェクトを検出するための最先端のパフォーマンスを達成することを示す。
論文 参考訳（メタデータ） (2023-06-02T10:57:41Z) - MVFusion: Multi-View 3D Object Detection with Semantic-aligned Radar and
Camera Fusion [6.639648061168067]
マルチビューレーダーカメラで融合した3Dオブジェクト検出は、より遠くの検知範囲と自律運転に有用な機能を提供する。
現在のレーダーとカメラの融合方式は、レーダー情報をカメラデータで融合するための種類の設計を提供する。
セマンティック・アライメント・レーダ機能を実現するための新しいマルチビューレーダカメラフュージョン法であるMVFusionを提案する。
論文 参考訳（メタデータ） (2023-02-21T08:25:50Z) - CramNet: Camera-Radar Fusion with Ray-Constrained Cross-Attention for
Robust 3D Object Detection [12.557361522985898]
本稿では,カメラとレーダーの読み取りを3次元空間に融合させるカメラレーダマッチングネットワークCramNetを提案する。
本手法は, カメラやレーダセンサが車両内で突然故障した場合においても, 頑健な3次元物体検出を実現するセンサモダリティ・ドロップアウトによるトレーニングを支援する。
論文 参考訳（メタデータ） (2022-10-17T17:18:47Z) - LIF-Seg: LiDAR and Camera Image Fusion for 3D LiDAR Semantic
Segmentation [78.74202673902303]
本稿では,LiDAR分割のための粗大なLiDARとカメラフュージョンベースネットワーク(LIF-Seg)を提案する。
提案手法は,画像の文脈情報を完全に活用し,単純だが効果的な早期融合戦略を導入する。
これら2つのコンポーネントの協力により、効果的なカメラ-LiDAR融合が成功する。
論文 参考訳（メタデータ） (2021-08-17T08:53:11Z) - Depth Estimation from Monocular Images and Sparse Radar Data [93.70524512061318]
本稿では,ディープニューラルネットワークを用いた単眼画像とレーダ点の融合により,より正確な深度推定を実現する可能性を検討する。
レーダ測定で発生するノイズが,既存の融合法の適用を妨げている主要な理由の1つであることが判明した。
実験はnuScenesデータセット上で行われ、カメラ、レーダー、LiDARの記録を様々な場面と気象条件で記録する最初のデータセットの1つである。
論文 参考訳（メタデータ） (2020-09-30T19:01:33Z) - RadarNet: Exploiting Radar for Robust Perception of Dynamic Objects [73.80316195652493]
我々は、自動運転車の文脈における認識のためにRadarを利用する問題に取り組む。
我々は、LiDARとRadarの両方のセンサーを知覚に利用した新しいソリューションを提案する。
RadarNetと呼ばれる我々のアプローチは、ボクセルベースの早期核融合と注意に基づく後期核融合を特徴としている。
論文 参考訳（メタデータ） (2020-07-28T17:15:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。