論文の概要: RobuRCDet: Enhancing Robustness of Radar-Camera Fusion in Bird's Eye View for 3D Object Detection

• arxiv url: http://arxiv.org/abs/2502.13071v1
• Date: Tue, 18 Feb 2025 17:17:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-19 14:06:51.991938
• Title: RobuRCDet: Enhancing Robustness of Radar-Camera Fusion in Bird's Eye View for 3D Object Detection
• Title（参考訳）: RobuRCDet:3次元物体検出のための鳥眼視におけるレーダーカメラ融合のロバスト性向上
• Authors: Jingtong Yue, Zhiwei Lin, Xin Lin, Xiaoyu Zhou, Xiangtai Li, Lu Qi, Yongtao Wang, Ming-Hsuan Yang,
• Abstract要約: 暗い照明や悪天候はカメラの性能を低下させる。 レーダーは騒音と位置のあいまいさに悩まされる。 本稿では,BEVの頑健な物体検出モデルであるRobuRCDetを提案する。
• 参考スコア（独自算出の注目度）: 68.99784784185019
• License:
• Abstract: While recent low-cost radar-camera approaches have shown promising results in multi-modal 3D object detection, both sensors face challenges from environmental and intrinsic disturbances. Poor lighting or adverse weather conditions degrade camera performance, while radar suffers from noise and positional ambiguity. Achieving robust radar-camera 3D object detection requires consistent performance across varying conditions, a topic that has not yet been fully explored. In this work, we first conduct a systematic analysis of robustness in radar-camera detection on five kinds of noises and propose RobuRCDet, a robust object detection model in BEV. Specifically, we design a 3D Gaussian Expansion (3DGE) module to mitigate inaccuracies in radar points, including position, Radar Cross-Section (RCS), and velocity. The 3DGE uses RCS and velocity priors to generate a deformable kernel map and variance for kernel size adjustment and value distribution. Additionally, we introduce a weather-adaptive fusion module, which adaptively fuses radar and camera features based on camera signal confidence. Extensive experiments on the popular benchmark, nuScenes, show that our model achieves competitive results in regular and noisy conditions.
• Abstract（参考訳）: 最近の低コストレーダーカメラアプローチは、マルチモーダルな3Dオブジェクト検出において有望な結果を示しているが、両方のセンサーは、環境および本質的な障害による課題に直面している。 暗い照明や悪天候はカメラの性能を低下させ、レーダーはノイズや位置のあいまいさに悩まされる。 堅牢なレーダーカメラによる3Dオブジェクト検出を実現するには、さまざまな条件で一貫したパフォーマンスが必要である。 本研究では,まず5種類のノイズに対するレーダカメラ検出におけるロバスト性の解析を行い,BEVにおけるロブRCデット(ロブRCデット)を提案する。 具体的には,3次元ガウス展開(3DGE)モジュールを設計し,位置,レーダー断面(RCS),速度などのレーダ点の不正確性を緩和する。 3DGEはRCSとベロシティを使って、変形可能なカーネルマップと、カーネルサイズ調整と値分布のための分散を生成する。 さらに,気象適応型核融合モジュールを導入し,カメラ信号の信頼性に基づいてレーダとカメラの特徴を適応的に融合させる。 一般的なベンチマークである nuScenes での大規模な実験により,本モデルが正規および雑音条件下での競合結果が得られることが示された。

関連論文リスト

• RaCFormer: Towards High-Quality 3D Object Detection via Query-based Radar-Camera Fusion [58.77329237533034]
  本稿では3次元物体検出の精度を高めるために,Raar-Camera fusion transformer (RaCFormer)を提案する。 RaCFormerは64.9%のmAPと70.2%のNDSをnuScene上で達成し、LiDARベースの検出器よりも優れている。
  論文  参考訳（メタデータ） (2024-12-17T09:47:48Z)
• RCBEVDet++: Toward High-accuracy Radar-Camera Fusion 3D Perception Network [34.45694077040797]
  本稿では、BEEVDetと呼ばれるレーダーカメラ融合3Dオブジェクト検出フレームワークを提案する。 RadarBEVNetは、スパースレーダーポイントを高密度の鳥の目視特徴に符号化する。 提案手法は,3次元オブジェクト検出,BEVセマンティックセグメンテーション,および3次元マルチオブジェクト追跡タスクにおいて,最先端のレーダカメラ融合を実現する。
  論文  参考訳（メタデータ） (2024-09-08T05:14:27Z)
• RCBEVDet: Radar-camera Fusion in Bird's Eye View for 3D Object Detection [33.07575082922186]
  3次元物体検出は、自律運転における重要なタスクの1つである。 カメラのみに頼って高度に正確で頑丈な3Dオブジェクト検出を実現するのは難しい。 鳥眼ビュー(BEV)におけるレーダーカメラ融合3次元物体検出法 RadarBEVNetはデュアルストリームのレーダーバックボーンとRadar Cross-Section (RC)対応のBEVエンコーダで構成されている。
  論文  参考訳（メタデータ） (2024-03-25T06:02:05Z)
• Echoes Beyond Points: Unleashing the Power of Raw Radar Data in Multi-modality Fusion [74.84019379368807]
  本稿では,既存のレーダ信号処理パイプラインをスキップするEchoFusionという新しい手法を提案する。 具体的には、まずBird's Eye View (BEV)クエリを生成し、次にレーダーから他のセンサーとフューズに対応するスペクトル特徴を取ります。
  論文  参考訳（メタデータ） (2023-07-31T09:53:50Z)
• RCM-Fusion: Radar-Camera Multi-Level Fusion for 3D Object Detection [15.686167262542297]
  本稿では,機能レベルとインスタンスレベルの両モードを融合するRadar-Camera Multi-level fusion (RCM-Fusion)を提案する。 特徴レベルの融合のために,カメラ特徴を正確なBEV表現に変換するRadar Guided BEVを提案する。 実例レベルでの融合では,ローカライズエラーを低減するRadar Grid Point Refinementモジュールを提案する。
  論文  参考訳（メタデータ） (2023-07-17T07:22:25Z)
• Bi-LRFusion: Bi-Directional LiDAR-Radar Fusion for 3D Dynamic Object Detection [78.59426158981108]
  この課題に対処し、動的オブジェクトの3D検出を改善するために、双方向LiDAR-Radar融合フレームワーク、Bi-LRFusionを導入する。 我々はnuScenesとORRデータセットに関する広範な実験を行い、我々のBi-LRFusionが動的オブジェクトを検出するための最先端のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2023-06-02T10:57:41Z)
• CramNet: Camera-Radar Fusion with Ray-Constrained Cross-Attention for Robust 3D Object Detection [12.557361522985898]
  本稿では,カメラとレーダーの読み取りを3次元空間に融合させるカメラレーダマッチングネットワークCramNetを提案する。 本手法は, カメラやレーダセンサが車両内で突然故障した場合においても, 頑健な3次元物体検出を実現するセンサモダリティ・ドロップアウトによるトレーニングを支援する。
  論文  参考訳（メタデータ） (2022-10-17T17:18:47Z)
• Depth Estimation from Monocular Images and Sparse Radar Data [93.70524512061318]
  本稿では,ディープニューラルネットワークを用いた単眼画像とレーダ点の融合により,より正確な深度推定を実現する可能性を検討する。 レーダ測定で発生するノイズが,既存の融合法の適用を妨げている主要な理由の1つであることが判明した。 実験はnuScenesデータセット上で行われ、カメラ、レーダー、LiDARの記録を様々な場面と気象条件で記録する最初のデータセットの1つである。
  論文  参考訳（メタデータ） (2020-09-30T19:01:33Z)
• RadarNet: Exploiting Radar for Robust Perception of Dynamic Objects [73.80316195652493]
  我々は、自動運転車の文脈における認識のためにRadarを利用する問題に取り組む。 我々は、LiDARとRadarの両方のセンサーを知覚に利用した新しいソリューションを提案する。 RadarNetと呼ばれる我々のアプローチは、ボクセルベースの早期核融合と注意に基づく後期核融合を特徴としている。
  論文  参考訳（メタデータ） (2020-07-28T17:15:02Z)
• RODNet: Radar Object Detection Using Cross-Modal Supervision [34.33920572597379]
  レーダーは通常、厳しい運転シナリオではカメラよりも頑丈である。 カメラが撮影したRGB画像とは異なり、レーダー信号からのセマンティック情報は明らかに抽出が困難である。 レーダ周波数データからオブジェクトを純粋に検出するディープレーダオブジェクト検出ネットワーク(RODNet)を提案する。
  論文  参考訳（メタデータ） (2020-03-03T22:33:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。