論文の概要: HVDetFusion: A Simple and Robust Camera-Radar Fusion Framework
- arxiv url: http://arxiv.org/abs/2307.11323v1
- Date: Fri, 21 Jul 2023 03:08:28 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-24 13:51:31.831248
- Title: HVDetFusion: A Simple and Robust Camera-Radar Fusion Framework
- Title（参考訳）: HVDetFusion: シンプルでロバストなカメラレーダーフュージョンフレームワーク
- Authors: Kai Lei, Zhan Chen, Shuman Jia, Xiaoteng Zhang
- Abstract要約: 現在のSOTAアルゴリズムは、カメラとLidarセンサーを組み合わせており、Lidarの価格に制限されている。
HVDetFusionは、純粋なカメラデータを検出の入力としてサポートするマルチモーダル検出アルゴリズムである。
HVDetFusionは、すべてのカメラレーダー3Dオブジェクト検出器の中で、挑戦的なnuScenesテストセットに対して、最先端の67.4% NDSを新たに達成した。
- 参考スコア（独自算出の注目度）: 10.931114142452895
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In the field of autonomous driving, 3D object detection is a very important
perception module. Although the current SOTA algorithm combines Camera and
Lidar sensors, limited by the high price of Lidar, the current mainstream
landing schemes are pure Camera sensors or Camera+Radar sensors. In this study,
we propose a new detection algorithm called HVDetFusion, which is a multi-modal
detection algorithm that not only supports pure camera data as input for
detection, but also can perform fusion input of radar data and camera data. The
camera stream does not depend on the input of Radar data, thus addressing the
downside of previous methods. In the pure camera stream, we modify the
framework of Bevdet4D for better perception and more efficient inference, and
this stream has the whole 3D detection output. Further, to incorporate the
benefits of Radar signals, we use the prior information of different object
positions to filter the false positive information of the original radar data,
according to the positioning information and radial velocity information
recorded by the radar sensors to supplement and fuse the BEV features generated
by the original camera data, and the effect is further improved in the process
of fusion training. Finally, HVDetFusion achieves the new state-of-the-art
67.4\% NDS on the challenging nuScenes test set among all camera-radar 3D
object detectors. The code is available at
https://github.com/HVXLab/HVDetFusion
- Abstract（参考訳）: 自動運転の分野では、3dオブジェクト検出は、非常に重要な知覚モジュールである。
現在のSOTAアルゴリズムは、Lidarの価格に制限されたカメラとLidarのセンサーを組み合わせているが、現在の主流のランディングスキームは、純粋なカメラセンサーまたはCamera+Radarセンサーである。
本研究では,HVDetFusionと呼ばれる新しい検出アルゴリズムを提案する。HVDetFusionは,検出用入力として純粋なカメラデータをサポートするだけでなく,レーダデータとカメラデータの融合入力を行うマルチモーダル検出アルゴリズムである。
カメラストリームはRadarデータの入力に依存しないので、以前の方法の欠点に対処する。
純粋なカメラストリームでは、Bevdet4Dのフレームワークを改良し、より知覚を良くし、より効率的な推論を行い、このストリームは全3D検出出力を持つ。
また、レーダー信号の利点を取り入れるために、レーダーセンサが記録した測位情報及び放射速度情報に基づいて、異なる対象位置の先行情報を用いて、元のレーダーデータの偽陽性情報をフィルタリングし、元のカメラデータから生成されたbev特徴を補足して融合させ、核融合訓練の過程で効果をさらに向上させる。
最後に、hvdetfusionは、カメラ・レーダー3dオブジェクト検出器の挑戦的なヌースセンシングテストセットにおいて、新たな67.4\% ndsを達成した。
コードはhttps://github.com/HVXLab/HVDetFusionで入手できる。
関連論文リスト
- A Resource Efficient Fusion Network for Object Detection in Bird's-Eye View using Camera and Raw Radar Data [7.2508100569856975]
レーダデータの生のレンジ・ドップラースペクトルを用いてカメラ画像を処理する。
カメラエンコーダデコーダアーキテクチャを用いて,対応する特徴を抽出する。
得られた特徴写像はレンジ・アジマス特徴と融合し、RDスペクトルから復元して物体検出を行う。
論文 参考訳（メタデータ） (2024-11-20T13:26:13Z) - RCBEVDet++: Toward High-accuracy Radar-Camera Fusion 3D Perception Network [34.45694077040797]
本稿では、BEEVDetと呼ばれるレーダーカメラ融合3Dオブジェクト検出フレームワークを提案する。
RadarBEVNetは、スパースレーダーポイントを高密度の鳥の目視特徴に符号化する。
提案手法は,3次元オブジェクト検出,BEVセマンティックセグメンテーション,および3次元マルチオブジェクト追跡タスクにおいて,最先端のレーダカメラ融合を実現する。
論文 参考訳（メタデータ） (2024-09-08T05:14:27Z) - RCBEVDet: Radar-camera Fusion in Bird's Eye View for 3D Object Detection [33.07575082922186]
3次元物体検出は、自律運転における重要なタスクの1つである。
カメラのみに頼って高度に正確で頑丈な3Dオブジェクト検出を実現するのは難しい。
鳥眼ビュー(BEV)におけるレーダーカメラ融合3次元物体検出法
RadarBEVNetはデュアルストリームのレーダーバックボーンとRadar Cross-Section (RC)対応のBEVエンコーダで構成されている。
論文 参考訳（メタデータ） (2024-03-25T06:02:05Z) - Echoes Beyond Points: Unleashing the Power of Raw Radar Data in
Multi-modality Fusion [74.84019379368807]
本稿では,既存のレーダ信号処理パイプラインをスキップするEchoFusionという新しい手法を提案する。
具体的には、まずBird's Eye View (BEV)クエリを生成し、次にレーダーから他のセンサーとフューズに対応するスペクトル特徴を取ります。
論文 参考訳（メタデータ） (2023-07-31T09:53:50Z) - RCM-Fusion: Radar-Camera Multi-Level Fusion for 3D Object Detection [15.686167262542297]
本稿では,機能レベルとインスタンスレベルの両モードを融合するRadar-Camera Multi-level fusion (RCM-Fusion)を提案する。
特徴レベルの融合のために,カメラ特徴を正確なBEV表現に変換するRadar Guided BEVを提案する。
実例レベルでの融合では,ローカライズエラーを低減するRadar Grid Point Refinementモジュールを提案する。
論文 参考訳（メタデータ） (2023-07-17T07:22:25Z) - Bi-LRFusion: Bi-Directional LiDAR-Radar Fusion for 3D Dynamic Object
Detection [78.59426158981108]
この課題に対処し、動的オブジェクトの3D検出を改善するために、双方向LiDAR-Radar融合フレームワーク、Bi-LRFusionを導入する。
我々はnuScenesとORRデータセットに関する広範な実験を行い、我々のBi-LRFusionが動的オブジェクトを検出するための最先端のパフォーマンスを達成することを示す。
論文 参考訳（メタデータ） (2023-06-02T10:57:41Z) - Multi-Modal 3D Object Detection by Box Matching [109.43430123791684]
マルチモーダル3次元検出のためのボックスマッチング(FBMNet)による新しいフュージョンネットワークを提案する。
3Dオブジェクトと2Dオブジェクトの提案を学習することで、ROI特徴を組み合わせることで、検出のための融合を効果的に行うことができる。
論文 参考訳（メタデータ） (2023-05-12T18:08:51Z) - CramNet: Camera-Radar Fusion with Ray-Constrained Cross-Attention for
Robust 3D Object Detection [12.557361522985898]
本稿では,カメラとレーダーの読み取りを3次元空間に融合させるカメラレーダマッチングネットワークCramNetを提案する。
本手法は, カメラやレーダセンサが車両内で突然故障した場合においても, 頑健な3次元物体検出を実現するセンサモダリティ・ドロップアウトによるトレーニングを支援する。
論文 参考訳（メタデータ） (2022-10-17T17:18:47Z) - Benchmarking the Robustness of LiDAR-Camera Fusion for 3D Object
Detection [58.81316192862618]
自律運転における3D知覚のための2つの重要なセンサーは、カメラとLiDARである。
これら2つのモダリティを融合させることで、3次元知覚モデルの性能を大幅に向上させることができる。
我々は、最先端の核融合法を初めてベンチマークした。
論文 参考訳（メタデータ） (2022-05-30T09:35:37Z) - Depth Estimation from Monocular Images and Sparse Radar Data [93.70524512061318]
本稿では,ディープニューラルネットワークを用いた単眼画像とレーダ点の融合により,より正確な深度推定を実現する可能性を検討する。
レーダ測定で発生するノイズが,既存の融合法の適用を妨げている主要な理由の1つであることが判明した。
実験はnuScenesデータセット上で行われ、カメラ、レーダー、LiDARの記録を様々な場面と気象条件で記録する最初のデータセットの1つである。
論文 参考訳（メタデータ） (2020-09-30T19:01:33Z) - RadarNet: Exploiting Radar for Robust Perception of Dynamic Objects [73.80316195652493]
我々は、自動運転車の文脈における認識のためにRadarを利用する問題に取り組む。
我々は、LiDARとRadarの両方のセンサーを知覚に利用した新しいソリューションを提案する。
RadarNetと呼ばれる我々のアプローチは、ボクセルベースの早期核融合と注意に基づく後期核融合を特徴としている。
論文 参考訳（メタデータ） (2020-07-28T17:15:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。