論文の概要: RaLiBEV: Radar and LiDAR BEV Fusion Learning for Anchor Box Free Object
Detection System
- arxiv url: http://arxiv.org/abs/2211.06108v3
- Date: Wed, 9 Aug 2023 05:36:43 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-10 18:19:09.740525
- Title: RaLiBEV: Radar and LiDAR BEV Fusion Learning for Anchor Box Free Object
Detection System
- Title（参考訳）: RaLiBEV:アンカーボックス自由物体検出システムのためのレーダーとLiDARのBEV融合学習
- Authors: Yanlong Yang, Jianan Liu, Tao Huang, Qing-Long Han, Gang Ma and Bing
Zhu
- Abstract要約: 自律走行システムでは、LiDARとレーダーは周囲環境の認識において重要な役割を果たす。
最近の最先端の研究は、レーダーとLiDARの融合が悪天候のロバストな検出につながることを明らかにしている。
鳥眼ビュー融合学習に基づくアンカーボックスフリー物体検出システムを提案する。
- 参考スコア（独自算出の注目度）: 11.995550284641274
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: In autonomous driving systems, LiDAR and radar play important roles in the
perception of the surrounding environment. LiDAR provides accurate 3D spatial
sensing information but cannot work in adverse weather like fog. On the other
hand, the radar signal can be diffracted when encountering raindrops or mist
particles thanks to its wavelength, but it suffers from large noise. Recent
state-of-the-art works reveal that fusion of radar and LiDAR can lead to robust
detection in adverse weather. The existing works adopt convolutional neural
network architecture to extract features from each sensor data stream, then
align and aggregate the two branch features to predict object detection
results. However, these methods have low accuracy of bounding box estimations
due to a simple design of label assignment and fusion strategies. In this
paper, we propose a bird's-eye view fusion learning-based anchor box-free
object detection system, which fuses the feature derived from the radar
range-azimuth heatmap and the LiDAR point cloud to estimate the possible
objects. Different label assignment strategies have been designed to facilitate
the consistency between the classification of foreground or background anchor
points and the corresponding bounding box regressions. In addition, the
performance of the proposed object detector is further enhanced by employing a
novel interactive transformer module. The superior performance of the methods
proposed in this paper has been demonstrated using the recently published
Oxford Radar RobotCar dataset. Our system's average precision significantly
outperforms the best state-of-the-art method by 13.1% and 19.0% at IoU of 0.8
under 'Clear+Foggy' training conditions for 'Clear' and 'Foggy' testing,
respectively.
- Abstract（参考訳）: 自律走行システムでは、LiDARとレーダーは周囲環境の認識において重要な役割を果たす。
LiDARは正確な3D空間センシング情報を提供するが、霧のような悪天候では機能しない。
一方、レーダー信号はその波長によって雨滴や霧の粒子に遭遇する際には回折することができるが、大きなノイズに悩まされる。
最近の最先端の研究は、レーダーとLiDARの融合が悪天候の堅牢な検出につながることを明らかにしている。
既存の研究では、畳み込みニューラルネットワークアーキテクチャを採用して、各センサデータストリームから特徴を抽出し、それから2つの分岐機能を調整して集約して、オブジェクト検出結果を予測する。
しかし,これらの手法はラベル割り当てと融合戦略の簡単な設計のため,境界ボックス推定の精度が低い。
本稿では,レーダーレンジ方位熱マップとLiDAR点雲から得られた特徴を融合させて推定する,鳥眼視融合学習に基づくアンカーボックスフリー物体検出システムを提案する。
異なるラベル割り当て戦略は、前景や背景アンカーポイントの分類と対応する境界ボックスの回帰との整合性を促進するように設計されている。
さらに, 提案する物体検出器の性能を, 新規なインタラクティブトランスフォーマモジュールを用いてさらに向上させる。
本稿では,最近発表されたOxford Radar RobotCarデータセットを用いて,提案手法の優れた性能を示す。
本システムの平均精度は, 「クラー」 と「フォギー」 の訓練条件下で, 0.8 の IoU において, 13.1% と 19.0% で, 最先端の手法よりも有意に優れていた。
関連論文リスト
- LEROjD: Lidar Extended Radar-Only Object Detection [0.22870279047711525]
3+1Dイメージングレーダーセンサーは、ライダーに代わるコスト効率が高く、堅牢な代替手段を提供する。
ライダーは推論中に使用するべきではないが、レーダーのみの物体検出器の訓練を支援することができる。
我々は、ライダーからレーダードメインとレーダー専用物体検出器に知識を伝達する2つの戦略を探求する。
論文 参考訳（メタデータ） (2024-09-09T12:43:25Z) - MUFASA: Multi-View Fusion and Adaptation Network with Spatial Awareness for Radar Object Detection [3.1212590312985986]
レーダー点雲の空間は 正確な物体検出に 困難を生じさせます
本稿では,レーダポイント雲の包括的特徴抽出手法を提案する。
我々は、VoDデータセット上のレーダベース手法のmAPが50.24%である場合、最先端の結果を得る。
論文 参考訳（メタデータ） (2024-08-01T13:52:18Z) - Radar-Lidar Fusion for Object Detection by Designing Effective
Convolution Networks [18.17057711053028]
オブジェクト検出の強化のために,レーダデータとライダーデータを統合したデュアルブランチフレームワークを提案する。
この結果は、最先端の手法を1.89%ドルと2.61%ドルで上回り、好ましくない気象条件で上回っていることを示している。
論文 参考訳（メタデータ） (2023-10-30T10:18:40Z) - Echoes Beyond Points: Unleashing the Power of Raw Radar Data in
Multi-modality Fusion [74.84019379368807]
本稿では,既存のレーダ信号処理パイプラインをスキップするEchoFusionという新しい手法を提案する。
具体的には、まずBird's Eye View (BEV)クエリを生成し、次にレーダーから他のセンサーとフューズに対応するスペクトル特徴を取ります。
論文 参考訳（メタデータ） (2023-07-31T09:53:50Z) - ROFusion: Efficient Object Detection using Hybrid Point-wise
Radar-Optical Fusion [14.419658061805507]
本稿では,自律走行シナリオにおける物体検出のためのハイブリッドなポイントワイドレーダ・オプティカル融合手法を提案する。
このフレームワークは、マルチモーダルな特徴表現を学習するために統合されたレンジドップラースペクトルと画像の両方からの密集したコンテキスト情報から恩恵を受ける。
論文 参考訳（メタデータ） (2023-07-17T04:25:46Z) - Bi-LRFusion: Bi-Directional LiDAR-Radar Fusion for 3D Dynamic Object
Detection [78.59426158981108]
この課題に対処し、動的オブジェクトの3D検出を改善するために、双方向LiDAR-Radar融合フレームワーク、Bi-LRFusionを導入する。
我々はnuScenesとORRデータセットに関する広範な実験を行い、我々のBi-LRFusionが動的オブジェクトを検出するための最先端のパフォーマンスを達成することを示す。
論文 参考訳（メタデータ） (2023-06-02T10:57:41Z) - Semantic Segmentation of Radar Detections using Convolutions on Point
Clouds [59.45414406974091]
本稿では,レーダ検出を点雲に展開する深層学習手法を提案する。
このアルゴリズムは、距離依存クラスタリングと入力点雲の事前処理により、レーダ固有の特性に適応する。
我々のネットワークは、レーダポイント雲のセマンティックセグメンテーションのタスクにおいて、PointNet++に基づく最先端のアプローチよりも優れています。
論文 参考訳（メタデータ） (2023-05-22T07:09:35Z) - Boosting 3D Object Detection by Simulating Multimodality on Point Clouds [51.87740119160152]
本稿では,LiDAR 画像検出器に追従する特徴や応答をシミュレートすることで,単一モダリティ (LiDAR) 3次元物体検出器を高速化する新しい手法を提案する。
このアプローチでは、単一モダリティ検出器をトレーニングする場合のみ、LiDARイメージデータを必要とし、十分にトレーニングされた場合には、推論時にのみLiDARデータが必要である。
nuScenesデータセットの実験結果から,本手法はSOTA LiDARのみの3D検出器よりも優れていることがわかった。
論文 参考訳（メタデータ） (2022-06-30T01:44:30Z) - Benchmarking the Robustness of LiDAR-Camera Fusion for 3D Object
Detection [58.81316192862618]
自律運転における3D知覚のための2つの重要なセンサーは、カメラとLiDARである。
これら2つのモダリティを融合させることで、3次元知覚モデルの性能を大幅に向上させることができる。
我々は、最先端の核融合法を初めてベンチマークした。
論文 参考訳（メタデータ） (2022-05-30T09:35:37Z) - RadarNet: Exploiting Radar for Robust Perception of Dynamic Objects [73.80316195652493]
我々は、自動運転車の文脈における認識のためにRadarを利用する問題に取り組む。
我々は、LiDARとRadarの両方のセンサーを知覚に利用した新しいソリューションを提案する。
RadarNetと呼ばれる我々のアプローチは、ボクセルベースの早期核融合と注意に基づく後期核融合を特徴としている。
論文 参考訳（メタデータ） (2020-07-28T17:15:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。