論文の概要: Radar-Camera Sensor Fusion for Joint Object Detection and Distance
Estimation in Autonomous Vehicles
- arxiv url: http://arxiv.org/abs/2009.08428v1
- Date: Thu, 17 Sep 2020 17:23:40 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-17 11:47:09.984274
- Title: Radar-Camera Sensor Fusion for Joint Object Detection and Distance
Estimation in Autonomous Vehicles
- Title(参考訳): 自律走行車における関節物体検出と距離推定のためのレーダカメラセンサ融合
- Authors: Ramin Nabati, Hairong Qi
- Abstract要約: 本稿では,自律走行シナリオにおける物体検出と距離推定のための新しいレーダーカメラセンサ融合フレームワークを提案する。
提案アーキテクチャでは,レーダーポイント雲とRGB画像の融合に中間融合方式を用いる。
難易度の高いnuScenesデータセットの実験では、我々の手法は2次元物体検出タスクにおいて既存のレーダー・カメラ融合法よりも優れていた。
- 参考スコア(独自算出の注目度): 8.797434238081372
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper we present a novel radar-camera sensor fusion framework for
accurate object detection and distance estimation in autonomous driving
scenarios. The proposed architecture uses a middle-fusion approach to fuse the
radar point clouds and RGB images. Our radar object proposal network uses radar
point clouds to generate 3D proposals from a set of 3D prior boxes. These
proposals are mapped to the image and fed into a Radar Proposal Refinement
(RPR) network for objectness score prediction and box refinement. The RPR
network utilizes both radar information and image feature maps to generate
accurate object proposals and distance estimations. The radar-based proposals
are combined with image-based proposals generated by a modified Region Proposal
Network (RPN). The RPN has a distance regression layer for estimating distance
for every generated proposal. The radar-based and image-based proposals are
merged and used in the next stage for object classification. Experiments on the
challenging nuScenes dataset show our method outperforms other existing
radar-camera fusion methods in the 2D object detection task while at the same
time accurately estimates objects' distances.
- Abstract(参考訳): 本稿では,自律走行シナリオにおける物体検出と距離推定のための新しいレーダーカメラ・センサ融合フレームワークを提案する。
提案アーキテクチャでは,レーダーポイント雲とRGB画像の融合に中間融合方式を用いる。
radar object proposal networkは、radar point cloudを使用して、一連の3dプリエントボックスから3dプロポーザルを生成する。
これらの提案は画像にマッピングされ、オブジェクトネススコア予測とボックスリファインメントのためのRadar Proposal Refinement (RPR)ネットワークに入力される。
RPRネットワークはレーダ情報と画像特徴マップの両方を利用して、正確なオブジェクトの提案と距離推定を生成する。
レーダベースの提案は、修正された地域提案ネットワーク(RPN)によって生成された画像ベースの提案と組み合わせられる。
RPNは、生成された提案毎に距離を推定する距離回帰層を有する。
レーダベースと画像ベースの提案は統合され、次の段階でオブジェクト分類に使用される。
難解なnuScenesデータセットの実験では、2次元物体検出タスクにおいて既存のレーダーカメラ融合手法よりも優れており、同時にオブジェクトの距離を正確に推定する。
関連論文リスト
- Echoes Beyond Points: Unleashing the Power of Raw Radar Data in
Multi-modality Fusion [74.84019379368807]
本稿では,既存のレーダ信号処理パイプラインをスキップするEchoFusionという新しい手法を提案する。
具体的には、まずBird's Eye View (BEV)クエリを生成し、次にレーダーから他のセンサーとフューズに対応するスペクトル特徴を取ります。
論文 参考訳(メタデータ) (2023-07-31T09:53:50Z) - RCM-Fusion: Radar-Camera Multi-Level Fusion for 3D Object Detection [16.82884108316637]
本稿では,機能レベルとインスタンスレベルの両モードを融合するRadar-Camera Multi-level fusion (RCM-Fusion)を提案する。
特徴レベルの融合のために,カメラ特徴を正確なBEV表現に変換するRadar Guided BEVを提案する。
実例レベルでの融合では,ローカライズエラーを低減するRadar Grid Point Refinementモジュールを提案する。
論文 参考訳(メタデータ) (2023-07-17T07:22:25Z) - ROFusion: Efficient Object Detection using Hybrid Point-wise
Radar-Optical Fusion [14.419658061805507]
本稿では,自律走行シナリオにおける物体検出のためのハイブリッドなポイントワイドレーダ・オプティカル融合手法を提案する。
このフレームワークは、マルチモーダルな特徴表現を学習するために統合されたレンジドップラースペクトルと画像の両方からの密集したコンテキスト情報から恩恵を受ける。
論文 参考訳(メタデータ) (2023-07-17T04:25:46Z) - Semantic Segmentation of Radar Detections using Convolutions on Point
Clouds [59.45414406974091]
本稿では,レーダ検出を点雲に展開する深層学習手法を提案する。
このアルゴリズムは、距離依存クラスタリングと入力点雲の事前処理により、レーダ固有の特性に適応する。
我々のネットワークは、レーダポイント雲のセマンティックセグメンテーションのタスクにおいて、PointNet++に基づく最先端のアプローチよりも優れています。
論文 参考訳(メタデータ) (2023-05-22T07:09:35Z) - RODNet: A Real-Time Radar Object Detection Network Cross-Supervised by
Camera-Radar Fused Object 3D Localization [30.42848269877982]
本稿では,カメラレーダ融合アルゴリズムによって相互に監視される深層レーダ物体検出ネットワーク RODNet を提案する。
提案したRDDNetは、レーダフィールド・オブ・ビュー(FoV)におけるオブジェクトの可能性を予測するための入力として、RF画像のシーケンスを用いる。
集中的な実験により,提案手法は平均精度86%,オブジェクト検出性能88%を達成した。
論文 参考訳(メタデータ) (2021-02-09T22:01:55Z) - LiRaNet: End-to-End Trajectory Prediction using Spatio-Temporal Radar
Fusion [52.59664614744447]
本稿では,レーダセンサ情報と広範に使用されているライダーと高精細度(HD)マップを用いた新しい終端軌道予測手法LiRaNetを提案する。
自動車レーダーは、リッチで補完的な情報を提供し、より長い距離の車両検出と即時速度測定を可能にします。
論文 参考訳(メタデータ) (2020-10-02T00:13:00Z) - Depth Estimation from Monocular Images and Sparse Radar Data [93.70524512061318]
本稿では,ディープニューラルネットワークを用いた単眼画像とレーダ点の融合により,より正確な深度推定を実現する可能性を検討する。
レーダ測定で発生するノイズが,既存の融合法の適用を妨げている主要な理由の1つであることが判明した。
実験はnuScenesデータセット上で行われ、カメラ、レーダー、LiDARの記録を様々な場面と気象条件で記録する最初のデータセットの1つである。
論文 参考訳(メタデータ) (2020-09-30T19:01:33Z) - Radar+RGB Attentive Fusion for Robust Object Detection in Autonomous
Vehicles [0.5801044612920815]
提案アーキテクチャは,RGBカメラ画像とともにレーダ信号データを用いてロバスト検出ネットワークを構築することを目的としている。
BIRANetは、NuScenesデータセットの平均AP/ARを72.3/75.3%出力する。
RANetは69.6/71.9%の平均AP/ARを同じデータセットで提供する。
論文 参考訳(メタデータ) (2020-08-31T14:27:02Z) - Cross-Modality 3D Object Detection [63.29935886648709]
本稿では,3次元物体検出のための新しい2段階多モード融合ネットワークを提案する。
アーキテクチャ全体が2段階の融合を促進する。
KITTIデータセットを用いた実験により,提案したマルチステージ融合により,ネットワークがより良い表現を学習できることが示唆された。
論文 参考訳(メタデータ) (2020-08-16T11:01:20Z) - RadarNet: Exploiting Radar for Robust Perception of Dynamic Objects [73.80316195652493]
我々は、自動運転車の文脈における認識のためにRadarを利用する問題に取り組む。
我々は、LiDARとRadarの両方のセンサーを知覚に利用した新しいソリューションを提案する。
RadarNetと呼ばれる我々のアプローチは、ボクセルベースの早期核融合と注意に基づく後期核融合を特徴としている。
論文 参考訳(メタデータ) (2020-07-28T17:15:02Z) - RODNet: Radar Object Detection Using Cross-Modal Supervision [34.33920572597379]
レーダーは通常、厳しい運転シナリオではカメラよりも頑丈である。
カメラが撮影したRGB画像とは異なり、レーダー信号からのセマンティック情報は明らかに抽出が困難である。
レーダ周波数データからオブジェクトを純粋に検出するディープレーダオブジェクト検出ネットワーク(RODNet)を提案する。
論文 参考訳(メタデータ) (2020-03-03T22:33:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。