論文の概要: CenterFusion: Center-based Radar and Camera Fusion for 3D Object
Detection
- arxiv url: http://arxiv.org/abs/2011.04841v1
- Date: Tue, 10 Nov 2020 00:20:23 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-27 07:31:46.011754
- Title: CenterFusion: Center-based Radar and Camera Fusion for 3D Object
Detection
- Title(参考訳): CenterFusion:3次元物体検出のためのセンターベースレーダとカメラフュージョン
- Authors: Ramin Nabati, Hairong Qi
- Abstract要約: 本研究では,レーダデータとカメラデータを併用して3次元物体検出を行うミドルフュージョン手法を提案する。
CenterFusionと呼ばれる私たちのアプローチは、まず中心点検出ネットワークを使ってオブジェクトを検出します。
そして、新しいフラストラム法を用いて鍵データアソシエーション問題を解決する。
- 参考スコア(独自算出の注目度): 8.797434238081372
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The perception system in autonomous vehicles is responsible for detecting and
tracking the surrounding objects. This is usually done by taking advantage of
several sensing modalities to increase robustness and accuracy, which makes
sensor fusion a crucial part of the perception system. In this paper, we focus
on the problem of radar and camera sensor fusion and propose a middle-fusion
approach to exploit both radar and camera data for 3D object detection. Our
approach, called CenterFusion, first uses a center point detection network to
detect objects by identifying their center points on the image. It then solves
the key data association problem using a novel frustum-based method to
associate the radar detections to their corresponding object's center point.
The associated radar detections are used to generate radar-based feature maps
to complement the image features, and regress to object properties such as
depth, rotation and velocity. We evaluate CenterFusion on the challenging
nuScenes dataset, where it improves the overall nuScenes Detection Score (NDS)
of the state-of-the-art camera-based algorithm by more than 12%. We further
show that CenterFusion significantly improves the velocity estimation accuracy
without using any additional temporal information. The code is available at
https://github.com/mrnabati/CenterFusion .
- Abstract(参考訳): 自動運転車の知覚システムは、周囲の物体を検出し、追跡する。
これは通常、いくつかのセンシングモードを利用して堅牢性と精度を高め、センサ融合を知覚システムの重要な部分とする。
本稿では,レーダとカメラセンサの融合問題に着目し,レーダデータとカメラデータを併用して3次元物体検出を行うミドルフュージョン手法を提案する。
CenterFusionと呼ばれる私たちのアプローチでは、まず中心点検出ネットワークを使用して、画像上の中心点を識別します。
次に,新しいフラスタムに基づく手法を用いて,レーダ検出を対象物の中心点に関連付けることにより,鍵データアソシエーション問題を解く。
関連するレーダー検出は、画像の特徴を補完するレーダーベースの特徴マップを生成するために使用され、深さ、回転、速度などの物体特性に回帰する。
CenterFusionは、最新のカメラベースアルゴリズムのnuScenes Detection Score(NDS)を12%以上改善する挑戦的なnuScenesデータセットに基づいて評価する。
さらに,センタフュージョンは時間的情報を用いずに速度推定精度を大幅に向上させることを示した。
コードはhttps://github.com/mrnabati/CenterFusion で公開されている。
関連論文リスト
- Echoes Beyond Points: Unleashing the Power of Raw Radar Data in
Multi-modality Fusion [74.84019379368807]
本稿では,既存のレーダ信号処理パイプラインをスキップするEchoFusionという新しい手法を提案する。
具体的には、まずBird's Eye View (BEV)クエリを生成し、次にレーダーから他のセンサーとフューズに対応するスペクトル特徴を取ります。
論文 参考訳(メタデータ) (2023-07-31T09:53:50Z) - Multi-Task Cross-Modality Attention-Fusion for 2D Object Detection [6.388430091498446]
レーダとカメラデータの整合性を向上する2つの新しいレーダ前処理手法を提案する。
また,オブジェクト検出のためのMulti-Task Cross-Modality Attention-Fusion Network (MCAF-Net)を導入する。
我々のアプローチは、nuScenesデータセットにおける現在の最先端のレーダーカメラフュージョンベースのオブジェクト検出器よりも優れています。
論文 参考訳(メタデータ) (2023-07-17T09:26:13Z) - ROFusion: Efficient Object Detection using Hybrid Point-wise
Radar-Optical Fusion [14.419658061805507]
本稿では,自律走行シナリオにおける物体検出のためのハイブリッドなポイントワイドレーダ・オプティカル融合手法を提案する。
このフレームワークは、マルチモーダルな特徴表現を学習するために統合されたレンジドップラースペクトルと画像の両方からの密集したコンテキスト情報から恩恵を受ける。
論文 参考訳(メタデータ) (2023-07-17T04:25:46Z) - Semantic Segmentation of Radar Detections using Convolutions on Point
Clouds [59.45414406974091]
本稿では,レーダ検出を点雲に展開する深層学習手法を提案する。
このアルゴリズムは、距離依存クラスタリングと入力点雲の事前処理により、レーダ固有の特性に適応する。
我々のネットワークは、レーダポイント雲のセマンティックセグメンテーションのタスクにおいて、PointNet++に基づく最先端のアプローチよりも優れています。
論文 参考訳(メタデータ) (2023-05-22T07:09:35Z) - Multi-Modal 3D Object Detection by Box Matching [109.43430123791684]
マルチモーダル3次元検出のためのボックスマッチング(FBMNet)による新しいフュージョンネットワークを提案する。
3Dオブジェクトと2Dオブジェクトの提案を学習することで、ROI特徴を組み合わせることで、検出のための融合を効果的に行うことができる。
論文 参考訳(メタデータ) (2023-05-12T18:08:51Z) - Center Feature Fusion: Selective Multi-Sensor Fusion of Center-based
Objects [26.59231069298659]
本稿では,自律走行車のためのロバストな3次元物体検出システムを構築するための新しい手法を提案する。
我々は、カメラとLiDARストリームのセンターベースの検出ネットワークを利用して、関連するオブジェクトの位置を識別する。
nuScenesデータセットでは、LiDARのみのベースラインを4.9%のmAPで上回り、他の融合法よりも100倍少ない特徴を融合させる。
論文 参考訳(メタデータ) (2022-09-26T17:51:18Z) - DeepFusion: Lidar-Camera Deep Fusion for Multi-Modal 3D Object Detection [83.18142309597984]
ライダーとカメラは、自動運転における3D検出を補完する情報を提供する重要なセンサーである。
我々はDeepFusionという名前の汎用マルチモーダル3D検出モデル群を開発した。
論文 参考訳(メタデータ) (2022-03-15T18:46:06Z) - CFTrack: Center-based Radar and Camera Fusion for 3D Multi-Object
Tracking [9.62721286522053]
本稿では,レーダとカメラセンサの融合に基づく共同物体検出と追跡のためのエンドツーエンドネットワークを提案する。
提案手法では,物体検出に中心型レーダカメラ融合アルゴリズムを用い,物体関連にグリーディアルゴリズムを用いる。
提案手法は,20.0AMOTAを達成し,ベンチマークにおける視覚ベースの3Dトラッキング手法よりも優れる,挑戦的なnuScenesデータセット上で評価する。
論文 参考訳(メタデータ) (2021-07-11T23:56:53Z) - M3DSSD: Monocular 3D Single Stage Object Detector [82.25793227026443]
特徴アライメントと非対称非局所的注意を有するモノクロ3次元単段物体検出器(M3DSSD)を提案する。
提案したM3DSSDは,KITTIデータセット上のモノラルな3Dオブジェクト検出手法よりも大幅に性能が向上する。
論文 参考訳(メタデータ) (2021-03-24T13:09:11Z) - YOdar: Uncertainty-based Sensor Fusion for Vehicle Detection with Camera
and Radar Sensors [4.396860522241306]
本稿では,カメラとレーダデータとのセンサ融合のための不確実性に基づく手法を提案する。
実験では、YOLOv3オブジェクト検出ネットワークと、カスタマイズされた1D$レーダセグメンテーションネットワークを組み合わせる。
実験の結果,この不確実性認識融合のアプローチは単一センサのベースラインに比べて性能が著しく向上することがわかった。
論文 参考訳(メタデータ) (2020-10-07T10:40:02Z) - Cross-Modality 3D Object Detection [63.29935886648709]
本稿では,3次元物体検出のための新しい2段階多モード融合ネットワークを提案する。
アーキテクチャ全体が2段階の融合を促進する。
KITTIデータセットを用いた実験により,提案したマルチステージ融合により,ネットワークがより良い表現を学習できることが示唆された。
論文 参考訳(メタデータ) (2020-08-16T11:01:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。