論文の概要: FADet: A Multi-sensor 3D Object Detection Network based on Local Featured Attention
- arxiv url: http://arxiv.org/abs/2405.11682v1
- Date: Sun, 19 May 2024 21:52:50 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-21 14:43:16.098434
- Title: FADet: A Multi-sensor 3D Object Detection Network based on Local Featured Attention
- Title(参考訳): FADet:局所的特徴注意に基づくマルチセンサ3Dオブジェクト検出ネットワーク
- Authors: Ziang Guo, Zakhar Yagudin, Selamawit Asfaw, Artem Lykov, Dzmitry Tsetserukou,
- Abstract要約: カメラ、LiDAR、レーダーは自律走行タスクのための一般的な知覚センサーである。
これらのセンサーにはそれぞれ独自の特徴があるため、賢くその能力を活用することは依然として課題である。
本研究では,異なるセンサの特性を特に研究するマルチセンサ3D検出ネットワークであるFADetを提案する。
- 参考スコア(独自算出の注目度): 2.332328100695052
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Camera, LiDAR and radar are common perception sensors for autonomous driving tasks. Robust prediction of 3D object detection is optimally based on the fusion of these sensors. To exploit their abilities wisely remains a challenge because each of these sensors has its own characteristics. In this paper, we propose FADet, a multi-sensor 3D detection network, which specifically studies the characteristics of different sensors based on our local featured attention modules. For camera images, we propose dual-attention-based sub-module. For LiDAR point clouds, triple-attention-based sub-module is utilized while mixed-attention-based sub-module is applied for features of radar points. With local featured attention sub-modules, our FADet has effective detection results in long-tail and complex scenes from camera, LiDAR and radar input. On NuScenes validation dataset, FADet achieves state-of-the-art performance on LiDAR-camera object detection tasks with 71.8% NDS and 69.0% mAP, at the same time, on radar-camera object detection tasks with 51.7% NDS and 40.3% mAP. Code will be released at https://github.com/ZionGo6/FADet.
- Abstract(参考訳): カメラ、LiDAR、レーダーは自律走行タスクのための一般的な知覚センサーである。
3次元物体検出のロバストな予測は、これらのセンサの融合に基づいて最適である。
これらのセンサーにはそれぞれ独自の特徴があるため、賢くその能力を活用することは依然として課題である。
本稿では,マルチセンサ3D検出ネットワークであるFADetを提案する。
カメラ画像に対して,デュアルアテンションに基づくサブモジュールを提案する。
LiDAR点雲では、三重アテンションベースのサブモジュールが使われ、混合アテンションベースのサブモジュールがレーダポイントの特徴に適用される。
局所的な注目サブモジュールにより、FADetはカメラ、LiDAR、レーダー入力から、長い尾と複雑なシーンを効果的に検出できる。
NuScenesの検証データセットでは、FADetは71.8% NDSと69.0% mAPのLiDARカメラオブジェクト検出タスクに対して、51.7% NDSと40.3% mAPのレーダーカメラオブジェクト検出タスクに対して、最先端のパフォーマンスを達成する。
コードはhttps://github.com/ZionGo6/FADet.comでリリースされる。
関連論文リスト
- Sparse Points to Dense Clouds: Enhancing 3D Detection with Limited LiDAR Data [68.18735997052265]
単分子と点雲に基づく3次元検出の利点を組み合わせたバランスの取れたアプローチを提案する。
本手法では,低コストで低解像度のセンサから得られる3Dポイントを少数必要としている。
3次元検出の精度は最先端の単分子検出法と比較して20%向上する。
論文 参考訳(メタデータ) (2024-04-10T03:54:53Z) - Better Monocular 3D Detectors with LiDAR from the Past [64.6759926054061]
カメラベースの3D検出器は、画像の奥行きのあいまいさのため、LiDARベースの検出器に比べて性能が劣ることが多い。
本研究では,未ラベルの歴史的LiDARデータを活用することにより,単分子3D検出器の改良を図る。
複数の最先端モデルやデータセットに対して,9.66ミリ秒の追加レイテンシとストレージコストの低い,一貫性と大幅なパフォーマンス向上を示す。
論文 参考訳(メタデータ) (2024-04-08T01:38:43Z) - RCBEVDet: Radar-camera Fusion in Bird's Eye View for 3D Object Detection [33.07575082922186]
3次元物体検出は、自律運転における重要なタスクの1つである。
カメラのみに頼って高度に正確で頑丈な3Dオブジェクト検出を実現するのは難しい。
鳥眼ビュー(BEV)におけるレーダーカメラ融合3次元物体検出法
RadarBEVNetはデュアルストリームのレーダーバックボーンとRadar Cross-Section (RC)対応のBEVエンコーダで構成されている。
論文 参考訳(メタデータ) (2024-03-25T06:02:05Z) - CR3DT: Camera-RADAR Fusion for 3D Detection and Tracking [40.630532348405595]
Camera-RADAR 3D Detection and Tracking (CR3DT)は3Dオブジェクト検出のためのカメラ・レーダ融合モデルであり、Multi-Object Tracking (MOT) である。
State-of-the-Art (SotA)カメラ専用のBEVDetアーキテクチャの基礎の上に構築されたCR3DTは、検出機能とトラッキング機能の両方で大幅に改善されている。
論文 参考訳(メタデータ) (2024-03-22T16:06:05Z) - Multi-Modal 3D Object Detection by Box Matching [109.43430123791684]
マルチモーダル3次元検出のためのボックスマッチング(FBMNet)による新しいフュージョンネットワークを提案する。
3Dオブジェクトと2Dオブジェクトの提案を学習することで、ROI特徴を組み合わせることで、検出のための融合を効果的に行うことができる。
論文 参考訳(メタデータ) (2023-05-12T18:08:51Z) - CramNet: Camera-Radar Fusion with Ray-Constrained Cross-Attention for
Robust 3D Object Detection [12.557361522985898]
本稿では,カメラとレーダーの読み取りを3次元空間に融合させるカメラレーダマッチングネットワークCramNetを提案する。
本手法は, カメラやレーダセンサが車両内で突然故障した場合においても, 頑健な3次元物体検出を実現するセンサモダリティ・ドロップアウトによるトレーニングを支援する。
論文 参考訳(メタデータ) (2022-10-17T17:18:47Z) - Drone Detection and Tracking in Real-Time by Fusion of Different Sensing
Modalities [66.4525391417921]
マルチセンサ・ドローン検知システムの設計と評価を行う。
われわれのソリューションは、魚眼カメラを統合し、空の広い部分を監視し、他のカメラを興味ある対象に向けて操縦する。
このサーマルカメラは、たとえこのカメラが解像度が低いとしても、ビデオカメラと同じくらい実現可能なソリューションであることが示されている。
論文 参考訳(メタデータ) (2022-07-05T10:00:58Z) - A Lightweight and Detector-free 3D Single Object Tracker on Point Clouds [50.54083964183614]
生のLiDARスキャンにおける物体の点雲は、通常スパースで不完全であるため、正確な目標固有検出を行うのは簡単ではない。
DMTは、複雑な3D検出器の使用を完全に除去する3Dトラッキングネットワークである。
論文 参考訳(メタデータ) (2022-03-08T17:49:07Z) - Rethinking of Radar's Role: A Camera-Radar Dataset and Systematic
Annotator via Coordinate Alignment [38.24705460170415]
CRUWと呼ばれる新しいデータセットを体系的なアノテーションとパフォーマンス評価システムで提案する。
CRUWは、レーダーの無線周波数(RF)画像から3Dのオブジェクトを純粋に分類し、ローカライズすることを目指しています。
私たちの知る限り、CRUWは体系的なアノテーションと評価システムを備えた最初の公開大規模データセットです。
論文 参考訳(メタデータ) (2021-05-11T17:13:45Z) - EagerMOT: 3D Multi-Object Tracking via Sensor Fusion [68.8204255655161]
マルチオブジェクトトラッキング(MOT)により、移動ロボットは周囲の物体を3次元空間と時間で位置づけすることで、良好な動作計画とナビゲーションを行うことができる。
既存の方法は、深度センサー(例えばLiDAR)を使用して3D空間のターゲットを検出し追跡するが、信号の間隔が限られているため、検出範囲は限られている。
我々は,両方のセンサモダリティから利用可能な物体を全て統合し,シーンのダイナミックスを適切に解釈する簡易なトラッキング定式化であるeagermotを提案する。
論文 参考訳(メタデータ) (2021-04-29T22:30:29Z) - RoIFusion: 3D Object Detection from LiDAR and Vision [7.878027048763662]
本稿では,3次元関心領域(RoI)の集合を点雲から対応する画像の2次元ロIに投影することで,新しい融合アルゴリズムを提案する。
提案手法は,KITTI 3Dオブジェクト検出課題ベンチマークにおける最先端性能を実現する。
論文 参考訳(メタデータ) (2020-09-09T20:23:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。