論文の概要: CR3DT: Camera-RADAR Fusion for 3D Detection and Tracking
- arxiv url: http://arxiv.org/abs/2403.15313v2
- Date: Tue, 6 Aug 2024 15:58:35 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-07 19:12:22.006680
- Title: CR3DT: Camera-RADAR Fusion for 3D Detection and Tracking
- Title（参考訳）: CR3DT:3D検出・追跡のためのカメラ・レーダー融合
- Authors: Nicolas Baumann, Michael Baumgartner, Edoardo Ghignone, Jonas Kühne, Tobias Fischer, Yung-Hsu Yang, Marc Pollefeys, Michele Magno,
- Abstract要約: Camera-RADAR 3D Detection and Tracking (CR3DT)は3Dオブジェクト検出のためのカメラ・レーダ融合モデルであり、Multi-Object Tracking (MOT) である。
State-of-the-Art (SotA)カメラ専用のBEVDetアーキテクチャの基礎の上に構築されたCR3DTは、検出機能とトラッキング機能の両方で大幅に改善されている。
- 参考スコア（独自算出の注目度）: 40.630532348405595
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: To enable self-driving vehicles accurate detection and tracking of surrounding objects is essential. While Light Detection and Ranging (LiDAR) sensors have set the benchmark for high-performance systems, the appeal of camera-only solutions lies in their cost-effectiveness. Notably, despite the prevalent use of Radio Detection and Ranging (RADAR) sensors in automotive systems, their potential in 3D detection and tracking has been largely disregarded due to data sparsity and measurement noise. As a recent development, the combination of RADARs and cameras is emerging as a promising solution. This paper presents Camera-RADAR 3D Detection and Tracking (CR3DT), a camera-RADAR fusion model for 3D object detection, and Multi-Object Tracking (MOT). Building upon the foundations of the State-of-the-Art (SotA) camera-only BEVDet architecture, CR3DT demonstrates substantial improvements in both detection and tracking capabilities, by incorporating the spatial and velocity information of the RADAR sensor. Experimental results demonstrate an absolute improvement in detection performance of 5.3% in mean Average Precision (mAP) and a 14.9% increase in Average Multi-Object Tracking Accuracy (AMOTA) on the nuScenes dataset when leveraging both modalities. CR3DT bridges the gap between high-performance and cost-effective perception systems in autonomous driving, by capitalizing on the ubiquitous presence of RADAR in automotive applications. The code is available at: https://github.com/ETH-PBL/CR3DT.
- Abstract（参考訳）: 周囲の物体の正確な検出・追跡を可能にすることが重要である。
Light Detection and Ranging (LiDAR)センサーは高性能システムのベンチマークを設定しているが、カメラのみのソリューションの魅力はコスト効率にある。
特に、自動車システムでRadio Detection and Ranging(RADAR)センサーが広く使われているにもかかわらず、その3D検出と追跡の可能性は、データ空間と測定ノイズのために無視されている。
近年、RADARとカメラの組み合わせが、将来性のあるソリューションとして浮上している。
本稿では,3次元物体検出のためのカメラ・レーダ融合モデルであるカメラ・レーダ3D検出・追跡(CR3DT)とマルチオブジェクト追跡(MOT)について述べる。
State-of-the-Art (SotA)カメラのみのBEVDetアーキテクチャの基礎の上に構築されたCR3DTは、RADARセンサの空間情報と速度情報を組み込むことで、検出と追跡の両方の能力を大幅に改善した。
実験により,平均精度(mAP)が5.3%,平均多物体追跡精度(AMOTA)が14.9%向上した。
CR3DTは、自動車応用におけるRADARのユビキタスな存在に乗じることで、自動運転における高性能と費用効率の高い認識システム間のギャップを埋める。
コードは、https://github.com/ETH-PBL/CR3DTで入手できる。
関連論文リスト
- RCBEVDet++: Toward High-accuracy Radar-Camera Fusion 3D Perception Network [34.45694077040797]
本稿では、BEEVDetと呼ばれるレーダーカメラ融合3Dオブジェクト検出フレームワークを提案する。
RadarBEVNetは、スパースレーダーポイントを高密度の鳥の目視特徴に符号化する。
提案手法は,3次元オブジェクト検出,BEVセマンティックセグメンテーション,および3次元マルチオブジェクト追跡タスクにおいて,最先端のレーダカメラ融合を実現する。
論文 参考訳（メタデータ） (2024-09-08T05:14:27Z) - Boosting Online 3D Multi-Object Tracking through Camera-Radar Cross Check [24.764602040003403]
CRAFTBoosterは、追跡段階におけるレーダーカメラの融合を強化する先駆的な取り組みであり、3D MOT精度の向上に貢献している。
IDF1追跡性能向上の5-6%を示すK-Radaarデータセットの優れた実験結果は、自律走行における効果的なセンサ融合の可能性を検証する。
論文 参考訳（メタデータ） (2024-07-18T23:32:27Z) - Sparse Points to Dense Clouds: Enhancing 3D Detection with Limited LiDAR Data [68.18735997052265]
単分子と点雲に基づく3次元検出の利点を組み合わせたバランスの取れたアプローチを提案する。
本手法では,低コストで低解像度のセンサから得られる3Dポイントを少数必要としている。
3次元検出の精度は最先端の単分子検出法と比較して20%向上する。
論文 参考訳（メタデータ） (2024-04-10T03:54:53Z) - Better Monocular 3D Detectors with LiDAR from the Past [64.6759926054061]
カメラベースの3D検出器は、画像の奥行きのあいまいさのため、LiDARベースの検出器に比べて性能が劣ることが多い。
本研究では,未ラベルの歴史的LiDARデータを活用することにより,単分子3D検出器の改良を図る。
複数の最先端モデルやデータセットに対して,9.66ミリ秒の追加レイテンシとストレージコストの低い,一貫性と大幅なパフォーマンス向上を示す。
論文 参考訳（メタデータ） (2024-04-08T01:38:43Z) - Vision meets mmWave Radar: 3D Object Perception Benchmark for Autonomous
Driving [30.456314610767667]
CRUW3Dデータセットには、66K同期カメラ、レーダー、LiDARフレームが含まれる。
この種のフォーマットは、カメラとレーダーの間の情報や特徴を融合させた後、機械学習モデルによりより信頼性の高い知覚結果が得られる。
論文 参考訳（メタデータ） (2023-11-17T01:07:37Z) - CramNet: Camera-Radar Fusion with Ray-Constrained Cross-Attention for
Robust 3D Object Detection [12.557361522985898]
本稿では,カメラとレーダーの読み取りを3次元空間に融合させるカメラレーダマッチングネットワークCramNetを提案する。
本手法は, カメラやレーダセンサが車両内で突然故障した場合においても, 頑健な3次元物体検出を実現するセンサモダリティ・ドロップアウトによるトレーニングを支援する。
論文 参考訳（メタデータ） (2022-10-17T17:18:47Z) - NVRadarNet: Real-Time Radar Obstacle and Free Space Detection for
Autonomous Driving [57.03126447713602]
本稿では,自動車のRADARセンサを用いて動的障害物や乾燥可能な自由空間を検出するディープニューラルネットワーク(DNN)を提案する。
ネットワークは組み込みGPU上でリアルタイムよりも高速に動作し、地理的領域にわたって優れた一般化を示す。
論文 参考訳（メタデータ） (2022-09-29T01:30:34Z) - Benchmarking the Robustness of LiDAR-Camera Fusion for 3D Object
Detection [58.81316192862618]
自律運転における3D知覚のための2つの重要なセンサーは、カメラとLiDARである。
これら2つのモダリティを融合させることで、3次元知覚モデルの性能を大幅に向上させることができる。
我々は、最先端の核融合法を初めてベンチマークした。
論文 参考訳（メタデータ） (2022-05-30T09:35:37Z) - Domain and Modality Gaps for LiDAR-based Person Detection on Mobile
Robots [91.01747068273666]
本稿では,移動ロボットのシナリオに着目した既存のLiDAR人物検出装置について検討する。
実験は3Dと2D LiDARのセンサー間のモダリティのギャップだけでなく、運転と移動ロボットのシナリオ間の領域ギャップを回避している。
その結果、LiDARに基づく人物検出の実践的な洞察を与え、関連する移動ロボットの設計と応用に関する情報決定を容易にする。
論文 参考訳（メタデータ） (2021-06-21T16:35:49Z) - Rethinking of Radar's Role: A Camera-Radar Dataset and Systematic
Annotator via Coordinate Alignment [38.24705460170415]
CRUWと呼ばれる新しいデータセットを体系的なアノテーションとパフォーマンス評価システムで提案する。
CRUWは、レーダーの無線周波数(RF)画像から3Dのオブジェクトを純粋に分類し、ローカライズすることを目指しています。
私たちの知る限り、CRUWは体系的なアノテーションと評価システムを備えた最初の公開大規模データセットです。
論文 参考訳（メタデータ） (2021-05-11T17:13:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。