論文の概要: CFTrack: Center-based Radar and Camera Fusion for 3D Multi-Object
Tracking
- arxiv url: http://arxiv.org/abs/2107.05150v1
- Date: Sun, 11 Jul 2021 23:56:53 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-14 00:38:47.006729
- Title: CFTrack: Center-based Radar and Camera Fusion for 3D Multi-Object
Tracking
- Title（参考訳）: CFTrack:3Dマルチオブジェクトトラッキングのためのセンターベースレーダとカメラフュージョン
- Authors: Ramin Nabati, Landon Harris, Hairong Qi
- Abstract要約: 本稿では,レーダとカメラセンサの融合に基づく共同物体検出と追跡のためのエンドツーエンドネットワークを提案する。
提案手法では,物体検出に中心型レーダカメラ融合アルゴリズムを用い,物体関連にグリーディアルゴリズムを用いる。
提案手法は,20.0AMOTAを達成し,ベンチマークにおける視覚ベースの3Dトラッキング手法よりも優れる,挑戦的なnuScenesデータセット上で評価する。
- 参考スコア（独自算出の注目度）: 9.62721286522053
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: 3D multi-object tracking is a crucial component in the perception system of
autonomous driving vehicles. Tracking all dynamic objects around the vehicle is
essential for tasks such as obstacle avoidance and path planning. Autonomous
vehicles are usually equipped with different sensor modalities to improve
accuracy and reliability. While sensor fusion has been widely used in object
detection networks in recent years, most existing multi-object tracking
algorithms either rely on a single input modality, or do not fully exploit the
information provided by multiple sensing modalities. In this work, we propose
an end-to-end network for joint object detection and tracking based on radar
and camera sensor fusion. Our proposed method uses a center-based radar-camera
fusion algorithm for object detection and utilizes a greedy algorithm for
object association. The proposed greedy algorithm uses the depth, velocity and
2D displacement of the detected objects to associate them through time. This
makes our tracking algorithm very robust to occluded and overlapping objects,
as the depth and velocity information can help the network in distinguishing
them. We evaluate our method on the challenging nuScenes dataset, where it
achieves 20.0 AMOTA and outperforms all vision-based 3D tracking methods in the
benchmark, as well as the baseline LiDAR-based method. Our method is online
with a runtime of 35ms per image, making it very suitable for autonomous
driving applications.
- Abstract（参考訳）: 3Dマルチオブジェクトトラッキングは、自動運転車の認識システムにおいて重要な要素である。
障害物回避や経路計画といったタスクには、車両周辺のすべての動的オブジェクトを追跡することが不可欠である。
自動運転車は通常、精度と信頼性を向上させるために異なるセンサーモードを備えている。
近年、センサ融合は物体検出ネットワークで広く使われているが、既存のマルチオブジェクト追跡アルゴリズムのほとんどは単一の入力モダリティに依存するか、複数のセンシングモダリティによって提供される情報を十分に活用していない。
本研究では,レーダとカメラセンサの融合に基づく共同物体検出・追跡のためのエンドツーエンドネットワークを提案する。
提案手法では,物体検出に中心型レーダカメラ融合アルゴリズムを用い,物体関連にグリーディアルゴリズムを用いる。
提案手法は,検出した物体の深さ,速度,2次元変位を時間とともに関連づける。
これにより、我々の追跡アルゴリズムは、物体をオクルードし重ね合わせるのに非常に頑健になり、深さと速度の情報がネットワークの識別に役立ちます。
提案手法は,20.0AMOTAを達成し,ベンチマークにおけるすべての視覚ベースの3Dトラッキング手法と,ベースラインのLiDARベースの手法とを比較検討する。
提案手法は画像当たり35msのランタイムを持つオンラインであり,自動運転アプリケーションに適している。
関連論文リスト
- Cross-Domain Spatial Matching for Camera and Radar Sensor Data Fusion in Autonomous Vehicle Perception System [0.0]
本稿では,自律走行車認識システムにおける3次元物体検出のためのカメラとレーダーセンサの融合問題に対する新しいアプローチを提案する。
我々のアプローチは、ディープラーニングの最近の進歩に基づいており、両方のセンサーの強度を活用して物体検出性能を向上させる。
提案手法は単一センサ・ソリューションよりも優れた性能を実現し,他のトップレベルの融合手法と直接競合できることを示す。
論文 参考訳（メタデータ） (2024-04-25T12:04:31Z) - LISO: Lidar-only Self-Supervised 3D Object Detection [25.420879730860936]
本稿では,SOTAライダーオブジェクト検出ネットワークを学習するための新しい自己教師手法を提案する。
これはライダー点雲のラベルなし列にのみ作用する。
ボンネット下のSOTA自監督ライダーシーンフローネットワークを利用して、疑似地上真実を生成し、追跡し、反復的に洗練する。
論文 参考訳（メタデータ） (2024-03-11T18:02:52Z) - Multi-Object Tracking with Camera-LiDAR Fusion for Autonomous Driving [0.764971671709743]
提案したMOTアルゴリズムは、3段階のアソシエーションプロセスと、検出された動的障害物の運動を推定する拡張カルマンフィルタと、トラック管理フェーズとを備える。
多くの最先端のマルチモーダルMOTアプローチとは異なり、提案アルゴリズムはエゴのグローバルなポーズの地図や知識に依存しない。
このアルゴリズムはシミュレーションと実世界のデータの両方で検証され、良好な結果が得られる。
論文 参考訳（メタデータ） (2024-03-06T23:49:16Z) - Multi-Modal 3D Object Detection by Box Matching [109.43430123791684]
マルチモーダル3次元検出のためのボックスマッチング(FBMNet)による新しいフュージョンネットワークを提案する。
3Dオブジェクトと2Dオブジェクトの提案を学習することで、ROI特徴を組み合わせることで、検出のための融合を効果的に行うことができる。
論文 参考訳（メタデータ） (2023-05-12T18:08:51Z) - Benchmarking the Robustness of LiDAR-Camera Fusion for 3D Object
Detection [58.81316192862618]
自律運転における3D知覚のための2つの重要なセンサーは、カメラとLiDARである。
これら2つのモダリティを融合させることで、3次元知覚モデルの性能を大幅に向上させることができる。
我々は、最先端の核融合法を初めてベンチマークした。
論文 参考訳（メタデータ） (2022-05-30T09:35:37Z) - DeepFusionMOT: A 3D Multi-Object Tracking Framework Based on
Camera-LiDAR Fusion with Deep Association [8.34219107351442]
本稿では,精度と速度の良好なトレードオフを実現するために,カメラ-LiDAR融合型MOT法を提案する。
提案手法は、追跡精度と処理速度の両方の観点から、最先端MOT法に対して明らかな利点を示す。
論文 参考訳（メタデータ） (2022-02-24T13:36:29Z) - High-level camera-LiDAR fusion for 3D object detection with machine
learning [0.0]
本稿では,自律運転などの応用において重要な3次元物体検出問題に取り組む。
モノクロカメラとLiDARデータを組み合わせた機械学習パイプラインを使用して、動くプラットフォームの周囲の3D空間内の車両を検出する。
本結果は,検証セットに対して効率よく精度の高い推定を行い,全体の精度は87.1%となった。
論文 参考訳（メタデータ） (2021-05-24T01:57:34Z) - EagerMOT: 3D Multi-Object Tracking via Sensor Fusion [68.8204255655161]
マルチオブジェクトトラッキング(MOT)により、移動ロボットは周囲の物体を3次元空間と時間で位置づけすることで、良好な動作計画とナビゲーションを行うことができる。
既存の方法は、深度センサー(例えばLiDAR)を使用して3D空間のターゲットを検出し追跡するが、信号の間隔が限られているため、検出範囲は限られている。
我々は,両方のセンサモダリティから利用可能な物体を全て統合し,シーンのダイナミックスを適切に解釈する簡易なトラッキング定式化であるeagermotを提案する。
論文 参考訳（メタデータ） (2021-04-29T22:30:29Z) - Learnable Online Graph Representations for 3D Multi-Object Tracking [156.58876381318402]
3D MOT問題に対する統一型学習型アプローチを提案します。
我々は、完全にトレーニング可能なデータアソシエーションにNeural Message Passing Networkを使用します。
AMOTAの65.6%の最先端性能と58%のIDスウィッチを達成して、公開可能なnuScenesデータセットに対する提案手法のメリットを示す。
論文 参考訳（メタデータ） (2021-04-23T17:59:28Z) - Monocular Quasi-Dense 3D Object Tracking [99.51683944057191]
周囲の物体の将来の位置を予測し、自律運転などの多くのアプリケーションで観測者の行動を計画するためには、信頼性と正確な3D追跡フレームワークが不可欠である。
移動プラットフォーム上で撮影された2次元画像のシーケンスから,移動物体を時間とともに効果的に関連付け,その全3次元バウンディングボックス情報を推定するフレームワークを提案する。
論文 参考訳（メタデータ） (2021-03-12T15:30:02Z) - Towards Autonomous Driving: a Multi-Modal 360$^{\circ}$ Perception
Proposal [87.11988786121447]
本稿では,自動運転車の3次元物体検出と追跡のためのフレームワークを提案する。
このソリューションは、新しいセンサ融合構成に基づいて、正確で信頼性の高い道路環境検出を提供する。
自動運転車に搭載されたシステムの様々なテストは、提案された知覚スタックの適合性を評価することに成功している。
論文 参考訳（メタデータ） (2020-08-21T20:36:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。