論文の概要: CrossTracker: Robust Multi-modal 3D Multi-Object Tracking via Cross Correction

• arxiv url: http://arxiv.org/abs/2411.18850v1
• Date: Thu, 28 Nov 2024 01:36:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-02 15:20:24.187143
• Title: CrossTracker: Robust Multi-modal 3D Multi-Object Tracking via Cross Correction
• Title（参考訳）: CrossTracker: クロス補正によるロバストなマルチモーダル3次元物体追跡
• Authors: Lipeng Gu, Xuefeng Yan, Weiming Wang, Honghua Chen, Dingkun Zhu, Liangliang Nan, Mingqiang Wei,
• Abstract要約: CrossTrackerは、オンラインマルチモーダル3DMOTのための新しい2段階パラダイムである。 われわれの実験は、CrossTrackerが18の競合相手よりも優れていることを実証している。
• 参考スコア（独自算出の注目度）: 27.18612358750601
• License:
• Abstract: The fusion of camera- and LiDAR-based detections offers a promising solution to mitigate tracking failures in 3D multi-object tracking (MOT). However, existing methods predominantly exploit camera detections to correct tracking failures caused by potential LiDAR detection problems, neglecting the reciprocal benefit of refining camera detections using LiDAR data. This limitation is rooted in their single-stage architecture, akin to single-stage object detectors, lacking a dedicated trajectory refinement module to fully exploit the complementary multi-modal information. To this end, we introduce CrossTracker, a novel two-stage paradigm for online multi-modal 3D MOT. CrossTracker operates in a coarse-to-fine manner, initially generating coarse trajectories and subsequently refining them through an independent refinement process. Specifically, CrossTracker incorporates three essential modules: i) a multi-modal modeling (M^3) module that, by fusing multi-modal information (images, point clouds, and even plane geometry extracted from images), provides a robust metric for subsequent trajectory generation. ii) a coarse trajectory generation (C-TG) module that generates initial coarse dual-stream trajectories, and iii) a trajectory refinement (TR) module that refines coarse trajectories through cross correction between camera and LiDAR streams. Comprehensive experiments demonstrate the superior performance of our CrossTracker over its eighteen competitors, underscoring its effectiveness in harnessing the synergistic benefits of camera and LiDAR sensors for robust multi-modal 3D MOT.
• Abstract（参考訳）: カメラとLiDARをベースとした検出の融合は、3Dマルチオブジェクトトラッキング(MOT)におけるトラッキング障害を軽減するための有望なソリューションを提供する。 しかし,既存の手法では,LiDARデータを用いたカメラ検出の補修の相反性を無視して,潜在的なLiDAR検出問題によるトラッキング障害の修正にカメラ検出を主に活用している。 この制限は、単一ステージのオブジェクト検出器に似た単一ステージアーキテクチャに根ざしており、補完的なマルチモーダル情報を完全に活用するための専用の軌道修正モジュールが欠如している。 そこで我々は,オンラインマルチモーダル3DMOTのための新しい2段階パラダイムであるCrossTrackerを紹介した。 CrossTrackerは粗い方法で動作し、まず粗い軌道を発生し、その後独立した精製プロセスを通じて精製する。 具体的には、CrossTrackerには3つの重要なモジュールが含まれている。 一 マルチモーダル情報(画像から抽出した画像、点雲、平面形状さえも)を融合させることにより、その後の軌跡生成のためのロバストな計量を提供するマルチモーダルモデリング(M^3)モジュール。 二 初期粗い二流軌道を生成する粗い軌道生成(C-TG)モジュール及び 三 カメラ及びLiDARストリーム間の交差補正により粗い軌跡を精製する軌道修正モジュール(TR) 総合的な実験により、CrossTrackerは18のライバルよりも優れた性能を示し、カメラとLiDARセンサーの相乗効果を堅牢なマルチモーダル3D MOTに活用する効果を実証した。

関連論文リスト

• IMM-MOT: A Novel 3D Multi-object Tracking Framework with Interacting Multiple Model Filter [10.669576499007139]
  3D Multi-Object Tracking (MOT) は周囲の物体の軌跡を提供する。 トラッキング・バイ・ディテククションフレームワークに基づく既存の3D MOTメソッドは、通常、オブジェクトを追跡するために単一のモーションモデルを使用する。 IMM-MOTにおける干渉多重モデルフィルタを導入し、個々の物体の複雑な動きパターンを正確にマッチングする。
  論文  参考訳（メタデータ） (2025-02-13T01:55:32Z)
• RockTrack: A 3D Robust Multi-Camera-Ken Multi-Object Tracking Framework [28.359633046753228]
  マルチカメラ検出器のための3次元MOT法であるRockTrackを提案する。 RockTrackには、信頼性の高い前処理モジュールが組み込まれており、信頼性の高い動きと画像の観察を抽出する。 RockTrackは、59.1%のAMOTAを持つnuScenesビジョンのみのトラッキングリーダーボードで最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2024-09-18T07:08:08Z)
• BiTrack: Bidirectional Offline 3D Multi-Object Tracking Using Camera-LiDAR Data [11.17376076195671]
  BiTrackは2D-3D検出融合、初期軌道生成、双方向軌道再最適化のモジュールを含む3D OMOTフレームワークである。 KITTIデータセットを用いた実験結果から,BiTrackは3次元OMOTタスクの最先端性能を精度と効率で達成できることが示された。
  論文  参考訳（メタデータ） (2024-06-26T15:09:54Z)
• Sparse Points to Dense Clouds: Enhancing 3D Detection with Limited LiDAR Data [68.18735997052265]
  単分子と点雲に基づく3次元検出の利点を組み合わせたバランスの取れたアプローチを提案する。 本手法では,低コストで低解像度のセンサから得られる3Dポイントを少数必要としている。 3次元検出の精度は最先端の単分子検出法と比較して20%向上する。
  論文  参考訳（メタデータ） (2024-04-10T03:54:53Z)
• ShaSTA-Fuse: Camera-LiDAR Sensor Fusion to Model Shape and Spatio-Temporal Affinities for 3D Multi-Object Tracking [26.976216624424385]
  3Dマルチオブジェクトトラッキング(MOT)は、自律移動エージェントが安全にシーンをナビゲートするために不可欠である。 我々は,カメラとLiDARセンサ情報を融合した3DMOTフレームワークの開発を目指している。
  論文  参考訳（メタデータ） (2023-10-04T02:17:59Z)
• You Only Need Two Detectors to Achieve Multi-Modal 3D Multi-Object Tracking [9.20064374262956]
  提案手法は,2次元検出器と3次元検出器のみを用いて,ロバストなトラッキングを実現する。 多くの最先端のTBDベースのマルチモーダルトラッキング手法よりも正確であることが証明されている。
  論文  参考訳（メタデータ） (2023-04-18T02:45:18Z)
• ByteTrackV2: 2D and 3D Multi-Object Tracking by Associating Every Detection Box [81.45219802386444]
  マルチオブジェクトトラッキング(MOT)は、ビデオフレーム間のオブジェクトのバウンディングボックスとIDを推定することを目的としている。 低スコア検出ボックス内の真のオブジェクトをマイニングするための階層型データアソシエーション戦略を提案する。 3次元のシナリオでは、トラッカーが世界座標の物体速度を予測するのがずっと簡単である。
  論文  参考訳（メタデータ） (2023-03-27T15:35:21Z)
• 3DMODT: Attention-Guided Affinities for Joint Detection & Tracking in 3D Point Clouds [95.54285993019843]
  本稿では,3次元点雲における複数物体の同時検出と追跡手法を提案する。 本モデルでは,複数のフレームを用いた時間情報を利用してオブジェクトを検出し,一つのネットワーク上で追跡する。
  論文  参考訳（メタデータ） (2022-11-01T20:59:38Z)
• Boosting 3D Object Detection by Simulating Multimodality on Point Clouds [51.87740119160152]
  本稿では,LiDAR 画像検出器に追従する特徴や応答をシミュレートすることで,単一モダリティ (LiDAR) 3次元物体検出器を高速化する新しい手法を提案する。 このアプローチでは、単一モダリティ検出器をトレーニングする場合のみ、LiDARイメージデータを必要とし、十分にトレーニングされた場合には、推論時にのみLiDARデータが必要である。 nuScenesデータセットの実験結果から,本手法はSOTA LiDARのみの3D検出器よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2022-06-30T01:44:30Z)
• Know Your Surroundings: Panoramic Multi-Object Tracking by Multimodality Collaboration [56.01625477187448]
  MMPAT(MultiModality PAnoramic Multi-object Tracking framework)を提案する。 2次元パノラマ画像と3次元点雲を入力とし、マルチモーダルデータを用いて目標軌道を推定する。 提案手法は,検出タスクと追跡タスクの両方においてMMPATが最高性能を達成するJRDBデータセット上で評価する。
  論文  参考訳（メタデータ） (2021-05-31T03:16:38Z)
• Monocular Quasi-Dense 3D Object Tracking [99.51683944057191]
  周囲の物体の将来の位置を予測し、自律運転などの多くのアプリケーションで観測者の行動を計画するためには、信頼性と正確な3D追跡フレームワークが不可欠である。 移動プラットフォーム上で撮影された2次元画像のシーケンスから,移動物体を時間とともに効果的に関連付け,その全3次元バウンディングボックス情報を推定するフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-03-12T15:30:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。