論文の概要: ADA-Track: End-to-End Multi-Camera 3D Multi-Object Tracking with Alternating Detection and Association
- arxiv url: http://arxiv.org/abs/2405.08909v1
- Date: Tue, 14 May 2024 19:02:33 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-16 15:05:10.383275
- Title: ADA-Track: End-to-End Multi-Camera 3D Multi-Object Tracking with Alternating Detection and Association
- Title(参考訳): ADA-Track: 交互検出・関連付きマルチカメラ3D多物体追跡
- Authors: Shuxiao Ding, Lukas Schneider, Marius Cordts, Juergen Gall,
- Abstract要約: 多視点カメラによる3D MOTのための新しいエンドツーエンドフレームワークであるADA-Trackを紹介する。
エッジ拡張型クロスアテンションに基づく学習可能なデータアソシエーションモジュールを提案する。
我々は、この関連モジュールをDTRベースの3D検出器のデコーダ層に統合する。
- 参考スコア(独自算出の注目度): 15.161640917854363
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Many query-based approaches for 3D Multi-Object Tracking (MOT) adopt the tracking-by-attention paradigm, utilizing track queries for identity-consistent detection and object queries for identity-agnostic track spawning. Tracking-by-attention, however, entangles detection and tracking queries in one embedding for both the detection and tracking task, which is sub-optimal. Other approaches resemble the tracking-by-detection paradigm, detecting objects using decoupled track and detection queries followed by a subsequent association. These methods, however, do not leverage synergies between the detection and association task. Combining the strengths of both paradigms, we introduce ADA-Track, a novel end-to-end framework for 3D MOT from multi-view cameras. We introduce a learnable data association module based on edge-augmented cross-attention, leveraging appearance and geometric features. Furthermore, we integrate this association module into the decoder layer of a DETR-based 3D detector, enabling simultaneous DETR-like query-to-image cross-attention for detection and query-to-query cross-attention for data association. By stacking these decoder layers, queries are refined for the detection and association task alternately, effectively harnessing the task dependencies. We evaluate our method on the nuScenes dataset and demonstrate the advantage of our approach compared to the two previous paradigms. Code is available at https://github.com/dsx0511/ADA-Track.
- Abstract(参考訳): 3D Multi-Object Tracking (MOT) に対する多くのクエリベースのアプローチは、トラッキング・バイ・アテンションのパラダイムを採用し、IDに一貫性のある検出のためのトラッククエリと、IDに依存しないトラック生成のためのオブジェクトクエリを利用する。
しかし、トラッキング・バイ・アテンションは、サブ最適である検出・追跡タスクの両方に1つの埋め込みでクエリを検出し、追跡する。
他のアプローチはトラッキング・バイ・検出のパラダイムに似ており、分離されたトラックと検出クエリを使ってオブジェクトを検知し、その後に関連付ける。
しかし、これらの手法は検出と関連タスクの相乗効果を生かしていない。
両パラダイムの長所を組み合わせることで,多視点カメラによる3D MOTのための新しいエンドツーエンドフレームワークであるADA-Trackを導入する。
エッジ拡張型クロスアテンションに基づく学習可能なデータアソシエーションモジュールを導入し,外観と幾何学的特徴を活用する。
さらに、このアソシエーションモジュールをDreTRベースの3D検出器のデコーダ層に統合し、DreTRライクなクエリ・ツー・イメージのクロスアテンションと、データアソシエーションのためのクエリ・ツー・クエリ・クロスアテンションの同時検出を可能にする。
これらのデコーダ層を積み重ねることで、クエリは検出タスクと関連タスクの交互に洗練され、タスク依存を効果的に活用する。
提案手法をnuScenesデータセット上で評価し,従来の2つのパラダイムと比較してアプローチの利点を実証する。
コードはhttps://github.com/dsx0511/ADA-Track.comで入手できる。
関連論文リスト
- SynCL: A Synergistic Training Strategy with Instance-Aware Contrastive Learning for End-to-End Multi-Camera 3D Tracking [34.90147791481045]
SynCLは、検出と追跡のためのマルチタスク学習を共用するために設計された、新しいプラグアンドプレイのシナジスティックトレーニング戦略である。
各種クエリベースの3D MOTトラッカーのトレーニング段階と統合した場合,SynCLは一貫して改善されていることを示す。
追加の推論コストなしで、SynCLは最先端のPF-Trackメソッドを$+3.9%のAMOTAと$+2.0%のNDSで改善した。
論文 参考訳(メタデータ) (2024-11-11T08:18:49Z) - Lost and Found: Overcoming Detector Failures in Online Multi-Object Tracking [15.533652456081374]
マルチオブジェクト追跡(MOT)は、時間とともに複数のオブジェクトのアイデンティティと位置を正確に推定する。
現代の検出器は、あるフレーム内のいくつかのオブジェクトを見逃すことがあるため、トラッカーは早めに追跡をやめる。
オンラインTbDシステムと互換性のある汎用フレームワークであるBUSCAを提案する。
論文 参考訳(メタデータ) (2024-07-14T10:45:12Z) - SeMoLi: What Moves Together Belongs Together [51.72754014130369]
動作手がかりに基づく半教師付き物体検出に挑戦する。
近年,移動物体の擬似ラベルインスタンスに対して,動きに基づくクラスタリング手法が適用可能であることが示唆された。
我々は、このアプローチを再考し、オブジェクト検出とモーションインスパイアされた擬似ラベルの両方が、データ駆動方式で取り組めることを示唆する。
論文 参考訳(メタデータ) (2024-02-29T18:54:53Z) - You Only Need Two Detectors to Achieve Multi-Modal 3D Multi-Object Tracking [9.20064374262956]
提案手法は,2次元検出器と3次元検出器のみを用いて,ロバストなトラッキングを実現する。
多くの最先端のTBDベースのマルチモーダルトラッキング手法よりも正確であることが証明されている。
論文 参考訳(メタデータ) (2023-04-18T02:45:18Z) - 3DMODT: Attention-Guided Affinities for Joint Detection & Tracking in 3D
Point Clouds [95.54285993019843]
本稿では,3次元点雲における複数物体の同時検出と追跡手法を提案する。
本モデルでは,複数のフレームを用いた時間情報を利用してオブジェクトを検出し,一つのネットワーク上で追跡する。
論文 参考訳(メタデータ) (2022-11-01T20:59:38Z) - End-to-end Tracking with a Multi-query Transformer [96.13468602635082]
マルチオブジェクトトラッキング(MOT)は、時間とともにシーン内のオブジェクトの位置、外観、アイデンティティを同時に推論する必要がある課題である。
本研究の目的は、トラッキング・バイ・ディテクト・アプローチを超えて、未知のオブジェクト・クラスに対してもよく機能するクラスに依存しないトラッキングへと移行することである。
論文 参考訳(メタデータ) (2022-10-26T10:19:37Z) - Distractor-Aware Fast Tracking via Dynamic Convolutions and MOT
Philosophy [63.91005999481061]
実用的長期トラッカーは、典型的には3つの重要な特性を含む。
効率的なモデル設計、効果的なグローバル再検出戦略、堅牢な気晴らし認識メカニズム。
動的畳み込み (d-convs) と多重オブジェクト追跡 (MOT) の哲学を用いて, 注意をそらした高速トラッキングを実現するための2タスクトラッキングフレームワーク(DMTrack)を提案する。
我々のトラッカーはLaSOT, OxUvA, TLP, VOT2018LT, VOT 2019LTベンチマークの最先端性能を実現し, リアルタイム3倍高速に動作させる。
論文 参考訳(メタデータ) (2021-04-25T00:59:53Z) - DEFT: Detection Embeddings for Tracking [3.326320568999945]
我々は,DEFT と呼ばれる効率的な関節検出・追跡モデルを提案する。
提案手法は,外見に基づくオブジェクトマッチングネットワークと,下層のオブジェクト検出ネットワークとの協調学習に依存している。
DEFTは2Dオンライントラッキングリーダーボードのトップメソッドに匹敵する精度とスピードを持っている。
論文 参考訳(メタデータ) (2021-02-03T20:00:44Z) - Dense Scene Multiple Object Tracking with Box-Plane Matching [73.54369833671772]
マルチオブジェクトトラッキング(MOT)はコンピュータビジョンにおいて重要なタスクである。
密集したシーンにおけるMOT性能を改善するために,Box-Plane Matching (BPM)法を提案する。
3つのモジュールの有効性により、ACM MM Grand Challenge HiEve 2020において、私たちのチームはトラック1のリーダーボードで1位を獲得しました。
論文 参考訳(メタデータ) (2020-07-30T16:39:22Z) - Chained-Tracker: Chaining Paired Attentive Regression Results for
End-to-End Joint Multiple-Object Detection and Tracking [102.31092931373232]
そこで我々は,3つのサブタスク全てをエンド・ツー・エンドのソリューションに統合する簡単なオンラインモデルである Chained-Tracker (CTracker) を提案する。
鎖状構造と対の注意的回帰という2つの大きな特徴は、CTrackerをシンプルに、速く、効果的にする。
論文 参考訳(メタデータ) (2020-07-29T02:38:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。