論文の概要: Looking Beyond Two Frames: End-to-End Multi-Object Tracking Using Spatial and Temporal Transformers

• arxiv url: http://arxiv.org/abs/2103.14829v1
• Date: Sat, 27 Mar 2021 07:23:38 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-03 13:30:58.203789
• Title: Looking Beyond Two Frames: End-to-End Multi-Object Tracking Using Spatial and Temporal Transformers
• Title（参考訳）: 空間変換器と時間変換器を用いたエンドツーエンド多目的追跡
• Authors: Tianyu Zhu, Markus Hiller, Mahsa Ehsanpour, Rongkai Ma, Tom Drummond, Hamid Rezatofighi
• Abstract要約: MO3TRはエンドツーエンドのオンラインマルチオブジェクトトラッキングフレームワークです。 オブジェクトの相互作用を長期の時間的埋め込みにエンコードする。 明示的なデータアソシエーションモジュールを必要とせずに、開始と終了を追跡する。
• 参考スコア（独自算出の注目度）: 20.806348407522083
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Tracking a time-varying indefinite number of objects in a video sequence over time remains a challenge despite recent advances in the field. Ignoring long-term temporal information, most existing approaches are not able to properly handle multi-object tracking challenges such as occlusion. To address these shortcomings, we present MO3TR: a truly end-to-end Transformer-based online multi-object tracking (MOT) framework that learns to handle occlusions, track initiation and termination without the need for an explicit data association module or any heuristics/post-processing. MO3TR encodes object interactions into long-term temporal embeddings using a combination of spatial and temporal Transformers, and recursively uses the information jointly with the input data to estimate the states of all tracked objects over time. The spatial attention mechanism enables our framework to learn implicit representations between all the objects and the objects to the measurements, while the temporal attention mechanism focuses on specific parts of past information, allowing our approach to resolve occlusions over multiple frames. Our experiments demonstrate the potential of this new approach, reaching new state-of-the-art results on multiple MOT metrics for two popular multi-object tracking benchmarks. Our code will be made publicly available.
• Abstract（参考訳）: この分野の最近の進歩にもかかわらず、ビデオシーケンス内の無期限なオブジェクト数を時間とともに追跡することは課題である。 長期の時間的情報を無視して、既存のほとんどのアプローチは、閉塞のような多目的追跡の課題を適切に扱えない。 これらの欠点に対処するため、MO3TRは、真のエンドツーエンドのTransformerベースのオンラインマルチオブジェクトトラッキング(MOT)フレームワークで、明示的なデータアソシエーションモジュールやヒューリスティックス/ポスト処理を必要とせずに、オクルージョン、開始、終了の追跡を学習する。 MO3TRは、空間変換器と時間変換器を組み合わせて、オブジェクトの相互作用を長期の時間的埋め込みにエンコードし、その情報を入力データと組み合わせて再帰的に使用して、時間とともに追跡対象の状態を推定する。 空間的注意機構により,対象物と対象物との間の暗黙的な表現を学習し,時間的注意機構は過去の情報の一部に焦点をあてることで,複数のフレーム上のオクルージョンを解決することができる。 実験では,この手法の可能性を実証し,複数のMOT測定値に関する最新の結果を得た。 私たちのコードは公開されます。

関連論文リスト

• Lost and Found: Overcoming Detector Failures in Online Multi-Object Tracking [15.533652456081374]
  マルチオブジェクト追跡(MOT)は、時間とともに複数のオブジェクトのアイデンティティと位置を正確に推定する。 現代の検出器は、あるフレーム内のいくつかのオブジェクトを見逃すことがあるため、トラッカーは早めに追跡をやめる。 オンラインTbDシステムと互換性のある汎用フレームワークであるBUSCAを提案する。
  論文  参考訳（メタデータ） (2024-07-14T10:45:12Z)
• Transformer Network for Multi-Person Tracking and Re-Identification in Unconstrained Environment [0.6798775532273751]
  マルチオブジェクトトラッキング(MOT)は、監視、スポーツ分析、自動運転、協調ロボットなど、さまざまな分野に深く応用されている。 我々は、オブジェクト検出とアイデンティティリンクを単一のエンドツーエンドのトレーニング可能なフレームワーク内にマージする統合MOT手法を提唱した。 本システムでは,記憶時記憶モジュールの高機能化を図り,アグリゲータを用いて効果的に記憶時記憶モジュールを符号化する。
  論文  参考訳（メタデータ） (2023-12-19T08:15:22Z)
• TrajectoryFormer: 3D Object Tracking Transformer with Predictive Trajectory Hypotheses [51.60422927416087]
  3Dマルチオブジェクトトラッキング(MOT)は、自律走行車やサービスロボットを含む多くのアプリケーションにとって不可欠である。 本稿では,新しいポイントクラウドベースの3DMOTフレームワークであるTrjectoryFormerを紹介する。
  論文  参考訳（メタデータ） (2023-06-09T13:31:50Z)
• Tracking by Associating Clips [110.08925274049409]
  本稿では,オブジェクト関連をクリップワイドマッチングとして扱う方法を検討する。 我々の新しい視点では、1つの長いビデオシーケンスを複数のショートクリップとみなし、そのトラックはクリップ内とクリップ間の両方で実行される。 この新しい手法の利点は2つある。まず、ビデオチャンキングによって中断フレームをバイパスできるため、エラーの蓄積や伝播の追跡に頑健である。 次に、クリップワイドマッチング中に複数のフレーム情報を集約し、現在のフレームワイドマッチングよりも高精度な長距離トラックアソシエーションを実現する。
  論文  参考訳（メタデータ） (2022-12-20T10:33:17Z)
• End-to-end Tracking with a Multi-query Transformer [96.13468602635082]
  マルチオブジェクトトラッキング(MOT)は、時間とともにシーン内のオブジェクトの位置、外観、アイデンティティを同時に推論する必要がある課題である。 本研究の目的は、トラッキング・バイ・ディテクト・アプローチを超えて、未知のオブジェクト・クラスに対してもよく機能するクラスに依存しないトラッキングへと移行することである。
  論文  参考訳（メタデータ） (2022-10-26T10:19:37Z)
• MOTR: End-to-End Multiple-Object Tracking with TRansformer [31.78906135775541]
  初の完全エンドツーエンドのマルチオブジェクトトラッキングフレームワークであるMOTRを紹介します。 オブジェクトの長距離時間変動をモデル化することを学ぶ。 結果はMOTRが最先端の性能を達成することを示します。
  論文  参考訳（メタデータ） (2021-05-07T13:27:01Z)
• Learning to Track with Object Permanence [61.36492084090744]
  共同物体の検出と追跡のためのエンドツーエンドのトレーニング可能なアプローチを紹介します。 私たちのモデルは、合成データと実データで共同トレーニングされ、KITTIおよびMOT17データセットの最先端を上回ります。
  論文  参考訳（メタデータ） (2021-03-26T04:43:04Z)
• TrackFormer: Multi-Object Tracking with Transformers [92.25832593088421]
  TrackFormerはエンコーダデコーダトランスフォーマーアーキテクチャに基づくエンドツーエンドのマルチオブジェクトトラッキングおよびセグメンテーションモデルです。 新しいトラッククエリはDETRオブジェクト検出器によって生成され、時間とともに対応するオブジェクトの位置を埋め込む。 trackformerは新しいトラッキング・バイ・アテンションパラダイムでフレーム間のシームレスなデータ関連付けを実現する。
  論文  参考訳（メタデータ） (2021-01-07T18:59:29Z)
• SoDA: Multi-Object Tracking with Soft Data Association [75.39833486073597]
  マルチオブジェクトトラッキング(MOT)は、自動運転車の安全な配備の前提条件である。 観測対象間の依存関係をエンコードするトラック埋め込みの計算に注目するMOTに対する新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2020-08-18T03:40:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。