論文の概要: Joint Feature Learning and Relation Modeling for Tracking: A One-Stream
Framework
- arxiv url: http://arxiv.org/abs/2203.11991v2
- Date: Thu, 24 Mar 2022 11:39:35 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-25 11:13:17.025863
- Title: Joint Feature Learning and Relation Modeling for Tracking: A One-Stream
Framework
- Title(参考訳): トラッキングのための統合機能学習と関係モデリング:一ストリームフレームワーク
- Authors: Botao Ye, Hong Chang, Bingpeng Ma, and Shiguang Shan
- Abstract要約: 特徴学習と関係モデリングを統合した新しい一ストリーム追跡(OSTrack)フレームワークを提案する。
このようにして、相互誘導により識別的目標指向特徴を動的に抽出することができる。
OSTrackは、複数のベンチマークで最先端のパフォーマンスを実現しており、特に、ワンショットトラッキングベンチマークのGOT-10kでは印象的な結果を示している。
- 参考スコア(独自算出の注目度): 76.70603443624012
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The current popular two-stream, two-stage tracking framework extracts the
template and the search region features separately and then performs relation
modeling, thus the extracted features lack the awareness of the target and have
limited target-background discriminability. To tackle the above issue, we
propose a novel one-stream tracking (OSTrack) framework that unifies feature
learning and relation modeling by bridging the template-search image pairs with
bidirectional information flows. In this way, discriminative target-oriented
features can be dynamically extracted by mutual guidance. Since no extra heavy
relation modeling module is needed and the implementation is highly
parallelized, the proposed tracker runs at a fast speed. To further improve the
inference efficiency, an in-network candidate early elimination module is
proposed based on the strong similarity prior calculated in the one-stream
framework. As a unified framework, OSTrack achieves state-of-the-art
performance on multiple benchmarks, in particular, it shows impressive results
on the one-shot tracking benchmark GOT-10k, i.e., achieving 73.7% AO, improving
the existing best result (SwinTrack) by 4.3%. Besides, our method maintains a
good performance-speed trade-off and shows faster convergence. The code and
models will be available at https://github.com/botaoye/OSTrack.
- Abstract(参考訳): 現在の人気2-stream, two-stage trackingフレームワークはテンプレートと検索領域の特徴を分離して抽出し,関係モデリングを行う。
上記の課題に対処するために,テンプレート検索画像対と双方向情報フローをブリッジすることで特徴学習と関係モデリングを統一する新しい一ストリーム追跡(OSTrack)フレームワークを提案する。
このようにして、相互誘導により識別的目標指向特徴を動的に抽出することができる。
余分な重み付きモデリングモジュールは不要であり、実装は高度に並列化されているため、提案したトラッカーは高速に動作する。
推論効率をさらに向上するため,1ストリームフレームワークで計算された強い類似性に基づいて,ネットワーク内候補早期除去モジュールを提案する。
統一されたフレームワークとして、OSTrackは複数のベンチマークで最先端のパフォーマンスを達成し、特に1ショット追跡ベンチマークのGOT-10kでは、73.7%のAOを達成し、既存の最高の結果(SwinTrack)を4.3%改善した。
さらに,本手法は性能・速度のトレードオフを良好に維持し,より高速な収束を示す。
コードとモデルはhttps://github.com/botaoye/OSTrack.comから入手できる。
関連論文リスト
- Single-Shot and Multi-Shot Feature Learning for Multi-Object Tracking [55.13878429987136]
そこで本研究では,異なる目標に対して,単発と複数発の特徴を共同で学習するための,シンプルで効果的な2段階特徴学習パラダイムを提案する。
提案手法は,DanceTrackデータセットの最先端性能を達成しつつ,MOT17およびMOT20データセットの大幅な改善を実現している。
論文 参考訳(メタデータ) (2023-11-17T08:17:49Z) - TAPIR: Tracking Any Point with per-frame Initialization and temporal
Refinement [64.11385310305612]
本稿では,ビデオシーケンスを通して任意の物理面上の問合せ点を効果的に追跡する,TAP(Tracking Any Point)の新しいモデルを提案する。
提案手法では,(1)他のフレームの問合せ点に対する適切な候補点マッチングを独立に特定するマッチング段階と,(2)局所的相関に基づいてトラジェクトリと問合せの両方を更新する改良段階の2段階を用いる。
結果として得られたモデルは、DAVISにおける平均約20%の絶対平均ジャカード(AJ)改善によって示されるように、TAP-Vidベンチマークにおける大きなマージンで、すべてのベースライン手法を上回ります。
論文 参考訳(メタデータ) (2023-06-14T17:07:51Z) - You Only Need Two Detectors to Achieve Multi-Modal 3D Multi-Object
Tracking [8.34219107351442]
本稿では,マルチモーダル融合に基づく新しいマルチオブジェクト追跡フレームワークを提案する。
このフレームワークは、古典的TBDパラダイムにおける複雑なデータアソシエーションプロセスを回避する。
提案手法は2つのモーダル検出器のみを用いてロバストな追跡を実現する。
論文 参考訳(メタデータ) (2023-04-18T02:45:18Z) - Generalized Relation Modeling for Transformer Tracking [13.837171342738355]
ワンストリームトラッカーは、すべてのエンコーダ層を通して、テンプレートが検索領域内のすべての部分とやり取りすることを可能にする。
これは、抽出された特徴表現が十分に識別できない場合に、ターゲットと背景の混乱を引き起こす可能性がある。
適応トークン分割に基づく一般化された関係モデリング手法を提案する。
提案手法は,2ストリーム,1ストリームのパイプラインよりも優れており,リアルタイム実行速度の6つのベンチマークにおいて,最先端の性能を実現している。
論文 参考訳(メタデータ) (2023-03-29T10:29:25Z) - Joint Spatial-Temporal and Appearance Modeling with Transformer for
Multiple Object Tracking [59.79252390626194]
本稿ではTransSTAMという新しい手法を提案する。Transformerを利用して各オブジェクトの外観特徴とオブジェクト間の空間的時間的関係の両方をモデル化する。
提案手法はMOT16, MOT17, MOT20を含む複数の公開ベンチマークで評価され, IDF1とHOTAの両方で明確な性能向上を実現している。
論文 参考訳(メタデータ) (2022-05-31T01:19:18Z) - DSRRTracker: Dynamic Search Region Refinement for Attention-based
Siamese Multi-Object Tracking [13.104037155691644]
本稿では,ガウスフィルタにインスパイアされた動的探索領域改良モジュールを用いたエンドツーエンドMOT法を提案する。
提案手法は,最先端の性能を妥当な速度で達成することができる。
論文 参考訳(メタデータ) (2022-03-21T04:14:06Z) - Learning Dynamic Compact Memory Embedding for Deformable Visual Object
Tracking [82.34356879078955]
本稿では,セグメント化に基づく変形可能な視覚追跡手法の識別を強化するために,コンパクトなメモリ埋め込みを提案する。
DAVIS 2017ベンチマークでは,D3SやSiamMaskなどのセグメンテーションベースのトラッカーよりも優れている。
論文 参考訳(メタデータ) (2021-11-23T03:07:12Z) - Online Multiple Object Tracking with Cross-Task Synergy [120.70085565030628]
位置予測と埋め込み結合の相乗効果を考慮した新しい統一モデルを提案する。
この2つのタスクは、時間認識対象の注意と注意の注意、およびアイデンティティ認識メモリ集約モデルによってリンクされる。
論文 参考訳(メタデータ) (2021-04-01T10:19:40Z) - Learning a Proposal Classifier for Multiple Object Tracking [36.67900094433032]
提案生成,提案スコア,軌道推論のパラダイムをアフィニティグラフ上でモデル化する,新しい提案ベースの学習可能なフレームワークを提案する。
提案手法は,従来の2つの公開ベンチマークにおいて,MOTAとIDF1の両性能改善を実現することを実験的に実証した。
論文 参考訳(メタデータ) (2021-03-14T10:46:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。