論文の概要: Transformer Tracking
- arxiv url: http://arxiv.org/abs/2103.15436v1
- Date: Mon, 29 Mar 2021 09:06:55 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-30 14:55:05.048051
- Title: Transformer Tracking
- Title(参考訳): 変圧器追跡
- Authors: Xin Chen, Bin Yan, Jiawen Zhu, Dong Wang, Xiaoyun Yang and Huchuan Lu
- Abstract要約: 相関は追跡分野において、特に人気のあるシャム系トラッカーにおいて重要な役割を果たす。
本研究は,注意のみを用いてテンプレートと検索領域を効果的に結合した,新しい注意型特徴融合ネットワークを提案する。
実験により、TransTは6つの挑戦的なデータセットで非常に有望な結果が得られます。
- 参考スコア(独自算出の注目度): 76.96796612225295
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Correlation acts as a critical role in the tracking field, especially in
recent popular Siamese-based trackers. The correlation operation is a simple
fusion manner to consider the similarity between the template and the search
region. However, the correlation operation itself is a local linear matching
process, leading to lose semantic information and fall into local optimum
easily, which may be the bottleneck of designing high-accuracy tracking
algorithms. Is there any better feature fusion method than correlation? To
address this issue, inspired by Transformer, this work presents a novel
attention-based feature fusion network, which effectively combines the template
and search region features solely using attention. Specifically, the proposed
method includes an ego-context augment module based on self-attention and a
cross-feature augment module based on cross-attention. Finally, we present a
Transformer tracking (named TransT) method based on the Siamese-like feature
extraction backbone, the designed attention-based fusion mechanism, and the
classification and regression head. Experiments show that our TransT achieves
very promising results on six challenging datasets, especially on large-scale
LaSOT, TrackingNet, and GOT-10k benchmarks. Our tracker runs at approximatively
50 fps on GPU. Code and models are available at
https://github.com/chenxin-dlut/TransT.
- Abstract(参考訳): 相関は、特に最近のシームズベースのトラッカーにおいて、追跡分野において重要な役割を果たす。
相関演算はテンプレートと検索領域の類似性を考慮するための単純な融合手法である。
しかし、相関操作自体が局所線形マッチングプロセスであり、意味情報の喪失や局所最適に陥りやすいため、高精度追跡アルゴリズムの設計のボトルネックとなる可能性がある。
相関よりも優れた特徴融合法はあるか?
Transformerにインスパイアされたこの問題に対処するため,本研究では,注目のみを用いたテンプレートと検索領域の機能を効果的に組み合わせた,新しい注目型機能融合ネットワークを提案する。
具体的には、自己アテンションに基づくエゴコンテキスト拡張モジュールと、クロスアテンションに基づくクロス機能拡張モジュールを含む。
最後に、シームズ様の特徴抽出バックボーン、設計された注意に基づく融合機構、分類と回帰ヘッドに基づくトランスフォーマートラッキング(TransT)手法を提案する。
実験の結果、TransTは6つの挑戦的なデータセット、特に大規模LaSOT、TrackingNet、GOT-10kベンチマークで非常に有望な結果を得た。
トラッカーはGPU上で近似50fpsで動作する。
コードとモデルはhttps://github.com/chenxin-dlut/transtで入手できる。
関連論文リスト
- Separable Self and Mixed Attention Transformers for Efficient Object
Tracking [3.9160947065896803]
本稿では,軽量トラッキングのための自己・混在型アテンショントランスフォーマーアーキテクチャを提案する。
これらの貢献により、提案された軽量トラッカーは、トランスフォーマーベースのバックボーンとヘッドモジュールを、初めて同時にデプロイする。
シミュレーションの結果、SMATはGOT10k、TrackingNet、LaSOT、NfS30、UAV123、AVisTデータセット上の関連する軽量トラッカーのパフォーマンスを上回っている。
論文 参考訳(メタデータ) (2023-09-07T19:23:02Z) - Revisiting Color-Event based Tracking: A Unified Network, Dataset, and
Metric [53.88188265943762]
上記の機能を同時に実現したCEUTrack(Color-Event Unified Tracking)のためのシングルステージバックボーンネットワークを提案する。
提案するCEUTrackはシンプルで,効率的で,75FPS以上を達成し,新たなSOTA性能を実現している。
論文 参考訳(メタデータ) (2022-11-20T16:01:31Z) - OST: Efficient One-stream Network for 3D Single Object Tracking in Point
Clouds [7.669030912326021]
本稿では,前回のシームズネットワークで発生する相関操作を回避するため,トランスフォーマーエンコーディングの強みを生かした新しい一ストリームネットワークを提案する。
提案手法は,クラス固有のトラッキングだけでなく,より少ない計算と高い効率でクラスに依存しないトラッキングを実現する。
論文 参考訳(メタデータ) (2022-10-16T12:31:59Z) - Joint Spatial-Temporal and Appearance Modeling with Transformer for
Multiple Object Tracking [59.79252390626194]
本稿ではTransSTAMという新しい手法を提案する。Transformerを利用して各オブジェクトの外観特徴とオブジェクト間の空間的時間的関係の両方をモデル化する。
提案手法はMOT16, MOT17, MOT20を含む複数の公開ベンチマークで評価され, IDF1とHOTAの両方で明確な性能向上を実現している。
論文 参考訳(メタデータ) (2022-05-31T01:19:18Z) - SparseTT: Visual Tracking with Sparse Transformers [43.1666514605021]
長距離依存をモデル化するために設計された自己保持メカニズムがトランスフォーマーの成功の鍵となる。
本稿では,検索領域において最も関連性の高い情報に焦点をあてることで,少ない注意機構でこの問題を解消する。
本研究では,前景背景分類の精度と目標境界ボックスの回帰性を高めるために,二重頭部予測器を提案する。
論文 参考訳(メタデータ) (2022-05-08T04:00:28Z) - High-Performance Transformer Tracking [74.07751002861802]
本稿では,シームズ様特徴抽出バックボーンをベースとしたTransformer Tracking(TransT)手法,設計した注意に基づく融合機構,分類と回帰ヘッドを提案する。
実験の結果,TransT法とTransT-M法は7つの一般的なデータセットに対して有望な結果が得られることがわかった。
論文 参考訳(メタデータ) (2022-03-25T09:33:29Z) - Learning Dynamic Compact Memory Embedding for Deformable Visual Object
Tracking [82.34356879078955]
本稿では,セグメント化に基づく変形可能な視覚追跡手法の識別を強化するために,コンパクトなメモリ埋め込みを提案する。
DAVIS 2017ベンチマークでは,D3SやSiamMaskなどのセグメンテーションベースのトラッカーよりも優れている。
論文 参考訳(メタデータ) (2021-11-23T03:07:12Z) - MFGNet: Dynamic Modality-Aware Filter Generation for RGB-T Tracking [72.65494220685525]
可視データと熱データ間のメッセージ通信を促進するために,新しい動的モダリティ対応フィルタ生成モジュール(MFGNet)を提案する。
我々は、2つの独立ネットワークを持つ動的モダリティ対応フィルタを生成し、その可視フィルタとサーマルフィルタをそれぞれ、対応する入力特徴写像上で動的畳み込み演算を行う。
重閉塞,高速移動,外見による問題に対処するため,新たな方向認識型目標誘導型アテンション機構を活用することで,共同で局所的・グローバル検索を行うことを提案する。
論文 参考訳(メタデータ) (2021-07-22T03:10:51Z) - TrTr: Visual Tracking with Transformer [29.415900191169587]
トランスフォーマーエンコーダデコーダアーキテクチャと呼ばれる強力な注意メカニズムに基づく新しいトラッカーネットワークを提案する。
形状非依存アンカーに基づくターゲットのローカライズを行うトランスの出力を用いて,分類と回帰ヘッドを設計する。
本手法は最先端のアルゴリズムに好適に作用する。
論文 参考訳(メタデータ) (2021-05-09T02:32:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。