論文の概要: Robust Tracking via Mamba-based Context-aware Token Learning

• arxiv url: http://arxiv.org/abs/2412.13611v1
• Date: Wed, 18 Dec 2024 08:37:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-19 16:48:14.600731
• Title: Robust Tracking via Mamba-based Context-aware Token Learning
• Title（参考訳）: マンバをベースとしたコンテキスト認識学習によるロバストトラッキング
• Authors: Jinxia Xie, Bineng Zhong, Qihua Liang, Ning Li, Zhiyi Mo, Shuxiang Song,
• Abstract要約: 出現モデルから時間情報学習を分離するシンプルな頑健なトラッカーを提案する。 具体的には、各フレームに1つのトラックトークンを導入し、バックボーン内のターゲットの外観情報を収集する。 実験により,本手法が有効であることを示すとともに,リアルタイムに複数のベンチマーク上での競合性能を実現する。
• 参考スコア（独自算出の注目度）: 12.269120373913038
• License:
• Abstract: How to make a good trade-off between performance and computational cost is crucial for a tracker. However, current famous methods typically focus on complicated and time-consuming learning that combining temporal and appearance information by input more and more images (or features). Consequently, these methods not only increase the model's computational source and learning burden but also introduce much useless and potentially interfering information. To alleviate the above issues, we propose a simple yet robust tracker that separates temporal information learning from appearance modeling and extracts temporal relations from a set of representative tokens rather than several images (or features). Specifically, we introduce one track token for each frame to collect the target's appearance information in the backbone. Then, we design a mamba-based Temporal Module for track tokens to be aware of context by interacting with other track tokens within a sliding window. This module consists of a mamba layer with autoregressive characteristic and a cross-attention layer with strong global perception ability, ensuring sufficient interaction for track tokens to perceive the appearance changes and movement trends of the target. Finally, track tokens serve as a guidance to adjust the appearance feature for the final prediction in the head. Experiments show our method is effective and achieves competitive performance on multiple benchmarks at a real-time speed. Code and trained models will be available at https://github.com/GXNU-ZhongLab/TemTrack.
• Abstract（参考訳）: トラッカーにとって、パフォーマンスと計算コストの間に良いトレードオフをする方法が不可欠です。 しかし、現代の有名な手法は一般的に、より多くの画像(または特徴)を入力することによって時間的・外見的な情報を組み合わせた複雑で時間を要する学習に焦点を当てている。 結果として、これらの手法はモデルの計算資源と学習負担を増加させるだけでなく、非常に役に立たない、潜在的に干渉する情報も導入する。 上記の問題を緩和するために,時間的情報学習を外観モデルから切り離し,複数の画像(または特徴)ではなく代表トークンの集合から時間的関係を抽出するシンプルな頑健なトラッカーを提案する。 具体的には、各フレームに1つのトラックトークンを導入し、バックボーン内のターゲットの外観情報を収集する。 そこで我々は,マンバをベースとしたテンポラルモジュールを設計し,スライディングウィンドウ内で他のトラックトークンと対話することで,コンテキストを認識したトークンを追跡できるようにする。 本モジュールは、自己回帰特性を有するマンバ層と、強力なグローバル認識能力を有するクロスアテンション層とからなり、トラックトークンがターゲットの外観変化や動きの傾向を認識するのに十分な相互作用を確保する。 最後に、トラックトークンは、頭の最終予測のための外観特徴を調整するためのガイダンスとして機能する。 実験により,本手法が有効であることを示すとともに,リアルタイムに複数のベンチマーク上での競合性能を実現する。 コードとトレーニングされたモデルはhttps://github.com/GXNU-ZhongLab/TemTrack.comで入手できる。

関連論文リスト

• Less is More: Token Context-aware Learning for Object Tracking [20.222950380244377]
  LMTrackはトークンコンテキスト対応トラッキングパイプラインである。 効率的な視覚追跡のために、高品質な参照トークンを自動的に学習する。 GOT-10K、TrackingNet、LaSOTなどのトラッキングベンチマークで最先端の結果を得る。
  論文  参考訳（メタデータ） (2025-01-01T07:05:31Z)
• KNN Transformer with Pyramid Prompts for Few-Shot Learning [52.735070934075736]
  Few-Shot Learningはラベル付きデータで新しいクラスを認識することを目的としている。 近年の研究では、視覚的特徴を調節するためのテキストプロンプトを用いたまれなサンプルの課題に対処しようと試みている。
  論文  参考訳（メタデータ） (2024-10-14T07:39:30Z)
• Spatio-Temporal Context Prompting for Zero-Shot Action Detection [13.22912547389941]
  本稿では,視覚言語モデルの豊富な知識を効果的に活用し,対人インタラクションを実現する手法を提案する。 同時に複数の人物による異なる行動を認識するという課題に対処するために,興味あるトークンスポッティング機構を設計する。 提案手法は,従来の手法に比べて優れた結果を得ることができ,さらにマルチアクションビデオに拡張することができる。
  論文  参考訳（メタデータ） (2024-08-28T17:59:05Z)
• Temporal Correlation Meets Embedding: Towards a 2nd Generation of JDE-based Real-Time Multi-Object Tracking [52.04679257903805]
  共同検出・埋め込み(JDE)トラッカーは多目的追跡(MOT)タスクにおいて優れた性能を示した。 TCBTrackという名前のトラッカーは、複数の公開ベンチマークで最先端のパフォーマンスを実現しています。
  論文  参考訳（メタデータ） (2024-07-19T07:48:45Z)
• iKUN: Speak to Trackers without Retraining [21.555469501789577]
  市販トラッカーとの通信を実現するため,iKUNと呼ばれる挿入可能な知識統一ネットワークを提案する。 局所化精度を向上させるために,プロセスノイズを動的に調整するKalman filter (NKF) のニューラルバージョンを提案する。 また、パブリックなDanceTrackデータセットをモーションとドレッシング記述で拡張することで、より困難なデータセットであるRefer-Danceにもコントリビュートしています。
  論文  参考訳（メタデータ） (2023-12-25T11:48:55Z)
• Single-Shot and Multi-Shot Feature Learning for Multi-Object Tracking [55.13878429987136]
  そこで本研究では,異なる目標に対して,単発と複数発の特徴を共同で学習するための,シンプルで効果的な2段階特徴学習パラダイムを提案する。 提案手法は,DanceTrackデータセットの最先端性能を達成しつつ,MOT17およびMOT20データセットの大幅な改善を実現している。
  論文  参考訳（メタデータ） (2023-11-17T08:17:49Z)
• Learning to Mask and Permute Visual Tokens for Vision Transformer Pre-Training [55.12082817901671]
  我々はMasked and Permuted Vision Transformer(MaPeT)という自己教師型事前学習手法を提案する。 MaPeTは、自動回帰および置換予測を使用して、パッチ内依存関係をキャプチャする。 以上の結果から,MaPeTはベースラインやコンペティターと同一のモデル設定で比較して,ImageNet上での競合性能を実証した。
  論文  参考訳（メタデータ） (2023-06-12T18:12:19Z)
• VIMPAC: Video Pre-Training via Masked Token Prediction and Contrastive Learning [82.09856883441044]
  ビデオ理解は、内部接続をモデル化するグローバルコンテンツを認識することに依存している。 空間領域と時間領域の両方で隣接するビデオトークンをマスクするブロックワイズ戦略を提案する。 また、グローバルコンテンツをさらにキャプチャするために、拡張不要なコントラスト学習手法も追加する。
  論文  参考訳（メタデータ） (2021-06-21T16:48:19Z)
• Learnable Graph Matching: Incorporating Graph Partitioning with Deep Feature Learning for Multiple Object Tracking [58.30147362745852]
  フレーム間のデータアソシエーションは、Multiple Object Tracking(MOT)タスクの中核にある。 既存の手法は、主にトラックレットとフレーム内検出の間のコンテキスト情報を無視する。 そこで本研究では,学習可能なグラフマッチング手法を提案する。
  論文  参考訳（メタデータ） (2021-03-30T08:58:45Z)
• Unsupervised Multiple Person Tracking using AutoEncoder-Based Lifted Multicuts [11.72025865314187]
  最小限の視覚的特徴とリフトマルチカットに基づく教師なし多重物体追跡手法を提案する。 提案したアノテーションを使わずにトレーニングされているにもかかわらず,我々のモデルは,歩行者追跡のための挑戦的なMOTベンチマークにおいて,競争力のある結果をもたらすことを示した。
  論文  参考訳（メタデータ） (2020-02-04T09:42:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。