論文の概要: MambaLCT: Boosting Tracking via Long-term Context State Space Model
- arxiv url: http://arxiv.org/abs/2412.13615v1
- Date: Wed, 18 Dec 2024 08:53:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-19 16:48:13.979110
- Title: MambaLCT: Boosting Tracking via Long-term Context State Space Model
- Title（参考訳）: MambaLCT:長期状態空間モデルによる追跡強化
- Authors: Xiaohai Li, Bineng Zhong, Qihua Liang, Guorong Li, Zhiyi Mo, Shuxiang Song,
- Abstract要約: 本研究では,第1フレームから第1フレームから第2フレームへの目標変動キューの構築と利用を行い,ロバストなトラッキングを実現するMambaLCTを提案する。
MambaLCTは、リアルタイム実行速度を維持しながら、6つのベンチマークで新しいSOTA性能を達成する。
- 参考スコア（独自算出の注目度）: 19.893090586286995
- License:
- Abstract: Effectively constructing context information with long-term dependencies from video sequences is crucial for object tracking. However, the context length constructed by existing work is limited, only considering object information from adjacent frames or video clips, leading to insufficient utilization of contextual information. To address this issue, we propose MambaLCT, which constructs and utilizes target variation cues from the first frame to the current frame for robust tracking. First, a novel unidirectional Context Mamba module is designed to scan frame features along the temporal dimension, gathering target change cues throughout the entire sequence. Specifically, target-related information in frame features is compressed into a hidden state space through selective scanning mechanism. The target information across the entire video is continuously aggregated into target variation cues. Next, we inject the target change cues into the attention mechanism, providing temporal information for modeling the relationship between the template and search frames. The advantage of MambaLCT is its ability to continuously extend the length of the context, capturing complete target change cues, which enhances the stability and robustness of the tracker. Extensive experiments show that long-term context information enhances the model's ability to perceive targets in complex scenarios. MambaLCT achieves new SOTA performance on six benchmarks while maintaining real-time running speeds.
- Abstract（参考訳）: ビデオシーケンスから長期依存したコンテキスト情報を効果的に構築することは、オブジェクト追跡に不可欠である。
しかし、隣接するフレームやビデオクリップからのオブジェクト情報のみを考慮すると、既存の作業によって構成されるコンテキスト長は制限されており、コンテキスト情報の活用は不十分である。
この問題に対処するために,第1フレームから現在のフレームへの目標変動キューを構築し,利用し,ロバストな追跡を行うMambaLCTを提案する。
まず、新しい一方向Context Mambaモジュールは、時間次元に沿ってフレームの特徴をスキャンし、シーケンス全体を通してターゲットの変化を収集するように設計されている。
具体的には、フレーム特徴のターゲット関連情報を選択的走査機構により隠れ状態空間に圧縮する。
ビデオ全体にわたるターゲット情報は、常にターゲット変動キューに集約される。
次に、ターゲット変更キューをアテンションメカニズムに注入し、テンプレートと検索フレームの関係をモデル化するための時間情報を提供する。
MambaLCTの利点は、コンテキストの長さを継続的に拡張し、完全な目標変更キューをキャプチャし、トラッカーの安定性と堅牢性を高めることである。
大規模な実験により、長期の文脈情報は、複雑なシナリオにおいてターゲットを知覚するモデルの能力を高めることが示される。
MambaLCTは、リアルタイム実行速度を維持しながら、6つのベンチマークで新しいSOTA性能を達成する。
関連論文リスト
- STCMOT: Spatio-Temporal Cohesion Learning for UAV-Based Multiple Object Tracking [13.269416985959404]
無人航空機(UAV)ビデオにおける複数物体追跡(MOT)は、コンピュータビジョンにおける多様な用途において重要である。
時空間結合型多目的追跡フレームワーク(STCMOT)を提案する。
歴史的埋め込み機能を用いて,ReIDの表現と検出機能を逐次的にモデル化する。
我々のフレームワークはMOTAとIDF1メトリクスで新しい最先端のパフォーマンスを設定します。
論文 参考訳（メタデータ） (2024-09-17T14:34:18Z) - MotionTrack: Learning Robust Short-term and Long-term Motions for
Multi-Object Tracking [56.92165669843006]
本研究では,短時間から長期間の軌跡を関連づける統合フレームワークで,堅牢な短期・長期動作を学習するMotionTrackを提案する。
密集した群集に対して,各ターゲットの複雑な動きを推定できる,短時間の軌跡から相互作用認識動作を学習するための新しい対話モジュールを設計する。
極端なオクルージョンのために、ターゲットの履歴軌跡から信頼できる長期動作を学習するための新しいRefind Moduleを構築し、中断された軌跡とそれに対応する検出とを関連付けることができる。
論文 参考訳（メタデータ） (2023-03-18T12:38:33Z) - Target-Aware Tracking with Long-term Context Attention [8.20858704675519]
長期的コンテキストアテンション(LCA)モジュールは、長期的フレームからターゲットとそのコンテキストについて広範な情報融合を行うことができる。
LCAは、類似したオブジェクトや複雑な背景の干渉を排除するために、以前のフレームからターゲット状態を使用する。
トラッカーは, 71.1%のAUC, 89.3%のNP, 73.0%のAOをLaSOT, TrackingNet, GOT-10kで実現した。
論文 参考訳（メタデータ） (2023-02-27T14:40:58Z) - Tracking Objects and Activities with Attention for Temporal Sentence
Grounding [51.416914256782505]
時間文 (TSG) は、意味的に自然言語のクエリと一致した時間セグメントを、トリミングされていないセグメントでローカライズすることを目的としている。
本稿では,(A)マルチモーダル・検索空間を生成するクロスモーダル・ターゲット・ジェネレータと(B)マルチモーダル・ターゲットの動作を追跡し,クエリ関連セグメントを予測するテンポラル・センセント・トラッカーとを含む,新しいテンポラル・センセント・トラッカー・ネットワーク(TSTNet)を提案する。
論文 参考訳（メタデータ） (2023-02-21T16:42:52Z) - CXTrack: Improving 3D Point Cloud Tracking with Contextual Information [59.55870742072618]
3Dオブジェクトトラッキングは、自律運転など、多くのアプリケーションにおいて重要な役割を果たす。
CXTrackは3次元オブジェクト追跡のためのトランスフォーマーベースのネットワークである。
CXTrackは29FPSで動作しながら最先端のトラッキング性能を実現する。
論文 参考訳（メタデータ） (2022-11-12T11:29:01Z) - PTSEFormer: Progressive Temporal-Spatial Enhanced TransFormer Towards
Video Object Detection [28.879484515844375]
統合強化のための時間情報と空間情報の両方を導入するための進歩的な方法を導入する。
PTSEFormerは、ImageNet VIDデータセットで88.1%のmAPを達成しながら、重い後処理手順を避けるために、エンドツーエンドのスタイルに従っている。
論文 参考訳（メタデータ） (2022-09-06T06:32:57Z) - Context-aware Visual Tracking with Joint Meta-updating [11.226947525556813]
本稿では,シーケンス全体に沿った情報を活用することで,両ブランチを共同でメタ更新する,表現空間上のトラッカーを最適化するコンテキスト認識追跡モデルを提案する。
提案手法は,VOT2018におけるEAOスコアの0.514を40FPSの速度で達成し,基礎となるトラッカーの精度とロバスト性を向上できることを示す。
論文 参考訳（メタデータ） (2022-04-04T14:16:00Z) - Learning Dynamic Compact Memory Embedding for Deformable Visual Object
Tracking [82.34356879078955]
本稿では,セグメント化に基づく変形可能な視覚追跡手法の識別を強化するために,コンパクトなメモリ埋め込みを提案する。
DAVIS 2017ベンチマークでは,D3SやSiamMaskなどのセグメンテーションベースのトラッカーよりも優れている。
論文 参考訳（メタデータ） (2021-11-23T03:07:12Z) - Looking Beyond Two Frames: End-to-End Multi-Object Tracking Using
Spatial and Temporal Transformers [20.806348407522083]
MO3TRはエンドツーエンドのオンラインマルチオブジェクトトラッキングフレームワークです。
オブジェクトの相互作用を長期の時間的埋め込みにエンコードする。
明示的なデータアソシエーションモジュールを必要とせずに、開始と終了を追跡する。
論文 参考訳（メタデータ） (2021-03-27T07:23:38Z) - Learning to Track with Object Permanence [61.36492084090744]
共同物体の検出と追跡のためのエンドツーエンドのトレーニング可能なアプローチを紹介します。
私たちのモデルは、合成データと実データで共同トレーニングされ、KITTIおよびMOT17データセットの最先端を上回ります。
論文 参考訳（メタデータ） (2021-03-26T04:43:04Z) - Visual Tracking by TridentAlign and Context Embedding [71.60159881028432]
本稿では,Siamese ネットワークに基づく視覚的トラッキングのための新しい TridentAlign とコンテキスト埋め込みモジュールを提案する。
提案トラッカーの性能は最先端トラッカーに匹敵するが,提案トラッカーはリアルタイムに動作可能である。
論文 参考訳（メタデータ） (2020-07-14T08:00:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。