論文の概要: SENTRY: SAM2-Enhanced Neighbor-Aware and Temporally Reasoned Memory for Visual Tracking
- arxiv url: http://arxiv.org/abs/2606.24449v2
- Date: Wed, 24 Jun 2026 03:13:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-25 17:05:30.03983
- Title: SENTRY: SAM2-Enhanced Neighbor-Aware and Temporally Reasoned Memory for Visual Tracking
- Title(参考訳): SENTRY:SAM2-Enhanced Nebor-Aware and Temporally Reasoned Memory for Visual Tracking
- Abstract要約: SAM2ベースのビジュアルオブジェクトトラッキングにおけるメモリ更新機構を再検討する。
本稿では,SENTRYについて紹介する。
コミットする前に、各メモリ更新を短時間の時間的一貫性で検証する。
- 参考スコア(独自算出の注目度): 39.49925011934288
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We revisit the memory update mechanism in SAM2-based visual object tracking and identify confidence-only mask selection as the dominant cause of drift under occlusion, rapid motion, and distractors. We introduce SENTRY, a training-free, plug-and-play, refine-before-write module that validates each memory update for short-horizon temporal consistency before committing it. SENTRY aggregates diverse segmentation hypotheses per frame, backtracks them into short tracklets, and uses neighbor-aware cycle-consistent matching against recent trajectories to favor temporally and geometrically consistent masks. It leaves the base architecture untouched, replacing confidence-driven writes with consistency-validated ones. For fair evaluation, we re-evaluate major open-source SAM2-based trackers across all available scales and datasets, filling gaps in prior reports. Integrated into five strong baselines, SENTRY delivers consistent gains across nine benchmarks, achieving new zero-shot SOTA on LaSOT, LaSOT_ext, GOT-10k, VOT20, VOT22, and DiDi. Despite these checks, the SAM2-L version runs at 32.8 FPS on an A100, and across compatible hosts adds only about 0.4--0.6 GB VRAM. Our results provide the first unified all-scale evaluation of SAM2-based trackers and show that enforcing temporal validity at write time stabilizes memory-augmented tracking without retraining. Project page: https://hamadya.github.io/SENTRY/page/
- Abstract(参考訳): SAM2をベースとした視覚的物体追跡における記憶更新機構を再検討し、信頼のみのマスク選択を、閉塞、急速運動、邪魔者によるドリフトの主要な原因とみなす。
我々はSENTRYを紹介した。SENTRYはトレーニング不要で、プラグ&プレイの洗練された書込みモジュールで、各メモリ更新を短時間の時間的一貫性で検証し、コミットする。
SENTRYはフレームごとに多様なセグメンテーション仮説を集約し、それらを短いトラックレットにバックトラックし、隣接するサイクル整合性マッチングを用いて、時間的および幾何学的に一貫したマスクを好んでいる。
基本アーキテクチャは変更されず、信頼性駆動の書き込みを一貫性のある書き込みに置き換える。
公平な評価のために、主要なオープンソースのSAM2ベースのトラッカーをすべての利用可能なスケールとデータセットで再評価し、以前のレポートでギャップを埋める。
SENTRYは5つの強力なベースラインに統合され、LaSOT、LaSOT_ext、GOT-10k、VOT20、VOT22、DiDi上の新しいゼロショットSOTAを達成し、9つのベンチマークで一貫したゲインを提供する。
これらのチェックにもかかわらず、SAM2-LバージョンはA100上で32.8 FPSで動作し、互換性のあるホスト間では0.4--0.6 GB VRAMしか追加されない。
本研究は,SAM2ベースのトラッカーの総合的な全規模評価を行い,書き込み時の時間的妥当性の維持がメモリ拡張トラッカーを再トレーニングせずに安定化させることを示す。
プロジェクトページ:https://hamadya.github.io/SENTRY/page/
関連論文リスト
- SAM-Deep-EIoU: Selective Mask Propagation for Multi-Object Tracking [51.56484100374058]
本稿では,タスク不確実性信号が発火するウィンドウ上でのみ,ベーストラッカーからVOSモデルにディスパッチするトラッキングアルゴリズムである選択的マスク伝搬を提案する。
この方法はトレーニング不要で、ベーストラッカーとVOSモデルの両方をブラックボックスとして扱い、VOSコンポーネントをより有能なモデルに置き換える利点がある。
論文 参考訳(メタデータ) (2026-06-11T08:09:32Z) - Accurate Planar Tracking With Robust Re-Detection [17.216623635232928]
我々はSAM-HとWOFTSAMを提示する。SAM 2で提供される堅牢な長期セグメント追跡と8自由度ホモグラフィーによるポーズ推定を組み合わせた新しい平面トラッカーである。
提案手法はPOT-210とPlanarTrackのトラッキングベンチマークで評価され,両者に新たな最先端性能が設定された。
また,初期PlanarTrackのポーズに対して,高精度のp@5でより正確なベンチマークを行うことが可能になった。
論文 参考訳(メタデータ) (2026-02-23T09:13:55Z) - Seg2Track-SAM2: SAM2-based Multi-object Tracking and Segmentation for Zero-shot Generalization [3.108551551357326]
Seg2Track-SAM2は、事前訓練されたオブジェクト検出器とSAM2と新しいSeg2Trackモジュールを統合するフレームワークである。
Seg2Track-SAM2は最先端(SOTA)のパフォーマンスを達成し、KITTI MOTSでは車と歩行者の両方で総合4位にランクインした。
結果、Seg2Track-SAM2は、堅牢なゼロショットトラッキング、強化されたアイデンティティ保存、効率的なメモリ利用を組み合わせることで、MOTSの進歩を確認した。
論文 参考訳(メタデータ) (2025-09-15T10:52:27Z) - SAMITE: Position Prompted SAM2 with Calibrated Memory for Visual Object Tracking [58.35852822355312]
Visual Object Tracking (VOT)は、ビデオ内のターゲットを継続的に追跡する自律運転のようなアプリケーションで広く使われている。
これらの問題に対処するために、ビデオ基盤モデルSAM2をVOTに適用し、各フレームの追跡結果をメモリとして符号化し、残りのフレームを自己回帰的に条件付けする手法を提案する。
これらの課題に対処するために,SAM2 上にモジュールを追加して構築した SAMITE モデルを提案する。
論文 参考訳(メタデータ) (2025-07-29T12:11:56Z) - A Distractor-Aware Memory for Visual Object Tracking with SAM2 [11.864619292028278]
メモリベースのトラッカー(英: Memory-based tracker)は、最近追跡されたフレームをメモリバッファに連結し、現在の画像をバッファされたフレームに到達させることでターゲットをローカライズすることにより、ターゲットモデルを形成するビデオオブジェクトセグメンテーション手法である。
SAM2.1++はSAM2.1と関連するSAMメモリ拡張を7つのベンチマークで上回り、6つのベンチマークで新しい最先端を設定できる。
論文 参考訳(メタデータ) (2024-11-26T16:41:09Z) - Self-Supervised Multi-Object Tracking For Autonomous Driving From
Consistency Across Timescales [53.55369862746357]
自己管理型マルチオブジェクトトラッカーは、生のドメイン固有データから学習できるという大きな可能性を秘めている。
しかし、その再識別精度は、監督対象よりも低い。
本稿では,複数の連続フレームから再同定特徴を自己教師付きで学習できる学習目標を提案する。
論文 参考訳(メタデータ) (2023-04-25T20:47:29Z) - Tracking by Associating Clips [110.08925274049409]
本稿では,オブジェクト関連をクリップワイドマッチングとして扱う方法を検討する。
我々の新しい視点では、1つの長いビデオシーケンスを複数のショートクリップとみなし、そのトラックはクリップ内とクリップ間の両方で実行される。
この新しい手法の利点は2つある。まず、ビデオチャンキングによって中断フレームをバイパスできるため、エラーの蓄積や伝播の追跡に頑健である。
次に、クリップワイドマッチング中に複数のフレーム情報を集約し、現在のフレームワイドマッチングよりも高精度な長距離トラックアソシエーションを実現する。
論文 参考訳(メタデータ) (2022-12-20T10:33:17Z) - Context-aware Visual Tracking with Joint Meta-updating [11.226947525556813]
本稿では,シーケンス全体に沿った情報を活用することで,両ブランチを共同でメタ更新する,表現空間上のトラッカーを最適化するコンテキスト認識追跡モデルを提案する。
提案手法は,VOT2018におけるEAOスコアの0.514を40FPSの速度で達成し,基礎となるトラッカーの精度とロバスト性を向上できることを示す。
論文 参考訳(メタデータ) (2022-04-04T14:16:00Z) - Cascaded Regression Tracking: Towards Online Hard Distractor
Discrimination [202.2562153608092]
本稿では,2段階の逐次回帰トラッカーを提案する。
第1段階では, 容易に同定可能な負の候補を抽出する。
第2段階では、残留するあいまいな硬質試料をダブルチェックするために、離散サンプリングに基づくリッジ回帰を設計する。
論文 参考訳(メタデータ) (2020-06-18T07:48:01Z) - Tracking by Instance Detection: A Meta-Learning Approach [99.66119903655711]
本稿では,高性能トラッカー構築のための3段階の原理的手法を提案する。
我々は2つの現代的な検出器であるRetinaNetとFCOSをベースに、Retina-MAMLとFCOS-MAMLという2つのトラッカーを構築した。
両方のトラッカーは40FPSでリアルタイムに動作します。
論文 参考訳(メタデータ) (2020-04-02T05:55:06Z) - DMV: Visual Object Tracking via Part-level Dense Memory and Voting-based
Retrieval [61.366644088881735]
DMVと呼ばれる部分レベル高密度メモリと投票ベースの検索による新しいメモリベースのトラッカーを提案する。
また,メモリの信頼できない情報をフィルタリングする新たな投票機構を提案する。
論文 参考訳(メタデータ) (2020-03-20T10:05:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。