論文の概要: When Trackers Fail: VLM-Guided Verification and Recovery for Robust Video Object Segmentation
- arxiv url: http://arxiv.org/abs/2610.15929v1
- Date: Sun, 11 Oct 2026 21:24:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-19 08:29:16.143504
- Title: When Trackers Fail: VLM-Guided Verification and Recovery for Robust Video Object Segmentation
- Title（参考訳）: トラッカーが失敗したとき:ロバストビデオオブジェクトセグメンテーションのためのVLMガイドによる検証とリカバリ
- Abstract要約: 再出現または注意散らしの下では、誤った予測が追跡ループに入り、時間とともに伝播し、永続的なアイデンティティドリフトをもたらす。
既存のアプローチでは、メモリと時間的曖昧さを改善してそのような障害を防止しようとしているが、一度障害が発生したら、トラッカーはそれを認識または修正する明確なメカニズムを持っていない。
このギャップに対処するDual-Agentは、明確な検証とリカバリで伝搬を補完する障害対応追跡フレームワークである。
- 参考スコア（独自算出の注目度）: 8.724615581190273
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent trackers built on foundation models such as the Segment Anything Model (SAM) achieve strong performance by propagating object masks through memory. However, this strength is also a key source of failure: under occlusion, reappearance, or distractors, an incorrect prediction can enter the tracking loop and be propagated over time, resulting in persistent identity drift. Existing approaches seek to prevent such failures through improved memory and temporal modeling, but once a failure occurs, the tracker has no explicit mechanism to recognize or correct it. We address this gap with Dual-Agent, a failure-aware tracking framework that complements propagation with explicit verification and recovery. We address this gap with Dual-Agent, a failure-aware tracking framework that complements propagation with explicit verification and recovery. A vision-language verification agent first reasons over spatio-temporal context to determine whether the tracker is still following the target. When a failure is detected, a correction agent uses temporal context to recover the target before tracking continues. The correction agent is trained on real SAM3 failures, augmented with targeted identity-switch and distractor perturbations that expose it to challenging ambiguities during recovery. On LVOS-v2 and SecVOS, Dual-Agent improves SAM3 by 1.2 and 2.7 $J\&F$, respectively. Importantly, the proposed framework transfers without retraining to SAM2.1, SeC, and Cutie, as well as to long-term video object tracking benchmarks including LaSOT-ext, TNL2K, and VOT-LT2022. Our results show that explicitly reasoning about when tracking fails and how to recover provides a complementary path to robust tracking beyond improving propagation alone. Project page: valaybundele.github.io/Dual-Agent.
- Abstract（参考訳）: SAM(Segment Anything Model)のような基礎モデル上に構築された最近のトラッカーは、メモリを介してオブジェクトマスクを伝搬することにより、強力なパフォーマンスを達成する。
しかし、この強度は失敗の重要な原因でもある: 隠蔽、再出現、または気晴らしの下では、誤った予測が追跡ループに入り、時間とともに伝播し、永続的なアイデンティティドリフトをもたらす。
既存のアプローチでは、メモリ改善と時間的モデリングを通じてそのような障害を防ぐことを目指しているが、一度障害が発生したら、トラッカーはそれを認識または修正する明確なメカニズムを持っていない。
このギャップに対処するDual-Agentは、明確な検証とリカバリで伝搬を補完する障害対応追跡フレームワークである。
このギャップに対処するDual-Agentは、明確な検証とリカバリで伝搬を補完する障害対応追跡フレームワークである。
視覚言語検証エージェントは、まず、時空間上でトラッカーがターゲットを追尾しているかどうかを判断する。
障害が検出されると、修正エージェントは時間的コンテキストを使用して、追跡が継続する前にターゲットを回復する。
修正剤は、本物のSAM3障害をトレーニングし、ターゲットのアイデンティティ・スイッチと、回復中に困難な曖昧さに露呈するインタラプタの摂動を増強する。
LVOS-v2 と SecVOS では、Dual-Agent は SAM3 を 1.2 と 2.7$J\&F$ で改善している。
提案されたフレームワークはSAM2.1、SeC、Cutieに再トレーニングすることなく、LaSOT-ext、TNL2K、VOT-LT2022といった長期的なビデオオブジェクト追跡ベンチマークに転送される。
以上の結果から,トラッキングの失敗と回復方法の明確な推論は,伝播のみの改善を超えて,ロバストなトラッキングを実現するための補完的な道筋であることを示唆した。
プロジェクトページ: valaybundele.github.io/Dual-Agent
関連論文リスト
- AgentForesight: Online Auditing for Early Failure Prediction in Multi-Agent Systems [30.172832661173928]
LLMベースのマルチエージェントシステムは、長距離タスクにますますデプロイされている。
単一の決定的なエラーは、しばしば下流のエージェントやカスケードによって軌道レベルの障害として受け入れられる。
我々は,この問題をオンライン監査として再編成するフレームワークであるAgentForesightを紹介した。
論文 参考訳（メタデータ） (2026-05-09T05:55:19Z) - Detecting Object Tracking Failure via Sequential Hypothesis Testing [80.7891291021747]
ビデオにおけるリアルタイムのオンラインオブジェクト追跡は、コンピュータビジョンにおける中核的なタスクである。
本稿では,物体追跡を逐次的仮説テストとして解釈することを提案する。
本研究では,地中追跡情報と内部追跡情報の両方を活用することにより,教師なしと教師なしの両方の変種を提案する。
論文 参考訳（メタデータ） (2026-02-13T14:57:15Z) - SAMITE: Position Prompted SAM2 with Calibrated Memory for Visual Object Tracking [58.35852822355312]
Visual Object Tracking (VOT)は、ビデオ内のターゲットを継続的に追跡する自律運転のようなアプリケーションで広く使われている。
これらの問題に対処するために、ビデオ基盤モデルSAM2をVOTに適用し、各フレームの追跡結果をメモリとして符号化し、残りのフレームを自己回帰的に条件付けする手法を提案する。
これらの課題に対処するために,SAM2 上にモジュールを追加して構築した SAMITE モデルを提案する。
論文 参考訳（メタデータ） (2025-07-29T12:11:56Z) - UncTrack: Reliable Visual Object Tracking with Uncertainty-Aware Prototype Memory Network [75.9933952886197]
UncTrackは、標的位置の不確実性を予測する新しい不確実性対応トランスフォーマーである。
本手法は実験における他の最先端手法よりも優れる。
論文 参考訳（メタデータ） (2025-03-17T07:33:16Z) - RTracker: Recoverable Tracking via PN Tree Structured Memory [71.05904715104411]
本稿では,木構造メモリを用いてトラッカーと検出器を動的に関連付け,自己回復を可能にするRTrackerを提案する。
具体的には,正負と負のターゲットサンプルを時系列に保存し,維持する正負のツリー構造メモリを提案する。
我々の中核となる考え方は、正と負の目標カテゴリーの支持サンプルを用いて、目標損失の信頼性評価のための相対的距離に基づく基準を確立することである。
論文 参考訳（メタデータ） (2024-03-28T08:54:40Z) - Uncertainty-aware Unsupervised Multi-Object Tracking [33.53331700312752]
教師なしマルチオブジェクトトラッカーは、信頼できる機能埋め込みの学習に劣る。
最近の自己監督技術は採用されているが、時間的関係を捉えられなかった。
本稿では、不確実性問題は避けられないが、不確実性自体を活用して学習された一貫性を向上させることができると論じる。
論文 参考訳（メタデータ） (2023-07-28T09:03:06Z) - Detecting Invisible People [58.49425715635312]
我々は,追跡ベンチマークを再利用し,目立たない物体を検出するための新しい指標を提案する。
私たちは、現在の検出および追跡システムがこのタスクで劇的に悪化することを実証します。
第2に,最先端の単眼深度推定ネットワークによる観測結果を用いて,3次元で明示的に推論する動的モデルを構築した。
論文 参考訳（メタデータ） (2020-12-15T16:54:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。