論文の概要: Event-Driven Refresh and Recurrence Memory to Reduce Stale Grounding in Referring Video Object Segmentation
- arxiv url: http://arxiv.org/abs/2609.38758v1
- Date: Wed, 30 Sep 2026 01:44:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-01 18:57:26.978254
- Title: Event-Driven Refresh and Recurrence Memory to Reduce Stale Grounding in Referring Video Object Segmentation
- Title(参考訳): イベント駆動リフレッシュと再帰記憶によるビデオオブジェクトのセグメンテーションの静的グラウンド化低減
- Abstract要約: Event Refresh + Recurrence Memory (EDRRM) は、安定した変更点のみにSa2VAを選択的に再起動する拡張である。
EDRRMは、固定ウィンドウとFrame-SSIMベースラインと比較して、競合する精度と効率のトレードオフを実現する。
- 参考スコア(独自算出の注目度): 24.75742690596826
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Referring Video Object Segmentation (RVOS) aims to produce a pixel-accurate mask sequence for an object specified by natural language. Sa2VA combines a multimodal large language model with SAM2 for grounded segmentation; however, its inference typically grounds the query from a small fixed set of initial keyframes and then relies on propagation. In long or dynamic videos, this can cause stale grounding and persistent false positives when the object composition changes (e.g., distractors enter or the target disappears/re-appears). We propose Event-Driven Refresh + Recurrence Memory (EDRRM), an enhancement that selectively re-invokes Sa2VA only at stable change points. EDRRM triggers refresh boundaries using an EMA-smoothed event score computed from tracking-derived cues (births/deaths and coarse composition/layout changes) with temporal constraints. A recurrence memory further retrieves anchor frames via CLIP similarity to re-condition the model on re-appearance events. Experiments on Ref-DAVIS17, MeViS, and ReVOS show that EDRRM achieves a competitive accuracy-efficiency trade-off relative to fixed-window and FrameDiff-SSIM baselines, maintaining comparable or superior J&F scores at substantially lower average refresh-call budgets and reducing false-positive failures. End-to-end runtime analysis further confirms that the overhead introduced by tracking, CLIP-based recurrence matching, and the identifiability gate remains modest relative to the dominant Sa2VA inference cost, thereby validating the efficiency of the proposed pipeline.
- Abstract(参考訳): Referring Video Object Segmentation (RVOS) は、自然言語で指定されたオブジェクトに対して、ピクセル精度の高いマスクシーケンスを生成することを目的としている。
Sa2VAは、グラウンドドセグメンテーションのためのSAM2とマルチモーダルな大きな言語モデルを組み合わせているが、その推論は典型的には、小さな固定された初期キーフレームの集合からクエリを基底にして、伝播に依存する。
ロングビデオやダイナミックビデオでは、オブジェクトの組成が変化した場合(例えば、イントラクタが入ってくるか、ターゲットが消え/再現れる)、古いグラウンドと永続的な偽陽性を引き起こす可能性がある。
本稿では,イベント駆動リフレッシュ+再帰メモリ(EDRRM)を提案する。
EDRRMは、時間的制約のあるトラッキング由来のキュー(生死と粗いコンポジション/レイアウト変更)から計算されたEMAスムースなイベントスコアを使用してリフレッシュバウンダリをトリガーする。
繰り返しメモリは、再出現イベントのモデルをリコンディションするために、CLIP類似性を介してアンカーフレームを検索する。
Ref-DAVIS17、MeViS、ReVOSの実験では、EDRRMは固定ウィンドウとFrameDiff-SSIMのベースラインに対して、ほぼ低い平均リフレッシュコール予算で同等または優れたJ&Fスコアを維持し、偽陽性の故障を低減し、競争精度と効率のトレードオフを達成することが示されている。
エンドツーエンドのランタイム分析では、トラッキング、CLIPベースのリカレンスマッチング、および識別可能性ゲートによって導入されたオーバーヘッドが、支配的なSa2VA推論コストに対して控えめなままであることを確認し、提案したパイプラインの効率性を検証する。
関連論文リスト
- Partition-Aware Unlearning for Removing Spurious Correlations in Large Vision-Language Models [12.293070202366316]
LVLM(Large Vision-Language Models)は多くのマルチモーダルタスクにおいて高いパフォーマンスを達成する。
それらはしばしば、刺激的なオブジェクト背景の堅牢性を利用しており、結果として、オブジェクト関連の視覚的証拠ではなく、文脈的ショートカットによって引き起こされる予測をもたらす。
我々は,LVLMにおけるスプリラス相関による障害を構築,ベンチマーク,緩和するフレームワークであるPURGEを紹介する。
論文 参考訳(メタデータ) (2026-08-30T19:42:47Z) - ReflexTrack: A Feedback-Driven Agent for Training-Free Referring Video Object Segmentation [63.38679125666075]
オブジェクトセグメンテーション(RVOS)を参照するには、ビデオを通して自然言語で指定されたターゲットをセグメンテーションする必要がある。
近年のエージェントアプローチでは,タスク固有のトレーニングなしでRVOSを実行するために,マルチモーダルな大規模言語モデルと迅速なセグメンテーションモデルを組み合わせている。
トレーニング不要でフィードバック駆動型エージェントであるReflexTrackを導入し、空間的および時間的両方のレベルでループを閉じる。
論文 参考訳(メタデータ) (2026-07-27T07:39:20Z) - Active Adversarial Perturbation-driven Associative Memory Retrieval for RGB-Event Visual Object Tracking [58.338848435042536]
RGB-Eventトラッキングは、イベントセンサからRGB外観テクスチャと高密度時間運動キューを融合することにより、ローカライズを改善する。
現実世界のシーンは、従来のマルチモーダル融合を妨げる多様な構造的な信号劣化に悩まされる。
本稿では,RGBイベント追跡に適した階層的摂動・検索フレームワークを提案する。
論文 参考訳(メタデータ) (2026-06-24T23:34:06Z) - E.M.Ground: A Temporal Grounding Vid-LLM with Holistic Event Perception and Matching [87.38371267983263]
時間的ビデオグラウンディングは、クエリイベントに対応する時間セグメントを正確にローカライズすることを目的としている。
E.M.GroundはTVGのための新しいVid-LLMで、総合的で一貫性のあるイベント知覚に焦点を当てている。
E.M.Ground は最先端の Vid-LLM を著しく上回っている。
論文 参考訳(メタデータ) (2026-02-05T02:16:00Z) - CroBIM-V: Memory-Quality Controlled Remote Sensing Referring Video Object Segmentation [0.3099118620919279]
本稿では、データと方法論の二重貢献を通してRS-RVOSの研究を進める。
まず,111の動画シーケンス,約25,000のフレーム,213,000の時間参照アノテーションからなる最初の大規模ベンチマークであるRS-RVOS Benchを構築した。
第2に、セグメンテーションモデル(MQC-SAM)を用いたメモリ品質制御と呼ばれる、メモリ品質を考慮したオンライン参照セグメンテーションフレームワークを提案する。
論文 参考訳(メタデータ) (2026-01-17T14:52:46Z) - ObjectAlign: Neuro-Symbolic Object Consistency Verification and Correction [25.651102245332766]
我々は,知覚的メトリクスと記号的推論をブレンドして,編集されたビデオシーケンスの不整合を検出し,検証し,修正するフレームワークであるObjectAlignを紹介する。
私たちは、DAVISとPexelsのビデオデータセットのSOTAベースラインと比較して、CLIPスコアの1.4ポイント改善、ワープエラーの6.1ポイント改善を示す。
論文 参考訳(メタデータ) (2025-11-24T02:50:01Z) - Temporally Consistent Referring Video Object Segmentation with Hybrid Memory [98.80249255577304]
本稿では,参照セグメンテーションとともに時間的一貫性を明示的にモデル化する,エンドツーエンドなR-VOSパラダイムを提案する。
自動生成された高品質の参照マスクを有するフレームの特徴は、残りのフレームをセグメント化するために伝播される。
大規模な実験により,本手法は時間的整合性を著しく向上させることが示された。
論文 参考訳(メタデータ) (2024-03-28T13:32:49Z) - Rethinking Space-Time Networks with Improved Memory Coverage for
Efficient Video Object Segmentation [68.45737688496654]
各オブジェクトのマスク特徴を再エンコードすることなく,フレーム間の直接対応性を確立する。
対応によって、現在のクエリフレーム内の全てのノードは、過去の特徴を連想的に集約することによって推測される。
すべてのメモリノードにコントリビュートする機会があることを検証し、そのような多彩な投票がメモリ効率と推論精度の両方に有益であることを示した。
論文 参考訳(メタデータ) (2021-06-09T16:50:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。