論文の概要: SAPO: Self-Supervised Attention Policy Optimization for Improving Temporal Video Grounding in Vision-Language Models

• arxiv url: http://arxiv.org/abs/2610.25923v1
• Date: Mon, 19 Oct 2026 07:23:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 03:41:47.217056
• Title: SAPO: Self-Supervised Attention Policy Optimization for Improving Temporal Video Grounding in Vision-Language Models
• Title（参考訳）: SAPO:視覚言語モデルにおける時間的映像グラウンド改善のための自己監督型注意ポリシー最適化
• Abstract要約: ビデオビジョン言語モデル(VLM)は、強い意味的理解を持っているが、正確な時間的根拠は信頼できない。 本稿では,グループ相対的政策最適化の自己監督として内部時間的注意を用いた自己監督的注意政策最適化(SAPO)を提案する。
• 参考スコア（独自算出の注目度）: 38.02760370592775
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Video vision-language models (VLMs) have strong semantic understanding, yet remain unreliable at precise temporal grounding. Existing gains from explicitly aligning video frames with absolute time suggest that VLMs may already encode accurate temporal locations internally but lose precision when expressing them as timestamps. Our analysis across four VLMs and two grounding datasets confirms this hypothesis: attention intervals outperform predicted intervals on approximately 66% of valid examples. We term this discrepancy the temporal generation gap. Because precise temporal annotations are expensive, this finding motivates closing the gap to improve temporal grounding using only unlabeled video-query pairs. We propose Self-Supervised Attention Policy Optimization (SAPO), which uses internal temporal attention as self-supervision for Group Relative Policy Optimization and applies a ground-truth-free criterion to select high-value samples. SAPO consistently improves temporal grounding across multiple datasets and models spanning weak to strong initial grounding ability. Relative mIoU gains reach 33.7% on Qwen2.5-VL-3B and 5.4% on the strong Time-R1-7B. The improvements transfer across datasets while preserving general video understanding.
• Abstract（参考訳）: ビデオビジョン言語モデル(VLM)は、強い意味的理解を持っているが、正確な時間的根拠は信頼できない。 ビデオフレームを絶対時間で明示的に整列させることによる既存の利益は、VLMが内部で正確な時間位置を符号化しているが、タイムスタンプとして表現すると精度が低下していることを示唆している。 4つのVLMと2つのグラウンドデータセットで分析した結果、約66%の有効例において、アテンション間隔が予測間隔を上回るという仮説が確認された。 我々はこの不一致を時間的発生ギャップと呼ぶ。 正確な時間的アノテーションは高価であるため、この発見は、未ラベルのビデオクエリーペアのみを使用して時間的接地を改善するためにギャップを閉じる動機となる。 我々は,グループ相対的政策最適化の自己監督として内部時間的注意を用いた自己監督的注意政策最適化(SAPO)を提案し,高価値サンプルの選択に地道な基準を適用した。 SAPOは、複数のデータセットとモデルにまたがる時間的グラウンド化を一貫して改善し、弱い初期グラウンド化能力と強い初期グラウンド化能力にまたがる。 相対的なmIoUはQwen2.5-VL-3Bで33.7%、強いTime-R1-7Bで5.4%に達する。 一般的なビデオ理解を維持しながら、データセット間での転送を改善する。

関連論文リスト

• TimeLens2: Generalist Video Temporal Grounding with Multimodal LLMs [36.2604844032041]
  ビデオマルチモーダル大言語モデル(MLLM)は、ビデオ内で何が起こるかを記述することができるが、支持された証拠がいつ発生したかを特定することは滅多にない。 本研究では,ビデオの長さ,領域,クエリフォーム,視点をまたいだエビデンス間隔の変動心電図を1つのモデルで予測する一般的なビデオ時間的グラウンドについて検討する。 TimeLens2は、時間的エビデンスを、監督と最適化を通じて設定されたインターバルとして扱う。
  論文  参考訳（メタデータ） (2026-07-19T22:04:33Z)
• Zoom-Zero: Reinforced Coarse-to-Fine Video Understanding via Temporal Zoom-in [80.03914556721519]
  グラウンドドビデオ質問応答(GVQA)は、ビデオ内の関連時間セグメントをローカライズし、与えられた質問に対する正確な回答を生成することを目的としている。 Zoom-Zeroは、まずクエリ関連セグメントをローカライズし、次に時間的に最も健全なフレームにズームして、よりきめ細かい視覚的検証を行うフレームワークである。
  論文  参考訳（メタデータ） (2025-12-16T10:34:39Z)
• Uncertainty-quantified Rollout Policy Adaptation for Unlabelled Cross-domain Temporal Grounding [59.09971455857609]
  Video Temporal Groundingは、長いビデオの中で自然言語の記述と一致するビデオセグメントを時間的に見つけることを目的としている。 本稿では,データ効率のよいクロスドメイン時間グラウンド法を提案する。 この方法では、ターゲットアノテーションの必要性を排除し、計算とストレージの両方のオーバーヘッドをリアルタイムで実行できるほど低く保つ。
  論文  参考訳（メタデータ） (2025-08-08T13:47:00Z)
• Tempo-R0: A Video-MLLM for Temporal Video Grounding through Efficient Temporal Sensing Reinforcement Learning [6.9627404612894335]
  時間的ビデオグラウンド(TVG)は、言語クエリに基づいて、ビデオから関連する時間的セグメントをピンポイントする必要がある。 本稿では,時間的ビデオグラウンド処理のためのビデオマルチモーダル大言語モデルであるTempo-R0を提案する。 本手法は,元のQVHighlightsテストベンチの約3.5%でSOTAソリューションに対する顕著な優位性を実現する。
  論文  参考訳（メタデータ） (2025-07-07T06:51:40Z)
• Temporal Preference Optimization for Long-Form Video Understanding [63.196246578583136]
  TPO(Temporal Preference Optimization)は、ビデオLMMの時間的グラウンド機能を高めるために設計された、新しいポストトレーニングフレームワークである。 TPOは、手動の注釈付きデータへの依存を減らしながら、時間的理解を著しく向上させる。 LLaVA-Video-TPOは、Video-MMEベンチマークでトップ7Bモデルとしての地位を確立している。
  論文  参考訳（メタデータ） (2025-01-23T18:58:03Z)
• TimeRefine: Temporal Grounding with Time Refining Video LLM [75.99665302872901]
  ビデオの時間的接地は、テキストのプロンプトが与えられたビデオの中で、関連する時間的境界をローカライズすることを目的としている。 我々は時間的接地タスクを時間的精錬タスクとして再構成する。 我々は、予測セグメントが基底真理からさらに逸脱した場合、モデルをよりペナルティ化する補助予測ヘッドを組み込む。
  論文  参考訳（メタデータ） (2024-12-12T18:59:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。