論文の概要: Counterfactual Attention Policy Distillation for Temporal Video Grounding

• arxiv url: http://arxiv.org/abs/2609.34581v2
• Date: Tue, 29 Sep 2026 08:12:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:46.751218
• Title: Counterfactual Attention Policy Distillation for Temporal Video Grounding
• Title（参考訳）: 時間的ビデオグラウンディングのためのファクトファクトアテンションポリシー蒸留
• Abstract要約: 時間的ビデオグラウンドディングは、高度マルチモーダル大言語モデル(MLLM)の重要な機能である 我々は,CAPD(Conserfactal Attention Policy Distillation)と呼ばれるMLLMの新たなトレーニング体制を提案する。
• 参考スコア（独自算出の注目度）: 27.961321368433318
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Temporal video grounding is a key capability of advanced Multimodal Large Language Models (MLLMs) for the thorough understanding of video events, which is however often limited by repeated actions and visually similar contexts in long videos. In this paper, we study this issue from the perspective of On-policy distillation (OPD) and propose a new training regime for MLLMs termed Counterfactual Attention Policy Distillation (CAPD). In particular, OPD is a viable solution for MLLMs via providing dense teacher supervision on student-generated trajectories. But its next-token based teacher-student distillation is hard to identify the specific video segments supporting each predicted timestamp, which is critical for temporal grounding. In this case, CAPD measures how masking each temporal group changes the teacher's output distribution. The resulting counterfactual influence calibrates the teacher's attention and weights token-level distillation, allowing the student to learn the temporal evidence that affects boundary prediction. To validate CAPD, we trained it on Qwen3-VL-8B-Instruct using only 2,500 samples for one epoch, and evaluated it on the TimeLens and multiple general video benchmarks. Experimental results show that CAPD improves average recall by 12.0% relative to GRPO on TimeLens while preserving general video understanding, achieving comparable accuracy to the base model.
• Abstract（参考訳）: 時間的ビデオグラウンドティングは、ビデオイベントの徹底的な理解のための高度なマルチモーダル大言語モデル(MLLM)の重要な機能である。 本稿では, オン・ポリケーション蒸留(OPD)の観点からこの問題を考察し, CAPDと呼ばれるMLLMの新たな研修体制を提案する。 特に、OPDは、学生が生み出す軌跡を教師に密に監督することで、MLLMにとって実行可能なソリューションである。 しかし, 予報タイムスタンプに対応する特定のビデオセグメントの特定は困難であり, 時間的接地に欠かせない。 この場合、CAPDは、各時間集団のマスキングが教師の出力分布をどのように変化させるかを測定する。 結果として生じる影響は教師の注意を校正し、トークンレベルの蒸留を重み付け、生徒は境界予測に影響を与える時間的証拠を学ぶことができる。 CAPDを検証するために, 2500サンプルのみを用いてQwen3-VL-8B-Instructでトレーニングを行い, TimeLens と複数の一般的なビデオベンチマークで評価した。 実験の結果,CAPD は TimeLens における GRPO に対する平均リコール率を 12.0 % 向上し,一般的なビデオ理解を保ち,ベースモデルに匹敵する精度を実現していることがわかった。

関連論文リスト

• Context-Matched Distillation: Teacher Causality for Autoregressive Video Distillation [97.02922768457239]
  Context-Matched Distillation (CMD) は、教師の監督と、各ターゲットが生成される際に利用可能な情報とを整合させる因果的MDDフレームワークである。 Prefix Corruptionは、このターゲットコンテキストアライメントを維持しながら、トレーニングの初期段階で生成された信頼性の低いプレフィックスを摂動することで、トレーニングを安定化させる。 ショートビデオとロングビデオの両方のベンチマークで、自己回帰手法における最先端の集約性能を実証した。
  論文  参考訳（メタデータ） (2026-08-13T15:51:31Z)
• Tempo-R0: A Video-MLLM for Temporal Video Grounding through Efficient Temporal Sensing Reinforcement Learning [6.9627404612894335]
  時間的ビデオグラウンド(TVG)は、言語クエリに基づいて、ビデオから関連する時間的セグメントをピンポイントする必要がある。 本稿では,時間的ビデオグラウンド処理のためのビデオマルチモーダル大言語モデルであるTempo-R0を提案する。 本手法は,元のQVHighlightsテストベンチの約3.5%でSOTAソリューションに対する顕著な優位性を実現する。
  論文  参考訳（メタデータ） (2025-07-07T06:51:40Z)
• MUSEG: Reinforcing Video Temporal Understanding via Timestamp-Aware Multi-Segment Grounding [55.32878803528196]
  ビデオの時間的理解は、マルチモーダルな大言語モデル(MLLM)において、ビデオ内のイベントを推論するために不可欠である。 タイムスタンプを意識したマルチセグメントグラウンドの導入により時間的理解を高める新しいRLに基づくMUSEGを提案する。 効果的な学習を容易にするため,段階的な報酬付きRL学習レシピを設計し,時間的根拠に基づく推論に向けてモデルを段階的に導く。
  論文  参考訳（メタデータ） (2025-05-27T04:50:07Z)
• TimeRefine: Temporal Grounding with Time Refining Video LLM [75.99665302872901]
  ビデオの時間的接地は、テキストのプロンプトが与えられたビデオの中で、関連する時間的境界をローカライズすることを目的としている。 我々は時間的接地タスクを時間的精錬タスクとして再構成する。 我々は、予測セグメントが基底真理からさらに逸脱した場合、モデルをよりペナルティ化する補助予測ヘッドを組み込む。
  論文  参考訳（メタデータ） (2024-12-12T18:59:11Z)
• TemporalBench: Benchmarking Fine-grained Temporal Understanding for Multimodal Video Models [75.42002690128486]
  TemporalBenchは、ビデオの微細な時間的理解を評価するための新しいベンチマークだ。 ビデオクリップの時間的ダイナミクスを詳述した2Kの高品質な人間のアノテーションから派生した10KのビデオQ&Aペアで構成されている。 GPT-4oのような最先端のモデルは、TemporalBench上で38.5%の質問応答精度しか達成していない。
  論文  参考訳（メタデータ） (2024-10-14T17:59:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。