論文の概要: Where to Look Matters: On-Policy Self-Distillation for Long-Video Understanding

• arxiv url: http://arxiv.org/abs/2608.25356v1
• Date: Wed, 26 Aug 2026 04:23:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-27 14:15:15.591196
• Title: Where to Look Matters: On-Policy Self-Distillation for Long-Video Understanding
• Title（参考訳）: どのように見えるか: 長期ビデオ理解のためのオン・ポリティィ自己蒸留
• Abstract要約: ビデオが長くなるにつれて、フルビデオのコンテキストは必然的に、より質問に無関係な時間的コンテンツを含んでいる。 質問関連エビデンスを含む短い注釈付き手掛かり区間に視覚入力を集中させることで、予測精度が一貫して向上することが実証された。 本稿では,長期ビデオ理解のための自己蒸留フレームワークClue-OPSDを紹介する。
• 参考スコア（独自算出の注目度）: 43.28973351947568
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-language models (VLMs) have made substantial progress in long-video understanding, with standard backbone models typically answering questions from frames sampled across the full video. However, as videos become longer, the full-video context inevitably contains more question-irrelevant temporal content, which can distract the model from the evidence needed to answer a specific question. We empirically find that focusing the visual input on short annotated clue intervals containing question-relevant evidence consistently improves prediction accuracy across model scales compared with using the corresponding full videos, while requiring fewer input frames. Based on this finding, we introduce Clue-OPSD, a clue-privileged on-policy self-distillation framework for long-video understanding. During training, a full-video student learns from a self-teacher conditioned on the corresponding clue interval by aligning their next-token distributions along student-generated trajectories. Clue-OPSD thus uses clue intervals as privileged supervision without relying on ground-truth answer labels, while requiring no clue annotations or additional modules at inference time. Extensive experiments across multiple long-video understanding benchmarks and Qwen3.5 model scales demonstrate consistent improvements over the corresponding backbone models and strong performance against supervised post-training baselines.
• Abstract（参考訳）: 視覚言語モデル(VLM)は、ビデオ全体にわたってサンプリングされたフレームからの質問に答える標準的なバックボーンモデルによって、長いビデオ理解において大きな進歩を遂げている。 しかし、ビデオが長くなるにつれて、フルビデオのコンテキストは必然的に、より質問に無関係な時間的コンテンツを含んでいるため、特定の質問に答えるために必要な証拠からモデルを邪魔する可能性がある。 質問関連エビデンスを含む短い注釈付き手がかり区間に視覚的入力を集中させることは、対応するフルビデオを使用する場合と比較して、モデルスケール間の予測精度を一貫して向上するが、入力フレームは少なくなる。 そこで本研究では,長期ビデオ理解のための自己蒸留フレームワークClue-OPSDを紹介した。 トレーニング中、フルビデオの学生は、学生が生成した軌跡に沿って次点分布を整列させることで、対応する手がかり間隔で条件付けられた自己学習者から学習する。 したがってClue-OPSDは、暗黙の回答ラベルに頼ることなく、手掛かりの間隔を特権的な監視として使用し、推論時に手掛かりのアノテーションや追加モジュールは必要としない。 複数の長時間ビデオ理解ベンチマークとQwen3.5モデルスケールにわたる大規模な実験は、対応するバックボーンモデルに対する一貫した改善と、教師付き後トレーニングベースラインに対する強力なパフォーマンスを示している。

関連論文リスト

• VideoScout: Learning Agentic Active Exploration with Adaptive Reasoning Pacing for Long Video Understanding [61.00809248898572]
  ロングビデオ理解(英: Long video understanding)とは、エージェントが時間軸に沿って回転してビデオを読み取る問題である。 適応推論によるSEAパラダイムをインスタンス化するマルチターン推論エージェントである textbfVideoScout を提案する。 長いビデオ理解と推論のベンチマーク実験により、我々の7Bモデルは、既存の訓練された7Bエージェントモデルと比較して、強い性能を発揮することが示された。
  論文  参考訳（メタデータ） (2026-09-14T14:04:03Z)
• TTA-Vid: Generalized Test-Time Adaptation for Video Reasoning [54.70019148172847]
  テスト時強化学習(Test-Time Reinforcement Learning)のパラダイムをビデオ言語データに活用することにより,事前学習されたモデルを明示的なラベルなしで,テスト時のビデオサンプルに適応させることができる。 ビデオアプローチのためのテスト時間適応(TTA-Vid)は、同時に動作する2つのコンポーネントを組み合わせる。 TTA-Vidは、様々なビデオ推論タスクで一貫した改善をもたらし、大規模データで訓練された最先端の手法より優れている。
  論文  参考訳（メタデータ） (2026-04-01T09:52:57Z)
• Think with Grounding: Curriculum Reinforced Reasoning with Video Grounding for Long Video Understanding [38.87967229483403]
  Video-TwGは、新しいThink-with-Groundingパラダイムを採用したカリキュラム強化フレームワークである。 Video-TwGは、複雑な補助モジュールや注釈付き推論トレースに頼ることなく、簡単にエンドツーエンドでトレーニングすることができる。 提案アルゴリズムは, 微粒な接地報酬, 自己確認擬似報酬, 精度保証機構を特徴とする。
  論文  参考訳（メタデータ） (2026-02-21T03:16:23Z)
• LongVT: Incentivizing "Thinking with Long Videos" via Native Tool Calling [87.98096428508181]
  LongVTは、Multimodal Chain-of-Tool-Thoughtを通じて"Thinking with Long Videos"を可能にするエンドツーエンドのエージェントフレームワークである。 我々は、LMM固有の時間的接地機能を利用して、特定のビデオクリップをズームインし、よりきめ細かいビデオフレームを再サンプリングするネイティブビデオトリミングツールを開発した。 トレーニングデータセットは, ツール統合型冷間始動微調整用247.9K試料, エージェント強化学習用1.6K試料, エージェント強化微調整用15.4K試料からなる。
  論文  参考訳（メタデータ） (2025-11-25T19:22:48Z)
• SeViCES: Unifying Semantic-Visual Evidence Consensus for Long Video Understanding [36.30263540665245]
  本稿では,効果的で信頼性の高いロングビデオ理解のためのフレームワークを提案する。 SeViCESはトレーニング不要でモデルに依存しない2つの重要なコンポーネントを導入している。 長いビデオ理解ベンチマークの実験によると、SeViCESは精度と堅牢性の両方で最先端の手法を一貫して上回っている。
  論文  参考訳（メタデータ） (2025-10-23T14:55:28Z)
• On the Consistency of Video Large Language Models in Temporal Comprehension [57.985769348320616]
  ビデオ大言語モデル(Video-LLMs)は、時間的に言語クエリを解析し、ビデオモーメントを検索することができる。 予測整合性 - 時間的根拠の堅牢性と信頼性を示す重要な指標である。
  論文  参考訳（メタデータ） (2024-11-20T00:47:17Z)
• TemporalBench: Benchmarking Fine-grained Temporal Understanding for Multimodal Video Models [75.42002690128486]
  TemporalBenchは、ビデオの微細な時間的理解を評価するための新しいベンチマークだ。 ビデオクリップの時間的ダイナミクスを詳述した2Kの高品質な人間のアノテーションから派生した10KのビデオQ&Aペアで構成されている。 GPT-4oのような最先端のモデルは、TemporalBench上で38.5%の質問応答精度しか達成していない。
  論文  参考訳（メタデータ） (2024-10-14T17:59:58Z)
• Weakly Supervised Gaussian Contrastive Grounding with Large Multimodal Models for Video Question Answering [11.244643114253773]
  Video Question(ビデオQA)は、ビデオで観察される情報に基づいて、自然言語の質問に答えることを目的としている。 視覚的な入力として疑問クリティカルな瞬間に答えを推論するために,LMMを強制する,弱い教師付きフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-01-19T14:21:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。