論文の概要: OWLET: On-Policy Weighted Learning via Evidence Transfer for Video Large Language Model Post-Training

• arxiv url: http://arxiv.org/abs/2610.13272v1
• Date: Fri, 09 Oct 2026 09:23:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.504436
• Title: OWLET: On-Policy Weighted Learning via Evidence Transfer for Video Large Language Model Post-Training
• Title（参考訳）: OWLET:ビデオ大言語学習におけるエビデンス伝達によるオンライン重み付き学習
• Abstract要約: ビデオ大言語モデル(ビデオ-LLM)における学習後推論の重要段階となった よりリッチな教師視点から学習信号を導出するエビデンスに富んだRL法を提案する。 このビューは、グローバルな状況と質問条件のローカルウィンドウを一致させ、より大きなモデルを必要としない視覚的証拠を提供する。
• 参考スコア（独自算出の注目度）: 44.01655800302536
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Post-training has become a key stage for eliciting reasoning capabilities in Video Large Language Models (Video-LLMs). Existing post-training methods mainly follow two paradigms: reinforcement learning (RL) and on-policy distillation (OPD). However, they do not fully exploit visual evidence for effective training. RL supervises the policy with a single trajectory-level reward, which is too coarse-grained for video reasoning: the same response-level advantage is applied to every generated token, disregarding that the tokens of a video response are grounded in the visual stream to very different degrees. OPD provides token-level supervision through output-distribution matching, but lacks direct supervision of the spatiotemporal representations that produce those outputs. We observe across extensive experiments that the same model reasons more accurately when its video view combines global temporal context with question-relevant details. Comparing the same student-generated response under this view and uniform sampling reveals changes in token likelihoods and internal representations, providing a training signal for evidence use. Building on this observation, we propose OWLET, an evidence-privileged RL method that derives training signals from a richer teacher view. This view couples uniform global context with question-conditioned local windows, providing visual evidence without requiring a larger model. To better exploit this privileged visual evidence, OWLET introduces (i) \textbf{evidence-aware credit redistribution}, which compares token likelihoods across the two views and redistributes positive response-level advantages according to their relative evidence support; and (ii) \textbf{spatiotemporal state alignment}, which aligns the two views' hidden states on verifier-accepted responses.
• Abstract（参考訳）: ビデオ大言語モデル (Video Large Language Models, Video-LLMs) における推論能力の獲得には,ポストトレーニングが重要な段階となっている。 既存のポストトレーニング法は主に、強化学習(RL)とオンライン蒸留(OPD)の2つのパラダイムに従っている。 しかし、彼らは効果的な訓練のために視覚的証拠を完全に活用していない。 RLは単一の軌道レベルの報酬でポリシーを監督するが、これはビデオの推論には大きすぎる。同じ応答レベルの利点が生成されたトークンすべてに適用される。 OPDは、出力分配マッチングによるトークンレベルの監視を提供するが、これらの出力を生成する時空間表現の直接的な監督は欠いている。 ビデオビューがグローバルな時間的文脈と質問関連の詳細を組み合わせた場合、同じモデルがより正確に原因となるような広範囲な実験を観察する。 この視点の下で同じ学生が生成した反応と一様サンプリングを比較すると、トークンの確率や内部表現の変化が明らかになり、証拠使用のための訓練信号が提供される。 そこで本研究では,よりリッチな教師視点から学習信号を導出する証拠に乏しいRL手法OWLETを提案する。 このビューは、グローバルな状況と質問条件のローカルウィンドウを一致させ、より大きなモデルを必要としない視覚的証拠を提供する。 この特権のある視覚的証拠をうまく活用するためにOWLETは導入する i)2つの視点のトークンの可能性を比較し、相対的証拠支援に応じて正の応答レベルの利点を再分配する「textbf{evidence-aware credit redistribution」 (ii) \textbf{spatiotemporal state alignment} は、2つのビューの隠された状態を検証対象の応答にアライメントする。

関連論文リスト

• Video-OPSD: Exploiting Privileged Visual Evidence for On-Policy Self-Distillation in Video Large Language Models [58.45264308304815]
  On-policy Self-distillation (OPSD)は、最近、特権的な自己教育者から密集したトークンレベルの監督を通じて政策最適化を改善する効果的なポストトレーニングパラダイムとして登場した。 我々は,自己学習者構築と知識伝達の両方の特権的な視覚的証拠を利用するOPSDフレームワークであるtextbfVideo-OPSD$を提示する。
  論文  参考訳（メタデータ） (2026-08-27T12:51:32Z)
• See First, Answer Later: Visual Evidence Pre-Alignment via Sufficiency-Driven RL [19.682815357013453]
  マルチモーダル大言語モデル(MLLM)は、強力なテキスト推論を視覚入力と統合するが、その応答は基礎となる画像と矛盾する可能性がある。 質問条件付き視覚的エビデンス記述を最適化するために,前訓練と後訓練の中間段階である視覚的エビデンス事前調整(VEPA)を導入する。
  論文  参考訳（メタデータ） (2026-06-16T08:45:24Z)
• Reinforce to Learn, Elect to Reason: A Dual Paradigm for Video Reasoning [17.78591587115095]
  Reinforce to Learn, Elect to Reason (RLER) は、信頼できる回答から証拠を得るために学習を分離する二重パラダイムである。 RLERはすべてのベンチマークで最先端を達成し、ベースモデルよりも平均6.3%改善されている。
  論文  参考訳（メタデータ） (2026-04-06T03:01:52Z)
• VisionCoach: Reinforcing Grounded Video Reasoning via Visual-Perception Prompting [58.508924874097715]
  VisonCoach は,(1) ビデオと質問に対して適切なプロンプト型を予測する Visual Prompt Selector と,(2) 視覚的プロンプトガイダンスとオブジェクトグラウンド報酬の下で RL で最適化された Spatio-Reasoner の2つのコンポーネントから構成される。 この結果から,トレーニング中の視覚的プロンプトが映像推論を改善するのに対し,注意散布センスは推論時にプロンプトを必要とせず,この能力を実現することが示唆された。
  論文  参考訳（メタデータ） (2026-03-15T23:32:02Z)
• Look As You Think: Unifying Reasoning and Visual Evidence Attribution for Verifiable Document RAG via Reinforcement Learning [55.232400251303794]
  Look As You Think (LAT)は、モデルをトレーニングし、一貫した帰属性を持った検証可能な推論パスを生成するための強化学習フレームワークである。 LATはシングルイメージとマルチイメージの両方でバニラモデルを一貫して改善し、平均ゲインは8.23%、IoU@0.5では47.0%となる。
  論文  参考訳（メタデータ） (2025-11-15T02:50:23Z)
• Exploring the Effect of Reinforcement Learning on Video Understanding: Insights from SEED-Bench-R1 [53.894789613838654]
  ビデオ理解におけるMLLMのポストトレーニング手法を評価するためのベンチマークであるSEED-Bench-R1を紹介する。 複雑な現実世界のビデオや、複数の質問の形式での複雑な日常的な計画タスクも含んでいる。 Qwen2-VL-Instruct-7Bをベースモデルとして、RLと教師付き微調整(SFT)を比較した。 我々の詳細な分析では、RLは視覚知覚を増強するが、しばしばコヒーレント推論連鎖を減少させる。
  論文  参考訳（メタデータ） (2025-03-31T17:55:23Z)
• Learning Interpretable Policies in Hindsight-Observable POMDPs through Partially Supervised Reinforcement Learning [57.67629402360924]
  本稿では,PSRL(Partially Supervised Reinforcement Learning)フレームワークを紹介する。 PSRLの中心は、教師なし学習と教師なし学習の融合である。 PSRLは、保存中のモデル解釈可能性を高め、従来の手法で設定された性能ベンチマークよりも大幅に向上することを示す。
  論文  参考訳（メタデータ） (2024-02-14T16:23:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。