論文の概要: Frame Differential On-Policy Self-Distillation for Video Reasoning

• arxiv url: http://arxiv.org/abs/2609.39021v1
• Date: Wed, 30 Sep 2026 05:25:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.231533
• Title: Frame Differential On-Policy Self-Distillation for Video Reasoning
• Title（参考訳）: ビデオ推論のためのフレーム差分オンポリシィ自己蒸留法
• Abstract要約: 強化学習(RL)は多モーダル言語モデルの推論能力を大幅に向上させた。 ビデオ推論では、現在のRLメソッドは通常、固定されたスパースフレームの予算でトレーニングする。 本報告では,高密度フレーム観測の有用な証拠をスパースフレームポリシに転送する,FD-OPSD(textbfFrame Differential On-Policy Self-Distillation)を提案する。
• 参考スコア（独自算出の注目度）: 10.738104145744837
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement learning (RL) has substantially improved the reasoning ability of multimodal language models through verifiable rewards and increasingly fine-grainedvisual or temporal credit assignment. In video reasoning, however, current RL methods typically train with a fixed sparse frame budget: increasing the number of frames makes autoregressive rollouts expensive, while too few frames may miss temporally localized events and fine-grained visual details. We present \textbf{Frame Differential On-Policy Self-Distillation (FD-OPSD)}, which transfers the useful evidence of dense frame observations to a sparse frame policy during RL training. FD-OPSD compares the policy's token level preferences for the same sampled response under sparse and dense views, and distills the resulting frame differential signal without an external teacher or dense autoregressive rollout. The method preserves sparse-frame rollouts and leaves inference unchanged. Across Qwen2.5-VL-7B and Qwen3-VL-4B on six video reasoning benchmarks, FD-OPSD yields higher overall average performance than the strongest corresponding GRPO, T-GRPO, or Video-KTR baselines across the 16, 32, and 64 frame evaluation settings. These results show that dense visual evidence can be transferred selectively during training through token level self-distillation while retaining sparse frame rollouts and unchanged inference.
• Abstract（参考訳）: 強化学習(Reinforcement Learning, RL)は、検証可能な報酬と、よりきめ細かな視覚的あるいは時間的信用割り当てによって、多モーダル言語モデルの推論能力を大幅に向上させた。 フレーム数を増やすことで自動回帰的なロールアウトが高価になるのに対して、時間的に局所化されたイベントやきめ細かい視覚的詳細を見逃すフレームは少なすぎる。 本稿では,高密度フレーム観察の有意な証拠をRLトレーニング中にスパースフレームポリシーに伝達する「FD-OPSD」について述べる。 FD-OPSDは、スパースと密集したビューの下で同じサンプル応答に対するポリシーのトークンレベル設定を比較し、外部教師や密集した自己回帰的ロールアウトなしでフレーム差分信号を蒸留する。 この方法はスパースフレームのロールアウトを保存し、推論は変更しない。 Qwen2.5-VL-7B と Qwen3-VL-4B を6つのビデオ推論ベンチマークで比較すると、FD-OPSD は16, 32, 64 フレーム評価設定における最上位のGRPO, T-GRPO, Video-KTR ベースラインよりも全体的な平均性能が高い。 これらの結果から, 少ないフレームロールアウトと変化しない推論を維持しつつ, トークンレベルの自己蒸留を通じて, 濃密な視覚的証拠を選択的に伝達できることが示唆された。

関連論文リスト

• RIDGE: Region-Informed Derivative-Guided Evidence Selection for Long Video Understanding [55.75126327155788]
  RIDGEはフレーム選択フレームワークであり、時間信号としてフレームクエリの類似性曲線を読み取る。 タイムラインを構造的なリージョンに分割し、固定予算の下でイベントコア、トランジション、ビルドアップ、アフターマス、コンテキストフレームを保存するために、リージョン固有の選択を適用する。 ほとんどの設定で最高のパフォーマンスを達成し、他の設定では競争力を維持します。
  論文  参考訳（メタデータ） (2026-08-30T18:40:51Z)
• VADER: Adaptive Debiasing for Hallucination Mitigation in Video Large Language Models [30.792102059830274]
  Video-Adaptive Debiasing via Evidence Reweighting (VADER)は、2つの補完モジュールを持つトレーニング不要のフレームワークである。 Visual Focus Reallocation (VFR)は、ビデオ検索の各入力に対する介入ポリシーを自動的にインスタンス化する。 SEE(Selective Evidence Erasure)は、フレーム毎に高重要性の視覚トークンを隠蔽する。
  論文  参考訳（メタデータ） (2026-08-09T10:09:11Z)
• Stop Thinking, Start Looking: Efficient Post-Training for Multimodal Document Question Answering via Reasoning-Free Alignment [2.8730465903425877]
  マルチモーダル文書QAにグループ相対ポリシー最適化を適用するトレーニングフレームワークであるPerception-RFTを紹介する。 推論可能なモデルは,4Bパラメータ尺度で直接知覚に基づくポリシーに収束して,学習中の推論トレースを抑制する。 初期のSFT$rightarrow$RLトランジションは65%のトレーニングデータで同等の精度を実現する。
  論文  参考訳（メタデータ） (2026-07-16T07:43:39Z)
• The Ebb and Flow of Multimodal Focus: Scheduling Visual Relay Windows for Grounded VLM Reasoning [82.58503785830632]
  視覚言語モデルはマルチモーダル推論ベンチマークでますます成功するが、言語スタックに入ると視覚的証拠が不安定になることが多い。 本稿では,軽量な学習モジュールを用いたタスク適応型推論時間制御フレームワークTRACEを提案する。 4つのオープンウェイトなVLMバックボーンと7つのベンチマークで、TRACEはグラウンドに敏感な設定で大きく向上している。
  論文  参考訳（メタデータ） (2026-07-13T11:44:23Z)
• Reasoning as Intersection: Consensus-Frame Alignment for Visual Focus in Video-MLLMs [81.04673240949074]
  強化学習は、大規模言語モデルの推論能力を改善した。 結果のみの報酬をビデオマルチモーダルな大規模言語モデルに適用することは、どの視覚的証拠が答えを支持するべきかを限定的なガイダンスを提供する。 本稿では,エビデンス対応ビデオ推論のための時間アノテーションフリープロセスレベル報酬フレームワークであるConsensus Frame GRPOを紹介する。
  論文  参考訳（メタデータ） (2026-06-16T19:42:54Z)
• DynFrame: Adaptive Reasoning-Driven Multimodal Framework with Dynamic Frame Augmentation for Complex Video Understanding [19.492762364136393]
  時間ウィンドウとサンプリング密度を1つの自己回帰パス内でネイティブトークンとして出力するフレームワークであるDynFrameを提案する。 この学習可能なスパン密度検索は、単一の検索ステップで多粒度証拠の取得を可能にする。
  論文  参考訳（メタデータ） (2026-05-26T08:16:16Z)
• FrameMind: Frame-Interleaved Video Reasoning via Reinforcement Learning [65.42201665046505]
  現在のビデオ理解モデルは、各質問の特定の推論条件にかかわらず、固定されたフレームサンプリング戦略に依存し、所定の視覚入力を処理する。 この静的アプローチは、視覚的エビデンスを適応的に収集する能力を制限し、広範囲の時間的カバレッジやきめ細かい空間的詳細を必要とするタスクにおいて、最適以下のパフォーマンスをもたらす。 Frame-Interleaved Chain-of-Thought (FiCOT)を通して、モデルが推論中に視覚情報を動的に要求することを可能にする強化学習で訓練されたエンドツーエンドフレームワークであるFrameMindを紹介する。 従来のアプローチとは異なり、FrameMindは複数のターンで動作し、モデルがテキスト推論とアクティブな視覚知覚を交互に切り替え、ツールを使って抽出する。
  論文  参考訳（メタデータ） (2025-09-28T17:59:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。