論文の概要: FrameGRPO: Incentivizing Video Reasoning via Multi-Frame Rollouts and Temporal Credit

• arxiv url: http://arxiv.org/abs/2610.26022v1
• Date: Mon, 19 Oct 2026 08:45:21 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:03:12.577257
• Title: FrameGRPO: Incentivizing Video Reasoning via Multi-Frame Rollouts and Temporal Credit
• Title（参考訳）: FrameGRPO:マルチフレームロールアウトとテンポラルクレジットによるビデオ推論のインセンティブ
• Abstract要約: 検証可能な報酬を伴う強化学習は、マルチモーダルな大言語モデルにおけるビデオ推論を改善した。 補助的ネットワークやモデルアーキテクチャの変更を必要としない簡易かつ効果的な強化学習フレームワークである textbfFrame GRPO を提案する。
• 参考スコア（独自算出の注目度）: 12.80182051112753
• License:
• Abstract: Reinforcement learning with verifiable rewards, particularly Group Relative Policy Optimization (GRPO), has improved video reasoning in multimodal large language models. However, standard video GRPO varies only linguistic trajectories while conditioning every rollout in a group on the same sampled frames, which can produce homogeneous rewards and weaken group-relative learning when the shared visual evidence is insufficient or distracting. We propose \textbf{FrameGRPO}, a simple and effective reinforcement-learning framework that requires neither auxiliary networks nor changes to the model architecture. Specifically, FrameGRPO combines two lightweight components: (1) \textbf{Multi-Frame Rollouts}, which use only uniform temporal subsampling of a single maximal-frame decode to construct aligned views that diversify visual evidence and reasoning trajectories; and (2) \textbf{Gated Temporal Efficiency Credit}, which selectively reinforces a correct lower-ratio trajectory when all rollouts in a fixed full-ratio reference subset fail, without imposing an unconditional preference for fewer frames. Extensive experiments across diverse video understanding and reasoning benchmarks demonstrate robust overall improvements over standard GRPO, highlighting temporal-view diversification as an effective mechanism for exploration and credit assignment in video MLLMs.
• Abstract（参考訳）: 検証可能な報酬を伴う強化学習、特にグループ相対政策最適化(GRPO)は、マルチモーダルな大言語モデルにおけるビデオ推論を改善した。 しかし、標準ビデオGRPOは、同じサンプルフレーム上のグループ内のすべてのロールアウトを条件付けしながら言語軌道のみを変化させ、共有された視覚的エビデンスが不十分または散逸している場合に、均質な報酬を生成し、グループ相対学習を弱めることができる。 本稿では,補助的ネットワークやモデルアーキテクチャの変更を必要としない,シンプルで効果的な強化学習フレームワークである‘textbf{FrameGRPO} を提案する。 特に、FrameGRPOは、2つの軽量コンポーネントを組み合わせている: (1) \textbf{Multi-Frame Rollouts}は、1つの最大フレームのデコードの一様部分サンプリングのみを使用し、視覚的エビデンスと推論トラジェクトリを多様化するアライメントビューを構築する。 多様なビデオ理解と推論ベンチマークにわたる広範囲な実験は、標準GRPOよりも堅牢な全体的な改善を示し、ビデオMLLMにおける探索とクレジット割り当ての効果的なメカニズムとして、時間的視点の多様化を強調している。

関連論文リスト

• Reasoning as Intersection: Consensus-Frame Alignment for Visual Focus in Video-MLLMs [81.04673240949074]
  強化学習は、大規模言語モデルの推論能力を改善した。 結果のみの報酬をビデオマルチモーダルな大規模言語モデルに適用することは、どの視覚的証拠が答えを支持するべきかを限定的なガイダンスを提供する。 本稿では,エビデンス対応ビデオ推論のための時間アノテーションフリープロセスレベル報酬フレームワークであるConsensus Frame GRPOを紹介する。
  論文  参考訳（メタデータ） (2026-06-16T19:42:54Z)
• STRIVE: Structured Spatiotemporal Exploration for Reinforcement Learning in Video Question Answering [28.670443420523796]
  STRIVEは質問応答のための構造化強化学習フレームワークである。 報酬シグナルを豊かにし、より安定的で情報的なポリシー更新を促進する。 時間的カバレッジを維持しながら、入力問題に最も関連するフレームを優先順位付けする。
  論文  参考訳（メタデータ） (2026-04-02T09:35:27Z)
• FrameMind: Frame-Interleaved Video Reasoning via Reinforcement Learning [65.42201665046505]
  現在のビデオ理解モデルは、各質問の特定の推論条件にかかわらず、固定されたフレームサンプリング戦略に依存し、所定の視覚入力を処理する。 この静的アプローチは、視覚的エビデンスを適応的に収集する能力を制限し、広範囲の時間的カバレッジやきめ細かい空間的詳細を必要とするタスクにおいて、最適以下のパフォーマンスをもたらす。 Frame-Interleaved Chain-of-Thought (FiCOT)を通して、モデルが推論中に視覚情報を動的に要求することを可能にする強化学習で訓練されたエンドツーエンドフレームワークであるFrameMindを紹介する。 従来のアプローチとは異なり、FrameMindは複数のターンで動作し、モデルがテキスト推論とアクティブな視覚知覚を交互に切り替え、ツールを使って抽出する。
  論文  参考訳（メタデータ） (2025-09-28T17:59:43Z)
• ReFoCUS: Reinforcement-guided Frame Optimization for Contextual Understanding [52.050036778325094]
  ReFoCUS(Reinforcement-guided Frame Optimization for Contextual UnderStanding)は、新しいフレームレベルのポリシー最適化フレームワークである。 ReFoCUSは、参照LMMから派生した報酬信号を用いて、フレームに対するモデル固有の嗜好を反映して、強化学習を通じてフレーム選択ポリシーを学習する。 提案手法は複数のビデオQAベンチマークにおける推論性能を継続的に改善する。
  論文  参考訳（メタデータ） (2025-06-02T03:08:07Z)
• Rerender A Video: Zero-Shot Text-Guided Video-to-Video Translation [93.18163456287164]
  本稿では,動画に画像モデルを適用するための新しいテキスト誘導型動画翻訳フレームワークを提案する。 我々のフレームワークは,グローバルなスタイルと局所的なテクスチャの時間的一貫性を低コストで実現している。
  論文  参考訳（メタデータ） (2023-06-13T17:52:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。