論文の概要: Token-Level Video Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2610.01973v1
• Date: Thu, 01 Oct 2026 16:22:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:24.275689
• Title: Token-Level Video Reinforcement Learning
• Title（参考訳）: トークンレベルビデオ強化学習
• Abstract要約: Token-Level Video Reinforcement Learning (TVRL)は、トークンレベルのクレジットを最適化された報酬から導き出すフレームワークである。 VBench-2.0では、TVRLの総合スコアは57.69で、ベースモデルよりも3.60ポイント高い。
• 参考スコア（独自算出の注目度）: 42.094593860535106
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement learning (RL) for video generation usually assigns one scalar reward to an entire sampled video. Yet a video is not uniformly flawed: some visual tokens may already satisfy the prompt, whereas others require correction. A scalar reward cannot localize errors, causing optimization to perturb satisfactory tokens while under-targeting the tokens that actually need to change. We introduce Token-Level Video Reinforcement Learning, TVRL, a framework that derives token-level credit from the reward being optimized. Our key insight is that the answer likelihood of a frozen vision-language model provides both signals: its outputs contribute to the video-level reward, while magnitudes of its video-input gradients reveal which generated video tokens most affect that score. We instantiate TVRL in Group Relative Policy Optimization by averaging prompt-derived question rewards into one group-relative advantage and using detached, question-conditioned token-credit maps to reweight dense denoising-transition log-probabilities inside the clipped policy ratio. On VBench-2.0, TVRL achieves an Overall score of 57.69, outperforming the base model by 3.60 points. TVRL also improves matched GRPO baselines across three SDE samplers (SAGE, Flow, and Dance) by 2.68--3.15 points and across four reward models (VideoAlign, VideoScore2, UnifiedReward2, and Qwen3.5-9B) by 1.33--3.15 points.
• Abstract（参考訳）: ビデオ生成のための強化学習(RL)は通常、サンプルビデオ全体に対して1つのスカラー報酬を割り当てる。 一部のビジュアルトークンは、すでにプロンプトを満足しているかもしれないし、他のトークンは修正が必要である。 スカラー報酬は、エラーをローカライズすることができず、実際に変更する必要があるトークンを過小評価しながら、満足なトークンを摂動する最適化を引き起こす。 本稿では、トークンレベルのクレジットを最適化された報酬から導出するフレームワーク、Token-Level Video Reinforcement Learning, TVRLを紹介する。 私たちの重要な洞察は、凍結した視覚言語モデルの解答の可能性は、両方の信号を提供するということだ。その出力は、ビデオレベルの報酬に寄与するが、ビデオ入力の勾配のマグニチュードは、どの生成されたビデオトークンが最もそのスコアに最も影響するかを明らかにしている。 グループ相対政策最適化におけるTVRLのインスタンス化には,グループ相対的優位性を1つのグループ相対的優位性に平均化し,分離された質問条件付きトークン-クレディットマップを用いて,クリッピングされた政策比率内での高密度な復調・遷移ログ確率を再現する。 VBench-2.0では、TVRLの総合スコアは57.69で、ベースモデルよりも3.60ポイント高い。 TVRLはまた、3つのSDEサンプル(SAGE、Flow、Dance)と4つの報酬モデル(VideoAlign、VideoScore2、UnifiedReward2、Qwen3.5-9B)のGRPOベースラインを1.33--3.15ポイント改善した。

関連論文リスト

• MultiToP: Learning to Patch Visual Tokens to Mitigate Hallucinations in Video Large Multimodal Models [24.131762347887634]
  MultiToPはマルチモーダルコンテキスト対応のビジュアルトークンパッチフレームワークである。 言語生成の前に信頼できない視覚トークンを精査することで幻覚を緩和する。 これは、Qwen3-VL-4B-インストラクトのF1スコアを、バニラモデルよりも50.60%改善する。
  論文  参考訳（メタデータ） (2026-06-10T08:25:09Z)
• Wan-R1: Verifiable-Reinforcement Learning for Video Reasoning [34.259169810657895]
  ビデオ生成モデルは視覚的に一貫性のあるコンテンツを生成するが、空間的推論と多段階計画を必要とするタスクに苦労する。 モーズ解決およびロボットナビゲーションタスクのための客観的タスクメトリクスに基づく検証可能な報酬関数を設計する。 実験により、検証可能な報酬を用いたRL微調整が一般化を改善することが示された。 系統的な報酬分析では、検証可能な報酬は安定したトレーニングに不可欠であるのに対し、マルチモーダル報酬モデルは解を退化させる可能性がある。
  論文  参考訳（メタデータ） (2026-03-29T20:53:00Z)
• Video-KTR: Reinforcing Video Reasoning via Key Token Attribution [25.432599971462636]
  強化学習 (Reinforcement Learning, RL) は多モーダル大言語モデルにおける推論の強化に強い可能性を示している。 選択的なトークンレベルRLを実行するモダリティ対応のポリシーシェーピングフレームワークであるVideo-KTRを提案する。 Video-KTRは最先端または高い競争力を持ち、ビデオホルム(GPT-4oを通り抜ける)で42.7%を達成し、推論と一般的なビデオ理解の両タスクで一貫した利益を得ている。
  論文  参考訳（メタデータ） (2026-01-27T15:02:23Z)
• H$_{2}$OT: Hierarchical Hourglass Tokenizer for Efficient Video Pose Transformers [124.11648300910444]
  Heerarchical Hourglass Tokenizer (H$_2$OT) と呼ばれる階層的なプラグアンドプレイプルーニング&ドル回復フレームワークを提案する。 提案手法は汎用的であり,Seq2seqおよびSeq2frameパイプラインの共通VPTモデルに容易に組み込むことができる。
  論文  参考訳（メタデータ） (2025-09-08T17:59:59Z)
• Reinforcing Video Reasoning with Focused Thinking [65.85683941058916]
  本稿では,集中的思考と深い報酬の粒度で視覚的推論を強化する新しいフレームワークであるTW-GRPOを提案する。 具体的には,高情報密度のトークンを優先するトークン重み付け機構を用いる。 また,シングルチョイスからマルチチョイスQAタスクにシフトすることで,RLトレーニングを再構築する。
  論文  参考訳（メタデータ） (2025-05-30T15:42:19Z)
• Compile Scene Graphs with Reinforcement Learning [69.36723767339001]
  次世代予測は大規模言語モデル(LLM)の訓練の基本原理である 本稿では,マルチモーダルLLM(M-LLM)であるR1-SGGを紹介する。 私たちは、Hard Recall、Hard Recall+Relax、Soft Recallの3つのリコールベースのバリエーションを含む、グラフ中心の報酬セットを設計します。
  論文  参考訳（メタデータ） (2025-04-18T10:46:22Z)
• T-REG: Preference Optimization with Token-Level Reward Regularization [35.07328450591201]
  人間のフィードバックからの強化学習(RLHF)は、大きな言語モデルと人間の価値の整合に不可欠である。 最近の手法ではトークンレベルの報酬を導入してこの制限に対処しようと試みている。 本稿では,トークンレベルの報酬を優先最適化に利用する新しい手法であるトークンレベルの報酬正規化(T-REG)を提案する。
  論文  参考訳（メタデータ） (2024-12-03T18:56:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。