論文の概要: GraftOOD: Grafting Out-of-Distribution Exemplars into Advantage-Weighted Rectification for Video Reward Optimization

• arxiv url: http://arxiv.org/abs/2610.13470v1
• Date: Fri, 09 Oct 2026 12:06:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.560961
• Title: GraftOOD: Grafting Out-of-Distribution Exemplars into Advantage-Weighted Rectification for Video Reward Optimization
• Title（参考訳）: GraftOOD:ビデオリワード最適化のためのアドバンテージ重み付き整流へのアウト・オブ・ディストリビューション例のグラフト化
• Abstract要約: ビデオ報酬の最適化は、ビデオのダイナミクスを減らしながらプロキシ報酬を増やすことができる。 提案するtextbfGraftOODは,選択したプロンプトグループにおけるオンラインロールアウトの一部を,アウト・オブ・ディストリビューションビデオに置き換えるものだ。
• 参考スコア（独自算出の注目度）: 23.960131525563877
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Video reward optimization can increase proxy rewards while reducing video dynamics, a mismatch we identify as \emph{motion collapse}, including under a video-level motion-quality reward. We propose \textbf{GraftOOD}, which replaces part of the online rollouts in selected prompt groups with out-of-distribution video exemplars. A shared velocity-regression objective combines group-relative reward rectification with sequence-level exemplar supervision, requiring neither exemplar generation trajectories nor an additional supervised-loss coefficient. We characterize its pointwise optimal field as a source-posterior-weighted combination of the two source-specific target fields. We construct \textbf{GraftSet-Video}, containing 9,588 format-matched exemplars for 2,397 prompts, to supply external supervision. On Wan2.1-1.3B, GraftOOD raises Dynamic Degree from 4.86 to 44.41 relative to reward-only FlowAWR, while HPSv3 decreases from 8.10 to 7.32 and VisionReward remains close. At the main setting, GraftOOD leads nine of ten metrics among three exemplar-augmented methods. Ablations of exemplar frequency and within-group count reveal dynamics--reward trade-offs rather than uniform gains from increasing exemplar usage. These results support external exemplar supervision as a complement to scalar reward feedback, without equating higher measured dynamics with coherent, visually plausible motion in the generated videos. Code is available at \href{https://github.com/Fuzm7/FlowAWR}{GraftOOD}.
• Abstract（参考訳）: ビデオ報酬の最適化は、ビデオのダイナミクスを減らしながらプロキシの報酬を増やすことができる。 本稿では,選択したプロンプトグループにおけるオンラインロールアウトの一部を,アウト・オブ・ディストリビューション・ビデオに置き換える「textbf{GraftOOD}」を提案する。 共有速度回帰目標は、グループ相対報酬の是正とシーケンスレベルの模範的監督を組み合わせ、模範的な生成軌跡も追加の監督的損失係数も必要としない。 本研究は,2つのソース固有ターゲットフィールドのソース-後方重み付け結合として,そのポイントワイズ最適フィールドを特徴付ける。 2,397プロンプトに対してフォーマットマッチングされた9,588個の例を含む \textbf{GraftSet-Video} を構築し,外部監視を行う。 Wan2.1-1.3Bでは、GraftOODは報酬のみのFlowAWRと比較してDynamic Degreeを4.86から44.41に引き上げ、HPSv3は8.10から7.32に減少し、VisionRewardは近いままである。 メイン設定では、GraftOODが3つの拡張メソッドの中で10のメトリクスのうち9をリードしている。 模範周波数と内集団カウントのアブレーションは、模範使用の増加による均一な利得よりも、ダイナミックス-リワードトレードオフを明らかにしている。 これらの結果は、スカラー報酬フィードバックを補完する外見的監督を支援するが、生成したビデオのコヒーレントで視覚的に可視な動きと高次元のダイナミクスを同一視することはない。 コードは \href{https://github.com/Fuzm7/FlowAWR}{GraftOOD} で公開されている。

関連論文リスト

• VideoAWR: Reinforcing Video Flow Models with Decoupled-Timestep Advantage-Weighted Rectification [9.064702495472275]
  emphDecoupled Timestep Rectificationを導入し、各ロールアウトを独立にサンプリングした時間ステップで監視し、サンプル効率を向上させる。 Wan2.1-1.3B と 14B の実験では、Emphboth CFG-free と CFG- able regime の安定な最適化と優れた視覚および運動品質が示されている。
  論文  参考訳（メタデータ） (2026-10-09T10:11:04Z)
• CoRe: Co-Evolving Reward Models for Mitigating Latent Reward Hacking in Video Diffusion Models [26.18170089909039]
  CoReは、潜在空間アライメントをジェネレータと報酬モデルの間の動的相互作用として扱う共進化型報酬フレームワークである。 Wan2.1-T2V-1.3B では、CoRe が事前訓練されたモデルと事前アライメント法の両方よりも連続的に生成品質を向上させることを示した。
  論文  参考訳（メタデータ） (2026-09-28T20:38:50Z)
• RewardVerse: Rubric-Guided Policy Optimization for Video Reward Modeling [30.036504233085623]
  ビデオ生成モデルの最適化には強化学習が不可欠である。 ビデオ報酬モデルは、複雑な主観的なビデオ品質を直接1つのスコアにマッピングするため、不安定なスカラースコアを生成する。 RewardVerseは,ルーリックベースのビデオ報酬フレームワークである。
  論文  参考訳（メタデータ） (2026-09-19T11:01:14Z)
• Pareto-Guided Optimal Transport for Multi-Reward Alignment [59.776579791864805]
  我々は、不均一な報酬上限の下で、統一されたグローバルターゲットに対して最適化する方法を示す。 我々は、様々な報酬信号特性に合わせたオンラインとオフラインの最適化戦略を開発した。 提案手法は, 関節支配率(JDR)が11%向上し, 人体評価において約80%の勝利率を達成した。
  論文  参考訳（メタデータ） (2026-05-13T08:19:48Z)
• Reward Forcing: Efficient Streaming Video Generation with Rewarded Distribution Matching Distillation [69.57572900337176]
  本稿では,効率的なストリーミングビデオ生成のための新しいフレームワークであるReward Forcingを紹介する。 EMA-Sinkトークンは、長期コンテキストと最近のダイナミクスの両方をキャプチャし、初期フレームコピーを防ぐ。 Re-DMDは、視覚言語モデルにより評価されたより大きなダイナミックスを持つサンプルを優先順位付けすることで、モデル出力分布を高逆領域にバイアスする。
  論文  参考訳（メタデータ） (2025-12-04T11:12:13Z)
• VideoScore2: Think before You Score in Generative Video Evaluation [69.43069741467603]
  VideoScore2は、視覚的品質、テキスト・ツー・ビデオのアライメント、物理的/常識的一貫性を明確に評価する多次元、解釈可能、そして人間によるアライメントフレームワークである。 我々のモデルは、27,168人の注釈付きビデオを含む大規模なデータセットVideoFeedback2で訓練されている。
  論文  参考訳（メタデータ） (2025-09-26T18:09:03Z)
• ReAgent-V: A Reward-Driven Multi-Agent Framework for Video Understanding [71.654781631463]
  ReAgent-Vは、新しいエージェントビデオ理解フレームワークである。 推論中に効率の良いフレーム選択とリアルタイムの報酬生成を統合する。 12のデータセットに対する大規模な実験は、一般化と推論において大きな成果を上げている。
  論文  参考訳（メタデータ） (2025-06-02T04:23:21Z)
• Improving Video Generation with Human Feedback [105.81833319891537]
  我々は,人間のフィードバックを利用して映像生成問題を緩和するシステムパイプラインを開発した。 我々は,多次元ビデオ報酬モデルであるVideoRewardを紹介し,アノテーションと様々なデザイン選択が報奨効果に与える影響について検討する。
  論文  参考訳（メタデータ） (2025-01-23T18:55:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。