論文の概要: VideoAWR: Reinforcing Video Flow Models with Decoupled-Timestep Advantage-Weighted Rectification

• arxiv url: http://arxiv.org/abs/2610.13338v1
• Date: Fri, 09 Oct 2026 10:11:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.520984
• Title: VideoAWR: Reinforcing Video Flow Models with Decoupled-Timestep Advantage-Weighted Rectification
• Title（参考訳）: VideoAWR: 切り離された時間的アドバンテージ重み付けによるビデオフローモデルの強化
• Abstract要約: emphDecoupled Timestep Rectificationを導入し、各ロールアウトを独立にサンプリングした時間ステップで監視し、サンプル効率を向上させる。 Wan2.1-1.3B と 14B の実験では、Emphboth CFG-free と CFG- able regime の安定な最適化と優れた視覚および運動品質が示されている。
• 参考スコア（独自算出の注目度）: 9.064702495472275
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Regression-based RL for flow models mandates sampling \emph{without} classifier-free guidance (CFG) to align the rectification target with the reference marginal velocity. Extending Advantage-Weighted Rectification (AWR), which dynamically scales this regression target based on reward, to video generation encounters a cold-start pathology: unguided rollouts collapse into low-fidelity regions where intra-group reward gaps remain wide but no longer track perceptual quality, rendering the optimization target arbitrary. Conversely, utilizing guided rollouts to restore fidelity, while keeping the regression target tied to the guided sampling distribution, provably triggers a geometric guidance blow-up under exponential-moving-average (EMA) updates. We propose \textbf{VideoAWR}, which resolves this tension by untying sampling from the optimization anchor. An EMA reference policy generates \emph{guided} rollouts to restore reward separability, while the trainable policy is rectified against the \emph{unguided} conditional anchor. We prove this decoupled objective is mathematically exact: the centered advantage cancels the anchor in expectation, filtering out the reward-neutral guidance offset and retaining only the reward-correlated covariance increment. Consequently, inference runs single-branch and CFG-free, yet inference-time CFG preserves its original semantics. Furthermore, we introduce \emph{Decoupled Timestep Rectification}, supervising each rollout at an independently sampled timestep without bias to improve sample efficiency. Experiments on Wan2.1-1.3B and 14B demonstrate stable optimization and superior visual and motion quality in \emph{both} CFG-free and CFG-enabled regimes. Code is available at \pdfstartlink attr{/Border [0 0 0]} user{/Subtype /Link /A << /S /URI /URI (https://github.com/Fuzm7/FlowAWR) >>}% \textcolor{pearDark}{VideoAWR}\pdfendlink.
• Abstract（参考訳）: 流れモデルに対する回帰ベースのRLは、補正対象を基準限界速度と整合させるため、サンプリング \emph{without} classifier-free guidance (CFG) を割り当てる。 報酬に基づいてこの回帰目標を動的にスケールするアドバンテージ・ウェイト・リクティフィケーション(AWR)を拡張することで、ビデオ生成はコールドスタートの病理に遭遇する。 逆に、ガイドされたロールアウトを利用して忠実性を回復し、ガイドされたサンプリング分布に関連付けられた回帰目標を維持しながら、指数移動平均更新(EMA)の下で幾何的ガイダンスのブローアップを確実にトリガーする。 最適化アンカーからのサンプリングをアンカーからアンカーにアンカーをアンカーからアンカーにアンカーをアンカーすることで,このテンションを解消する。 EMA参照ポリシーは、報酬分離性を回復するために \emph{guided} ロールアウトを生成し、トレーニング可能なポリシーは \emph{unguided} 条件アンカーに対して修正される。 中心的優位性は期待においてアンカーをキャンセルし、報酬ニュートラル誘導オフセットをフィルタリングし、報酬関連共分散インクリメントのみを保持する。 その結果、推論は単一ブランチとCFGを含まないが、推論時CFGは元のセマンティクスを保存する。 さらに, サンプル効率を向上させるために, 個別のサンプリングタイムステップで各ロールアウトを監督する \emph{Decoupled Timestep Rectification} を導入する。 Wan2.1-1.3B と 14B の実験では、 CFG フリーおよび CFG 対応レジームにおいて、安定した最適化と優れた視覚的および運動的品質が示されている。 pdfstartlink attr{/Border [0 0]} user{/Subtype /Link /A <</S /URI /URI (https://github.com/Fuzm7/FlowAWR) >>}% \textcolor{pearDark}{VideoAWR}\pdfendlink.com/Fuzm7/FlowAWR) >>}% \textcolor{pearDark}{VideoAWR}\pdfendlink。

関連論文リスト

• ReNFT: Repairing Mode Collapse in Reward Post-Training via Internal Probability-Mass Recalibration [84.10540890311843]
  再学習後、必然的に確率質量をいくつかの報奨モード、即時多様性を消去するモード崩壊に集中させる。 本稿では、内部の確率質量再校正により、高逆低ダイバーシティアダプタを修復するReNFTを提案する。 PickScoreとGenEvalでは、ReNFTはNFTの報酬の98.9%と99.0%を保持し、DreamSim-Divは58.8%、55.0%改善している。
  論文  参考訳（メタデータ） (2026-08-30T14:13:50Z)
• Sample-Adaptive Latent Rewards for Uncertainty-Guided Diffusion Post-Training [51.18425726646089]
  我々は、画像とビデオの拡散モデルのための統合潜在空間フレームワークであるtextscSUREを提案する。 報酬分布を学習し、信頼性を直接利用して、密集したポストトレーニングをガイドする。 textscSURE-REFLは評価手法の中で最も高いVBench品質、セマンティック、総得点を達成する。
  論文  参考訳（メタデータ） (2026-08-06T14:55:42Z)
• Convex-Hull-Neighborhood Smooth Dual Generalization: Controlling Local Correction Propagation in Offline RL [7.803284875836737]
  ブートストラップは オフライン強化学習における 推定誤差を増幅する 本稿では,ベルマンのバックアップをサンプル値のターゲットとして表現し,CHN局所補正を行うConvex Hull Neborhood Smooth Dual Generalizationを提案する。 Gym-MuJoCoとAntMazeの実験は、強力な集約性能と安定した値推定を示す。
  論文  参考訳（メタデータ） (2026-08-04T04:30:02Z)
• NormGuard: Reward-Preserving Norm Constraints in Flow-Matching Reinforcement Learning [42.29085249260694]
  強化学習(RL)は、フローベースジェネレータの報酬アライメントを改善するが、しばしば知覚品質を低下させる。 3つのポストトレーニング法(NFT, AWM, DPO)にまたがるこのドリフトの単純な構造的シグネチャを同定する。 RLファインチューニングは、基準に対してステップごとの速度ノルムを$|v_|$で$5%から$5%$で膨らませる。
  論文  参考訳（メタデータ） (2026-06-26T06:56:54Z)
• Retrieval-Warmed Energy-Based Reasoning: A Five-Arm Ablation Methodology for Diffusion-as-Inference on Structured Reasoning Tasks [7.954260884574662]
  textbfwarmretrieval-ed energy-based reasoning (RW-EBR) - IREDエネルギーベース拡散モデル。 We study textbfwarmretrieval-ed energy-based reasoning (RW-EBR) -- a IRED energy-based diffusion model。 We study textbfwarmretrieval-ed energy-based reasoning (RW-EBR) -- a IRED energy-based diffusion model。
  論文  参考訳（メタデータ） (2026-06-25T00:28:08Z)
• Diffusion Reinforcement Learning via Centered Reward Distillation [35.979608265594685]
  フォワードプロセス微細チューニング上に構築されたKL正規化報酬モデルから導出した拡散RLフレームワークである textbf Reward Distillation (CRD) を提案する。 信頼性の高いテキスト・画像の微調整を可能にするため,分布のドリフトを明示的に制御する手法を提案する。 textttGenEval と textttOCR rewards によるテキスト・ツー・イメージのポストトレーニング実験では、競合する SOTA の報酬最適化が高速収束と報酬ハッキングの好みの低減をもたらすことが示された。
  論文  参考訳（メタデータ） (2026-03-14T21:29:33Z)
• DARC: Disagreement-Aware Alignment via Risk-Constrained Decoding [59.16244104797919]
  本稿では,リスク制約付き復号法(DARC)*による分散アライメント(Disagreement-Aware Alignment)を提案する。 DARCは応答選択を、分布的に堅牢で、リスクに敏感な意思決定として捉えている。 アライメントベンチマークの実験では、DARCは競合平均品質を維持しながら、不一致と尾のリスクを低減する。
  論文  参考訳（メタデータ） (2026-03-09T09:21:29Z)
• Score-Guided Proximal Projection: A Unified Geometric Framework for Rectified Flow Editing [1.0312968200748118]
  Rectified Flowモデルは最先端の世代品質を実現するが、正確なタスクのためにそれらを制御することは依然として困難である。 現在のアプローチは「幾何学的ロック」に苦しむ逆法に基づくガイダンスに分岐する Score-Guided Proximal Projectionは,決定論的最適化と縮尺サンプリングのギャップを埋める統一フレームワークである。
  論文  参考訳（メタデータ） (2026-03-05T23:44:45Z)
• Normalized Attention Guidance: Universal Negative Guidance for Diffusion Models [57.20761595019967]
  注意空間にL1をベースとした正規化・精細化を施した,効率的かつトレーニング不要な機構である正規化注意誘導(NAG)を提案する。 NAGは、CFGが忠実性を維持しながら崩壊する効果的な負のガイダンスを復元する。 NAGはアーキテクチャ(UNet、DiT)、サンプリングレシスタンス(複数ステップ、複数ステップ)、モダリティ(イメージ、ビデオ)をまたいで一般化する
  論文  参考訳（メタデータ） (2025-05-27T13:30:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。