論文の概要: AdvantageFlow: Advantage-Weighted Least Squares for RL in Flow Models
- arxiv url: http://arxiv.org/abs/2605.26013v1
- Date: Mon, 25 May 2026 16:32:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-26 19:50:20.47149
- Title: AdvantageFlow: Advantage-Weighted Least Squares for RL in Flow Models
- Title（参考訳）: アドバンテージフロー:フローモデルにおけるRLのアドバンテージ重み付き最小方形
- Authors: Branislav Kveton, Anup Rao, Subhojyoti Mukherjee, Krishna Kumar Singh, Viet Dac Lai,
- Abstract要約: 本稿では,フローモデルのための前処理強化学習アルゴリズムAdvantageFlowを紹介する。
安定フロー分布問題と負重み付きフォワードプロセスロールアウト問題の両方より優れている。
- 参考スコア（独自算出の注目度）: 40.59875635804566
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: We introduce AdvantageFlow, a forward-process reinforcement learning algorithm for rectified flow models. Unlike Flow-GRPO, which optimizes the reverse process, we optimize an advantage-weighted forward-process prediction loss. This optimization problem is unstable when advantages are negative and the loss becomes non-convex. We stabilize it by rollout policy regularization, which reduces variance and arises from fitting a local reward-improving target distribution. We evaluate AdvantageFlow on image generation tasks with Stable Diffusion 3.5 Medium. It outperforms both Flow-GRPO and a state-of-the-art forward-process RL baseline based on negative-aware fine-tuning.
- Abstract（参考訳）: 本稿では,修正フローモデルのための前処理強化学習アルゴリズムAdvantageFlowを紹介する。
逆処理を最適化するFlow-GRPOとは異なり、有利な前処理予測損失を最適化する。
この最適化問題は、利点が負の場合に不安定であり、損失は非凸となる。
我々は、分散を低減し、局所的な報酬改善目標分布の適合から生じるポリシー正則化をロールアウトすることで、これを安定化する。
安定拡散3.5媒体を用いた画像生成におけるアドバンテージフローの評価を行った。
Flow-GRPOと、ネガティブな微調整に基づく最先端のRLベースラインの両方を上回ります。
関連論文リスト
- Stabilizing, Scaling & Enhancing MeanFlow for Large-scale Diffusion Distillation [37.28053263183048]
拡散モデルは顕著な生成能力を示すが、その高いレイテンシは実用的なデプロイメントを制限する。
MeanFlowはその簡潔な定式化と顕著なパフォーマンスのために、かなりの注目を集めている。
本稿では,MeanFlowの微分解を離散解に置き換えるウォームアップ手法を提案する。
論文 参考訳（メタデータ） (2026-05-18T04:16:15Z) - Efficient Tail-Aware Generative Optimization via Flow Model Fine-Tuning [40.79705260303773]
下流のユーティリティを最適化するための微調整済みの拡散とフローモデルが、現実のデプロイメントの中心である。
CVaR(Conditional Value-at-Risk)に基づく,原理的かつ効率的な分散微調整アルゴリズムTFFTを提案する。
論文 参考訳（メタデータ） (2026-02-18T19:00:59Z) - DeFlow: Decoupling Manifold Modeling and Value Maximization for Offline Policy Extraction [4.558338633638409]
本稿では、フローマッチングを利用して複雑な振る舞い多様体を忠実にキャプチャする、分離されたオフラインRLフレームワークであるDeFlowを紹介する。
フロー多様体の明示的でデータ由来の信頼領域内で,軽量な精細化モジュールを学習することにより,この問題に対処する。
DeFlowは、挑戦的なOGBenchベンチマークで優れたパフォーマンスを実現し、オフラインからオンラインへの効率的な適応を実証している。
論文 参考訳（メタデータ） (2026-01-15T14:56:57Z) - Flow-GRPO: Training Flow Matching Models via Online RL [80.62659379624867]
本稿では,オンライン政策強化学習をフローマッチングモデルに統合する最初の方法であるFlow-GRPOを提案する。
提案手法では,(1)決定論的正規微分方程式を同値な微分方程式に変換するODE-to-SDE変換と,(2)推論ステップの数を維持しながらトレーニングの段階を短縮するDenoising Reduction戦略の2つの主要な戦略を用いる。
論文 参考訳（メタデータ） (2025-05-08T17:58:45Z) - Guided Flows for Generative Modeling and Decision Making [55.42634941614435]
その結果,ガイドフローは条件付き画像生成やゼロショット音声合成におけるサンプル品質を著しく向上させることがわかった。
特に、我々は、拡散モデルと比較して、オフライン強化学習設定axスピードアップにおいて、まず、計画生成にフローモデルを適用する。
論文 参考訳（メタデータ） (2023-11-22T15:07:59Z) - GMFlow: Learning Optical Flow via Global Matching [124.57850500778277]
光フロー推定学習のためのGMFlowフレームワークを提案する。
機能拡張のためのカスタマイズトランスフォーマー、グローバル機能マッチングのための相関層とソフトマックス層、フロー伝搬のための自己保持層である。
我々の新しいフレームワークは、挑戦的なSintelベンチマークにおいて、32項目RAFTのパフォーマンスより優れています。
論文 参考訳（メタデータ） (2021-11-26T18:59:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。