論文の概要: Flow-DPPO: Divergence Proximal Policy Optimization for Flow Matching Models

• arxiv url: http://arxiv.org/abs/2606.11025v1
• Date: Tue, 09 Jun 2026 15:59:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-10 15:40:58.598439
• Title: Flow-DPPO: Divergence Proximal Policy Optimization for Flow Matching Models
• Title（参考訳）: Flow-DPPO: フローマッチングモデルのための分岐ポリシー最適化
• Authors: Bowen Ping, Xiangxin Zhou, Penghui Qi, Minnan Luo, Liefeng Bo, Tianyu Pang,
• Abstract要約: 比クリッピングは流れモデルに不適であると主張する。 本稿では,比クリッピングを分岐近位制約に置き換えるFlow-DPPOを提案する。 実験により,フローDPPOはKL近位効率が向上し,高い報酬が得られることが示された。
• 参考スコア（独自算出の注目度）: 61.74572554094633
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent work has demonstrated that online reinforcement learning (RL) can substantially improve the quality and alignment of flow matching models for image and video generation. Methods such as Flow-GRPO and CPS cast the denoising process as a Markov Decision Process and apply PPO-style ratio clipping to enforce a trust region. However, we argue that ratio clipping is structurally ill-suited for flow models: the probability ratio between new and old policies is a noisy, single-sample estimate of the true policy divergence, leading to over-constraining in some regions of the trajectory and under-constraining in others. We propose Flow-DPPO (Flow Divergence Proximal Policy Optimization), which replaces ratio clipping with a divergence proximal constraint. A key observation is that the per-step policy in flow models is Gaussian, enabling exact and cheap computation of the KL divergence between old and new policies. Flow-DPPO employs an asymmetric divergence mask that blocks gradient updates only when they simultaneously move away from the trusted region and violate the divergence threshold. Experiments show that Flow-DPPO achieves higher rewards with better KL-proximal efficiency, alleviates catastrophic forgetting, promotes balanced multi-objective optimization, and enables stable multi-epoch training where ratio clipping degrades. Code and models are available at https://github.com/Tencent-Hunyuan/UniRL/tree/main/FlowDPPO.
• Abstract（参考訳）: 近年の研究では、オンライン強化学習(RL)が、画像およびビデオ生成のためのフローマッチングモデルの品質とアライメントを大幅に改善できることが示されている。 Flow-GRPO や CPS などの手法では、デノナイジングプロセスをマルコフ決定プロセスとしてキャストし、信頼領域を強制するためにPPO型比率クリッピングを適用した。 しかし, 新旧の政策間の確率比は, 真の政策分岐のノイズの多い単一サンプル推定であり, 軌道のいくつかの領域では過度に制約され, その他の領域では過度に制約される。 本稿では,比クリッピングを分岐近位制約に置き換えるFlow-DPPO(Flow Divergence Proximal Policy Optimization)を提案する。 フローモデルにおけるステップごとのポリシーはガウスであり、古いポリシーと新しいポリシーの間のKL分散の正確かつ安価な計算を可能にする。 Flow-DPPOは、信頼された領域から離れ、分岐しきい値に違反する場合のみ、勾配更新をブロックする非対称な分散マスクを使用している。 実験により,Flow-DPPOはKL近位効率が向上し,破滅的忘れを軽減し,バランスの取れた多目的最適化を促進し,クリッピングが低下する安定したマルチエポックトレーニングを可能にした。 コードとモデルはhttps://github.com/Tencent-Hunyuan/UniRL/tree/main/FlowDPPOで公開されている。

関連論文リスト

• Stochastic MeanFlow Policies: One-Step Generative Control with Entropic Mirror Descent [53.828537014796574]
  オンラインの非政治強化学習(RL)は、ポリシークラスと更新ルールの2つの選択肢によって構成されている。 我々は、MeanFlow変換を通じてノイズをアクションにマッピングする一段階生成ポリシークラスであるMeanFlow Policiesを提案する。 7つのMuJoCoベンチマークで、Sは1ステップの推論効率を維持しながら、ガウスおよび生成ベースラインを改善する。
  論文  参考訳（メタデータ） (2026-05-20T15:14:14Z)
• Mean Flow Policy Optimization [30.210126355529372]
  MeanFlowモデルは、数ステップのフローベースの生成モデルのクラスです。 最大エントロピーRLフレームワークでMeanFlowポリシーを最適化する。 MuJoCo と DeepMind Control Suite のベンチマーク実験により,本手法が現在の拡散ベースラインに匹敵する,あるいは超えた性能を達成することを示す。
  論文  参考訳（メタデータ） (2026-04-16T06:59:52Z)
• Rethinking the Trust Region in LLM Reinforcement Learning [72.25890308541334]
  PPO(Proximal Policy Optimization)は、大規模言語モデル(LLM)のデファクト標準アルゴリズムとして機能する。 より原則的な制約でクリッピングを代用する多変量確率ポリシー最適化(DPPO)を提案する。 DPPOは既存の方法よりも優れたトレーニングと効率を実現し、RLベースの微調整のためのより堅牢な基盤を提供する。
  論文  参考訳（メタデータ） (2026-02-04T18:59:04Z)
• Iterative Refinement of Flow Policies in Probability Space for Online Reinforcement Learning [56.47948583452555]
  固定ステップのEulerスキームによるフローマッチング推論プロセスの離散化は,最適輸送から変化するJordan-Kinderlehrer-Otto原理と整合する,というキーインサイトに基づいて,SWFP(Stepwise Flow Policy)フレームワークを紹介した。 SWFPは、大域的な流れを、プロキシメート分布間の小さな漸進的な変換の列に分解する。 この分解は、小さな流れブロックのカスケードを介して事前訓練された流れを微調整する効率的なアルゴリズムを導き、大きな利点をもたらす。
  論文  参考訳（メタデータ） (2025-10-17T07:43:51Z)
• One-Step Flow Policy Mirror Descent [52.31612487608593]
  Flow Policy Mirror Descent (FPMD)は、フローポリシー推論中の1ステップのサンプリングを可能にするオンラインRLアルゴリズムである。 本手法は, 直流整合モデルにおける単段サンプリングの分散分散と離散化誤差の理論的関係を利用する。
  論文  参考訳（メタデータ） (2025-07-31T15:51:10Z)
• Flow Matching Policy Gradients [33.011978450108636]
  フローポリシー最適化は、条件付きフローマッチング損失から計算された利益重み付け比を最大化するものとしてポリシー最適化を推し進める。 FPOは,様々な連続制御タスクにおいて,スクラッチから拡散型ポリシーを訓練できることを示す。 フローベースモデルでは,マルチモーダルな動作分布を捉えることができ,特に未条件条件下でのガウスポリシーよりも高い性能を実現することができる。
  論文  参考訳（メタデータ） (2025-07-28T17:59:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。