論文の概要: Online Reward-Weighted Fine-Tuning of Flow Matching with Wasserstein Regularization

• arxiv url: http://arxiv.org/abs/2502.06061v1
• Date: Sun, 09 Feb 2025 22:45:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-11 14:36:35.334591
• Title: Online Reward-Weighted Fine-Tuning of Flow Matching with Wasserstein Regularization
• Title（参考訳）: ワッサーシュタイン正則化による流れマッチングのオンライン逆方向微調整
• Authors: Jiajun Fan, Shuaike Shen, Chaoran Cheng, Yuxin Chen, Chumeng Liang, Ge Liu,
• Abstract要約: 本稿では,フローベース生成モデルのための,使いやすく,理論的に健全な微調整法を提案する。 提案手法は,オンライン報酬重み付け機構を導入することにより,データ多様体内の高次領域の優先順位付けをモデルに導出する。 本手法は,報酬と多様性のトレードオフを制御可能とし,最適な政策収束を実現する。
• 参考スコア（独自算出の注目度）: 14.320131946691268
• License:
• Abstract: Recent advancements in reinforcement learning (RL) have achieved great success in fine-tuning diffusion-based generative models. However, fine-tuning continuous flow-based generative models to align with arbitrary user-defined reward functions remains challenging, particularly due to issues such as policy collapse from overoptimization and the prohibitively high computational cost of likelihoods in continuous-time flows. In this paper, we propose an easy-to-use and theoretically sound RL fine-tuning method, which we term Online Reward-Weighted Conditional Flow Matching with Wasserstein-2 Regularization (ORW-CFM-W2). Our method integrates RL into the flow matching framework to fine-tune generative models with arbitrary reward functions, without relying on gradients of rewards or filtered datasets. By introducing an online reward-weighting mechanism, our approach guides the model to prioritize high-reward regions in the data manifold. To prevent policy collapse and maintain diversity, we incorporate Wasserstein-2 (W2) distance regularization into our method and derive a tractable upper bound for it in flow matching, effectively balancing exploration and exploitation of policy optimization. We provide theoretical analyses to demonstrate the convergence properties and induced data distributions of our method, establishing connections with traditional RL algorithms featuring Kullback-Leibler (KL) regularization and offering a more comprehensive understanding of the underlying mechanisms and learning behavior of our approach. Extensive experiments on tasks including target image generation, image compression, and text-image alignment demonstrate the effectiveness of our method, where our method achieves optimal policy convergence while allowing controllable trade-offs between reward maximization and diversity preservation.
• Abstract（参考訳）: 近年の強化学習(RL)の進歩は、微調整拡散に基づく生成モデルにおいて大きな成功を収めている。 しかしながら、任意のユーザ定義の報酬関数に合わせるための微調整された連続フローベース生成モデルは、特に過度な最適化による政策崩壊や、連続時間フローにおける可能性の違法な計算コストなどの問題により、依然として困難である。 本稿では,Wasserstein-2 正規化 (ORW-CFM-W2) を用いたオンライン逆重み付き条件付き流れマッチング (Online Reward-Weighted Conditional Flow Matching with Wasserstein-2 Regularization,ORW-CFM-W2) を提案する。 提案手法はRLをフローマッチングフレームワークに統合し,任意の報酬関数を持つモデルを生成する。 オンライン報酬重み付け機構を導入することにより,本手法はデータ多様体における高次領域の優先順位付けをモデルに導出する。 政策崩壊の防止と多様性の維持を目的として,ワッサースタイン2 (W2) 距離正規化を本手法に組み込み,フローマッチングにおいてトラクタブルな上限を導出し,政策最適化の探索と活用の効果的なバランスをとる。 提案手法の収束特性と帰納データ分布を示す理論的解析を行い,KL(Kulback-Leibler)正則化を特徴とする従来のRLアルゴリズムとの接続を確立するとともに,提案手法の基盤となるメカニズムと学習行動をより包括的に理解する。 目標画像生成,画像圧縮,テキスト画像アライメントなどのタスクに対する大規模な実験により,報奨最大化と多様性保全のトレードオフを制御可能とし,最適なポリシー収束を実現する方法の有効性が示された。

関連論文リスト

• CDSA: Conservative Denoising Score-based Algorithm for Offline Reinforcement Learning [25.071018803326254]
  オフラインの強化学習において、分散シフトは大きな障害である。 以前の保守的なオフラインRLアルゴリズムは、目に見えないアクションに一般化するのに苦労した。 本稿では、事前学習したオフラインRLアルゴリズムから生成されたデータセット密度の勾配場を用いて、元の動作を調整することを提案する。
  論文  参考訳（メタデータ） (2024-06-11T17:59:29Z)
• Diffusion-based Reinforcement Learning via Q-weighted Variational Policy Optimization [55.97310586039358]
  拡散モデルは強化学習(Reinforcement Learning, RL)において、その強力な表現力と多モード性に対して広く注目を集めている。 モデルなし拡散に基づくオンラインRLアルゴリズムQ-weighted Variational Policy Optimization (QVPO)を提案する。 具体的には、ある条件下でのオンラインRLにおける政策目標の厳密な下限を証明できるQ重み付き変動損失を導入する。 また,オンラインインタラクションにおける拡散ポリシのばらつきを低減し,サンプル効率を向上させるための効率的な行動ポリシーも開発している。
  論文  参考訳（メタデータ） (2024-05-25T10:45:46Z)
• Offline Policy Optimization in RL with Variance Regularizaton [142.87345258222942]
  定常分布補正を用いたオフラインRLアルゴリズムの分散正則化を提案する。 Fenchel双対性を用いることで、分散正規化器の勾配を計算するための二重サンプリング問題を回避することができることを示す。 オフライン分散正規化アルゴリズム(OVAR)は,既存のオフラインポリシー最適化アルゴリズムを拡張できる。
  論文  参考訳（メタデータ） (2022-12-29T18:25:01Z)
• Diffusion Policies as an Expressive Policy Class for Offline Reinforcement Learning [70.20191211010847]
  オフライン強化学習(RL)は、以前に収集した静的データセットを使って最適なポリシーを学ぶことを目的としている。 本稿では,条件付き拡散モデルを用いたディフュージョンQ-ラーニング(Diffusion-QL)を提案する。 本手法はD4RLベンチマークタスクの大部分において最先端の性能を実現することができることを示す。
  論文  参考訳（メタデータ） (2022-08-12T09:54:11Z)
• Model-Free Learning of Optimal Deterministic Resource Allocations in Wireless Systems via Action-Space Exploration [4.721069729610892]
  本稿では,最適パラメータ化資源割り当てポリシーを効率的に学習するための,技術的基盤と拡張性のある2次元勾配法を提案する。 提案手法は, 深層ネットワークなどの一般的な普遍表現の勾配を効率よく活用するだけでなく, 低次元摂動により構築された関連するランダムネットワークサービスのゼロ階勾配近似を一貫したゼロ階勾配近似に頼っているため, 真のモデルフリーである。
  論文  参考訳（メタデータ） (2021-08-23T18:26:16Z)
• COMBO: Conservative Offline Model-Based Policy Optimization [120.55713363569845]
  ディープニューラルネットワークのような複雑なモデルによる不確実性推定は困難であり、信頼性が低い。 我々は,サポート外状態動作の値関数を正規化するモデルベースオフラインRLアルゴリズムCOMBOを開発した。 従来のオフラインモデルフリーメソッドやモデルベースメソッドと比べて、comboは一貫してパフォーマンスが良いことが分かりました。
  論文  参考訳（メタデータ） (2021-02-16T18:50:32Z)
• Pareto Deterministic Policy Gradients and Its Application in 5G Massive MIMO Networks [32.099949375036495]
  我々は,強化学習(RL)アプローチを用いて,セルロードバランスとネットワークスループットを協調的に最適化することを検討する。 RLの背景にある理論的根拠は、ユーザモビリティとネットワークのダイナミクスを解析的にモデル化することの難しさを回避することである。 この共同最適化を実現するために、ベクトル報酬をRL値ネットワークに統合し、別々のポリシーネットワークを介してRLアクションを実行する。
  論文  参考訳（メタデータ） (2020-12-02T15:35:35Z)
• Policy Gradient Methods for the Noisy Linear Quadratic Regulator over a Finite Horizon [3.867363075280544]
  線形2次レギュレータ(LQR)問題における最適ポリシーを見つけるための強化学習法について検討する。 我々は、有限時間地平線と弱い仮定の下での状態ダイナミクスの設定に対する大域的線形収束を保証する。 基礎となるダイナミクスのモデルを仮定し、データに直接メソッドを適用する場合の結果を示す。
  論文  参考訳（メタデータ） (2020-11-20T09:51:49Z)
• MOPO: Model-based Offline Policy Optimization [183.6449600580806]
  オフライン強化学習(英語: offline reinforcement learning, RL)とは、以前に収集された大量のデータから完全に学習ポリシーを学習する問題を指す。 既存のモデルベースRLアルゴリズムは,すでにオフライン設定において大きな利益を上げていることを示す。 本稿では,既存のモデルに基づくRL法を,力学の不確実性によって人為的に罰せられる報酬で適用することを提案する。
  論文  参考訳（メタデータ） (2020-05-27T08:46:41Z)
• Mixed Reinforcement Learning with Additive Stochastic Uncertainty [19.229447330293546]
  強化学習 (Reinforcement Learning, RL) 法は、しばしば最適なポリシーを探索するための大規模な探索データに依存し、サンプリング効率の低下に悩まされる。 本稿では, 環境力学の2つの表現を同時に利用して, 最適ポリシーを探索する混合RLアルゴリズムを提案する。 混合RLの有効性は、非アフィン非線形系の典型的な最適制御問題によって実証される。
  論文  参考訳（メタデータ） (2020-02-28T08:02:34Z)
• Nested-Wasserstein Self-Imitation Learning for Sequence Generation [158.19606942252284]
  分布意味マッチングのためのネスト・ワッサーシュタイン距離の概念を提案する。 ネストされたワッサーシュタインの自己想像学習フレームワークを開発し、歴史ある高次列を利用するようモデルに奨励する。
  論文  参考訳（メタデータ） (2020-01-20T02:19:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。