論文の概要: Designing Reinforcement Learning for Diffusion Models: A Unified Path-Space View
- arxiv url: http://arxiv.org/abs/2608.14430v1
- Date: Fri, 14 Aug 2026 16:11:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-17 20:14:29.43947
- Title: Designing Reinforcement Learning for Diffusion Models: A Unified Path-Space View
- Title（参考訳）: 拡散モデルのための強化学習の設計:統一された経路空間ビュー
- Abstract要約: 強化学習のポストトレーニングは、拡散モデルを人間の好みやタスク固有の報酬と整合させる方法を提供する。
現在の拡散モデルのRLアルゴリズムは断片化されている。
本稿は, 一つの経路空間原理から, 一見異なる損失が生じることを示す。
- 参考スコア（独自算出の注目度）: 17.57225063689823
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reinforcement learning (RL) post-training provides a direct way to align diffusion models with human preferences and task-specific rewards. However, current RL algorithms for diffusion models remain fragmented: reverse-trajectory methods rely on discretized likelihood ratios, whereas forward-matching methods train on reward-labeled noising versions of the rollout samples. This paper shows that these seemingly different losses arise from a single path-space principle. Starting from the regularized diffusion-RL objective, we use importance sampling between sampling SDEs to obtain an explicit policy-gradient estimator on trajectory space. The estimator contains the stochastic Itô integral underlying Flow-GRPO-type updates; we derive an equivalent variance-reduced value-gradient form that recovers the forward-matching structure of AWM and DiffusionNFT. This identifies the empirical gap between these method families as a variance-reduction effect rather than a difference in RL principle. The derivation yields a unified design space organized by value-gradient estimation, weight functions, and sampling choices. Within this space, we propose a multi-sample KDE value-gradient estimator that reuses rollout groups, together with scale-bounded weight families that retain stable existing recipes while excluding singular ones. Experiments on SD3.5-M and Qwen-Image models validate the variance-reduction explanation and show that the resulting recipe improves over prior diffusion-RL baselines.
- Abstract（参考訳）: 強化学習(Reinforcement Learning、RL)は、拡散モデルと人間の好みやタスク固有の報酬とを一致させる直接的な手段を提供する。
しかし、現在の拡散モデルのRLアルゴリズムは断片的であり、逆軌道法は離散化確率比に依存し、フォワードマッチング法はロールアウトサンプルの報酬ラベル付きノイズ付けバージョンを訓練する。
本稿は, 一つの経路空間原理から, 一見異なる損失が生じることを示す。
正規化拡散-RLの目的から、SDEのサンプリングにおける重要サンプリングを用いて、軌道空間上の明示的なポリシー勾配推定器を得る。
本研究では,AWM と DiffusionNFT の前方マッチング構造を復元する等価な分散還元値勾配形式を導出する。
このことは、これらの方法族間の経験的ギャップを、RL原理の違いよりも分散還元効果として識別する。
導出により、値勾配推定、重み関数、サンプリング選択によって構成された統一設計空間が得られる。
この空間内では、ロールアウトグループを再利用するマルチサンプルKDE値勾配推定器と、安定な既存のレシピを保ちながら特異なレシピを除外するスケールバウンドな重み付きファミリーを提案する。
SD3.5-MおよびQwen-Imageモデルを用いた実験は、分散還元の説明を検証し、得られたレシピが以前の拡散-RLベースラインよりも改善することを示す。
関連論文リスト
- Inference-Time Alignment of Diffusion Models via Trust-Region Iterative Twisted Sequential Monte Carlo [15.105260031413698]
拡散に基づく生成モデルの推論時間アライメントについて検討する。
SMCに基づく推論時間アライメントにおけるツイスト機能学習のための信頼領域フレームワークを提案する。
論文 参考訳（メタデータ） (2026-05-24T15:08:52Z) - DiffusionOPD: A Unified Perspective of On-Policy Distillation in Diffusion Models [55.01951088768769]
DiffusionOPDはオンライン政策蒸留(OPD)に基づく拡散モデルのための新しいマルチタスクトレーニングパラダイムである
本研究では,DiffusionOPDがトレーニング効率と最終性能において,マルチリワードRLとカスケードRLのベースラインを一貫して上回っていることを示す。
論文 参考訳（メタデータ） (2026-05-14T16:49:09Z) - Entropy-Based Dimension-Free Convergence and Loss-Adaptive Schedules for Diffusion Models [3.2091923314854416]
学習スコア(またはデノイザー)によって駆動される逆時間ダイナミクスを離散化することで拡散生成モデルがサンプルを合成する
我々は、幾何学的仮定を避けるために、次元自由収束に対する情報理論的アプローチを開発する。
また、逆SDEの効率的な離散化のための損失適応スケジュール(LAS)を提案し、これは軽量であり、訓練損失のみに依存している。
論文 参考訳（メタデータ） (2026-01-29T16:28:21Z) - G$^2$RPO: Granular GRPO for Precise Reward in Flow Models [74.21206048155669]
本稿では,サンプリング方向の高精度かつ包括的な報酬評価を実現する新しいグラニュラー-GRPO(G$2$RPO)フレームワークを提案する。
複数の拡散スケールで計算された利点を集約するマルチグラニュラリティ・アドバンテージ・インテグレーション・モジュールを導入する。
G$2$RPOは既存のフローベースGRPOベースラインを著しく上回る。
論文 参考訳（メタデータ） (2025-10-02T12:57:12Z) - Training-Free Stein Diffusion Guidance: Posterior Correction for Sampling Beyond High-Density Regions [46.59494117137471]
自由拡散誘導の訓練は、追加の訓練なしに既成の分類器を活用する柔軟な方法を提供する。
本稿では,SOC を対象とする新たなトレーニングフリーフレームワークである Stein Diffusion Guidance (SDG) を紹介する。
分子低密度サンプリングタスクの実験は、SDGが標準のトレーニングフリーガイダンス手法を一貫して上回っていることを示唆している。
論文 参考訳（メタデータ） (2025-07-07T21:14:27Z) - DIVE: Inverting Conditional Diffusion Models for Discriminative Tasks [79.50756148780928]
本稿では,事前学習した拡散モデルを用いて識別課題を遂行する問題について検討する。
我々は、事前学習されたレイアウト・ツー・イメージ拡散モデルの「反転」により、事前学習した凍結生成拡散モデルの識別能力を分類タスクからより複雑なオブジェクト検出タスクに拡張する。
論文 参考訳（メタデータ） (2025-04-24T05:13:27Z) - Amortized Posterior Sampling with Diffusion Prior Distillation [55.03585818289934]
Amortized Posterior Smplingは、逆問題における効率的な後方サンプリングのための新しい変分推論手法である。
本手法は,拡散モデルにより暗黙的に定義された変動分布と後続分布とのばらつきを最小限に抑えるために条件付き流れモデルを訓練する。
既存の手法とは異なり、我々のアプローチは教師なしであり、ペア化されたトレーニングデータを必要としておらず、ユークリッドと非ユークリッドの両方のドメインに適用できる。
論文 参考訳（メタデータ） (2024-07-25T09:53:12Z) - Understanding Reinforcement Learning-Based Fine-Tuning of Diffusion Models: A Tutorial and Review [63.31328039424469]
このチュートリアルは、下流の報酬関数を最適化するための微調整拡散モデルのための方法を網羅的に調査する。
PPO,微分可能最適化,報酬重み付きMLE,値重み付きサンプリング,経路整合性学習など,様々なRLアルゴリズムの適用について説明する。
論文 参考訳（メタデータ） (2024-07-18T17:35:32Z) - Improved off-policy training of diffusion samplers [93.66433483772055]
本研究では,非正規化密度やエネルギー関数を持つ分布からサンプルを抽出する拡散モデルの訓練問題について検討する。
シミュレーションに基づく変分法や非政治手法など,拡散構造推論手法のベンチマークを行った。
我々の結果は、過去の研究の主張に疑問を投げかけながら、既存のアルゴリズムの相対的な利点を浮き彫りにした。
論文 参考訳（メタデータ） (2024-02-07T18:51:49Z) - Towards Controllable Diffusion Models via Reward-Guided Exploration [15.857464051475294]
強化学習(RL)による拡散モデルの学習段階を導く新しい枠組みを提案する。
RLは、政策そのものではなく、指数スケールの報酬に比例したペイオフ分布からのサンプルによる政策勾配を計算することができる。
3次元形状と分子生成タスクの実験は、既存の条件拡散モデルよりも大幅に改善されている。
論文 参考訳（メタデータ） (2023-04-14T13:51:26Z) - Reflected Diffusion Models [93.26107023470979]
本稿では,データのサポートに基づいて進化する反射微分方程式を逆転する反射拡散モデルを提案する。
提案手法は,一般化されたスコアマッチング損失を用いてスコア関数を学習し,標準拡散モデルの主要成分を拡張する。
論文 参考訳（メタデータ） (2023-04-10T17:54:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。