論文の概要: Elucidating the Design Space of Regression-based Diffusion Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2609.33444v1
• Date: Sun, 27 Sep 2026 10:52:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-05 16:49:41.799776
• Title: Elucidating the Design Space of Regression-based Diffusion Reinforcement Learning
• Title（参考訳）: 回帰型拡散強化学習の設計空間の解明
• Abstract要約: DiffusionNFT、FlowAWR、RAMは対照的なモチベーションを持つ代表的なシステムである。 それぞれが1つの発散制約付き報酬最大化問題の解であることを示す。 さらに, 設計空間を実験的に検討し, 回帰式拡散RLのトレーニングレシピに光を当てた。
• 参考スコア（独自算出の注目度）: 1.3691259265943945
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A nascent family of methods that forgoes the policy gradient and reweights a supervised regression instead has garnered momentum in reinforcement learning for diffusion and flow models. DiffusionNFT, FlowAWR, and RAM are representative regimes with contrasting motivations. It is yet opaque what, if anything, they share. We substantiate that each is the solution of one divergence-constrained reward-maximization problem, and they are differentiated only by the convex generator that defines the constraint. Under the unified modeling framework, we unravel the relaxations that prior art made during building the advantage-embedded regression target: approximating the KKT condition and posterior normalizer for the linear and exponential tilt shapes DiffusionNFT and FlowAWR respectively, while preserving the exact sparsemax projection onto the probability simplex for linear tilt leads to another superior model type in this work. Beyond the theoretical underpinnings, we further empirically investigate the design space and shed light on the training recipe for regression-style diffusion RL. Retaining the merits discovered during our exploration gives rise to DiffusionRFT, our paradigm that converges faster, trains more stably, and attains the top performance.
• Abstract（参考訳）: 政策勾配を抑え、監督された回帰を重み付けする手法は、拡散と流れモデルのための強化学習において勢いを増している。 DiffusionNFT、FlowAWR、RAMは対照的なモチベーションを持つ代表的なシステムである。 彼らが何を共有しているのかは、まだ不透明だ。 それぞれが分散制約付き報酬最大化問題の解であり、制約を定義する凸発生器によってのみ微分される。 線形傾き形状に対するKKT条件と後方正規化器をそれぞれ近似し, 線形傾きの確率単純度に対する正確なスパースマックス投影を保ちながら, 線形傾き形状と指数傾き形状に対するKKT条件と後方正規化器の近似を行う。 理論的基盤の他に,設計空間を実験的に検討し,回帰式拡散RLのトレーニングレシピに光を当てる。 DiffusionRFTは、より早く収束し、より安定してトレーニングし、最高のパフォーマンスを達成するためのパラダイムです。

関連論文リスト

• Designing Reinforcement Learning for Diffusion Models: A Unified Path-Space View [17.57225063689823]
  強化学習のポストトレーニングは、拡散モデルを人間の好みやタスク固有の報酬と整合させる方法を提供する。 現在の拡散モデルのRLアルゴリズムは断片化されている。 本稿は, 一つの経路空間原理から, 一見異なる損失が生じることを示す。
  論文  参考訳（メタデータ） (2026-08-14T16:11:55Z)
• P-Flow: Proxy-gradient Flows for Linear Inverse Problems [28.438072266272954]
  P-Flowは、プロキシ勾配を利用してソースポイントを更新することで、再構築プロセスを安定化するフレームワークである。 さまざまな復元タスクに対する実験は、P-Flowが競争力のあるパフォーマンスを提供することを示している。
  論文  参考訳（メタデータ） (2026-05-08T17:07:36Z)
• MAR-GRPO: Stabilized GRPO for AR-diffusion Hybrid Image Generation [24.618644100413018]
  強化学習(RL)は自己回帰(AR)と拡散モデルにうまく応用されている。 RLをハイブリッドAR拡散フレームワークに拡張することは、インターリーブ推論とノイズの多いログ確率推定のために依然として難しい。 本研究では,マスク付き自己回帰モデル(MAR)について検討し,拡散ヘッドが運動学のトレーニングにおいて重要な役割を担っていることを示す。
  論文  参考訳（メタデータ） (2026-04-08T11:30:35Z)
• Enhancing Diffusion-based Restoration Models via Difficulty-Adaptive Reinforcement Learning with IQA Reward [93.04811239892852]
  強化学習(Reinforcement Learning, RL)は近年, 拡散モデルに組み入れられている。 本稿では,拡散型修復モデルにRLを効果的に組み込む方法について検討する。
  論文  参考訳（メタデータ） (2025-11-03T14:57:57Z)
• Training-Free Stein Diffusion Guidance: Posterior Correction for Sampling Beyond High-Density Regions [46.59494117137471]
  自由拡散誘導の訓練は、追加の訓練なしに既成の分類器を活用する柔軟な方法を提供する。 本稿では,SOC を対象とする新たなトレーニングフリーフレームワークである Stein Diffusion Guidance (SDG) を紹介する。 分子低密度サンプリングタスクの実験は、SDGが標準のトレーニングフリーガイダンス手法を一貫して上回っていることを示唆している。
  論文  参考訳（メタデータ） (2025-07-07T21:14:27Z)
• Half-order Fine-Tuning for Diffusion Model: A Recursive Likelihood Ratio Optimizer [16.103949557802988]
  確率拡散モデル(DM)は、連鎖構造を通して推論することで内容を生成する。 現代の手法は強化学習 (RL) と切り離されたバックプロパゲーション (BP) に基づいている DMのためのRLR(Recursive Likelihood Ratio)ファインチューニングパラダイムを提案する。
  論文  参考訳（メタデータ） (2025-02-02T03:00:26Z)
• Unsupervised Discovery of Interpretable Directions in h-space of Pre-trained Diffusion Models [63.1637853118899]
  本稿では,事前学習した拡散モデルのh空間における解釈可能な方向を特定するための,教師なしおよび学習に基づく最初の手法を提案する。 我々は、事前訓練された拡散モデルのh-スペースで動作するシフト制御モジュールを用いて、サンプルをシフトしたバージョンに操作する。 それらを共同で最適化することで、モデルは自然に絡み合った、解釈可能な方向を発見する。
  論文  参考訳（メタデータ） (2023-10-15T18:44:30Z)
• Decomposed Diffusion Sampler for Accelerating Large-Scale Inverse Problems [64.29491112653905]
  本稿では, 拡散サンプリング法とクリロフ部分空間法を相乗的に組み合わせた, 新規で効率的な拡散サンプリング手法を提案する。 具体的には、ツイーディの公式による分母化標本における接空間がクリロフ部分空間を成すならば、その分母化データによるCGは、接空間におけるデータの整合性更新を確実に維持する。 提案手法は,従来の最先端手法よりも80倍以上高速な推論時間を実現する。
  論文  参考訳（メタデータ） (2023-03-10T07:42:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。