論文の概要: Reinforce Adjoint Matching: Scaling RL Post-Training of Diffusion and Flow-Matching Models

• arxiv url: http://arxiv.org/abs/2605.10759v2
• Date: Sun, 17 May 2026 07:26:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-19 23:51:08.25739
• Title: Reinforce Adjoint Matching: Scaling RL Post-Training of Diffusion and Flow-Matching Models
• Title（参考訳）: Reinforce Adjoint Matching:Scaling RL Post-Training of Diffusion and Flow-Matching Models
• Authors: Andreas Bergmeister, Stefanie Jegelka, Nikolas Nüsken, Carles Domingo-Enrich, Jakiw Pidstrigach,
• Abstract要約: 拡散およびフローマッチングモデルは、事前学習が監督された回帰であるため、スケールする。 この構造がRLポストトレーニングにまで拡張されていることを示す。 KL-正規化報酬の下では、最適生成過程はより高い報酬を持つ試料に対してクリーンエンドポイント分布を傾ける。 Reinforce Adjoint Matching (RAM: Reinforce Adjoint Matching) を導出します。
• 参考スコア（独自算出の注目度）: 44.082049677105964
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion and flow-matching models scale because pretraining is supervised regression: a clean sample is noised analytically, and a model regresses against a closed-form target. RL post-training aligns the model with a reward. In image generation, this makes samples compose objects correctly, render text legibly, and match human preferences. Existing methods rely on costly SDE rollouts, reward gradients, or surrogate losses, sacrificing pretraining's regression structure. We show that the structure extends to RL post-training. Under KL-regularized reward maximization, the optimal generative process tilts the clean-endpoint distribution towards samples with higher reward and leaves the noising law unchanged. Combining this with the adjoint-matching optimality condition and a REINFORCE identity, we derive Reinforce Adjoint Matching (RAM): a consistency loss that corrects the pretraining target with the reward. At each step, we draw a clean endpoint from the current model, evaluate its reward, noise it as in pretraining, and regress. No SDE rollouts, backward adjoint sweeps, or reward gradients are required. Like the pretraining objective, RAM is simple and scales. On Stable Diffusion 3.5M, RAM achieves the highest reward on composability, text rendering, and human preference, reaching Flow-GRPO's peak reward in up to $50\times$ fewer training steps.
• Abstract（参考訳）: 事前トレーニングは教師付き回帰であり、クリーンサンプルは分析的にノイズを受け、モデルがクローズドフォームターゲットに対して回帰するため、拡散およびフローマッチングモデルがスケールする。 RLポストトレーニングは、モデルに報酬を合わせる。 画像生成において、サンプルはオブジェクトを正しく構成し、テキストを正しくレンダリングし、人間の好みにマッチさせる。 既存の方法は、コストのかかるSDEロールアウト、報酬勾配、またはサロゲート損失に依存しており、事前訓練の回帰構造を犠牲にしている。 この構造がRLポストトレーニングにまで拡張されていることを示す。 KL-正規化報酬最大化の下では、最適生成過程は、より高い報酬を持つサンプルに対してクリーンエンドポイント分布を傾けて、ノイズ発生法則は変わらない。 これを随伴マッチング最適条件とREINFORCEアイデンティティと組み合わせることで、事前学習対象を報酬で補正する整合性損失であるReinforce Adjoint Matching (RAM) を導出する。 各ステップにおいて、現在のモデルからクリーンなエンドポイントを描画し、その報酬を評価し、事前トレーニングや回帰時にノイズを発生させる。 SDEロールアウト、後方の随伴スイープ、報酬勾配は不要である。 事前学習の目的と同様に、RAMはシンプルでスケールする。 安定ディフュージョン3.5Mでは、RAMはコンポーザビリティ、テキストレンダリング、人間の好みにおいて最高の報酬を獲得し、Flow-GRPOのピーク報酬は最大50\times$より少ないトレーニングステップで達成される。

関連論文リスト

• MARBLE: Multi-Aspect Reward Balance for Diffusion RL [71.6241143519038]
  強化学習は、拡散モデルと人間の嗜好を整合させる主要なアプローチとなっている。 既存のプラクティスは、報酬ごとに1つのスペシャリストモデルをトレーニングすることで、複数の報酬を処理します。 我々は,各報酬に対する独立な優位推定器を維持する勾配空間最適化フレームワークMARBLEを提案する。
  論文  参考訳（メタデータ） (2026-05-07T16:20:42Z)
• GDRO: Group-level Reward Post-training Suitable for Diffusion Models [55.948229011478304]
  グループレベルの報酬は、モデルを目標とする報酬と整合させるのに成功します。 Group-level Direct Reward Optimization (GDRO)は、グループレベルの報酬アライメントのための新しいトレーニング後のパラダイムである。 GDROは完全なオフライントレーニングをサポートし、画像ロールアウトサンプリングの大幅なコスト削減を実現する。 これは拡散サンプラー非依存であり、取得性に対するODE-to-SDE近似の必要性を排除している。
  論文  参考訳（メタデータ） (2026-01-05T11:47:18Z)
• Advantage Weighted Matching: Aligning RL with Pretraining in Diffusion Models [35.36024202299119]
  拡散の政策段階的手法である textbfAdvantage Weighted Matching (AWM) を導入する。 AWMは、事前学習と同一のモデリング目標を維持しながら、高逆サンプルの影響を高め、低逆サンプルを抑制する。 これは事前学習とRLを概念的かつ実践的に統一し、政策次数理論と整合性を持ち、分散を減少させ、より高速な収束をもたらす。
  論文  参考訳（メタデータ） (2025-09-29T17:02:20Z)
• Flow-GRPO: Training Flow Matching Models via Online RL [80.62659379624867]
  本稿では,オンライン政策強化学習をフローマッチングモデルに統合する最初の方法であるFlow-GRPOを提案する。 提案手法では,(1)決定論的正規微分方程式を同値な微分方程式に変換するODE-to-SDE変換と,(2)推論ステップの数を維持しながらトレーニングの段階を短縮するDenoising Reduction戦略の2つの主要な戦略を用いる。
  論文  参考訳（メタデータ） (2025-05-08T17:58:45Z)
• RED: Unleashing Token-Level Rewards from Holistic Feedback via Reward Redistribution [50.171320156632866]
  人間のフィードバックからの強化学習は、大きな言語モデルを人間の好みに合わせるための有望なアプローチを提供する。 現在の報酬モデルはシークエンス・ツー・ワンモデルとして動作し、単一、スパース、遅延報酬を全出力シーケンスに割り当てる。 よりきめ細かなトークンレベルの指導手法をRLトレーニングに提案する。
  論文  参考訳（メタデータ） (2024-11-13T02:45:21Z)
• PRDP: Proximal Reward Difference Prediction for Large-Scale Reward Finetuning of Diffusion Models [13.313186665410486]
  リワード微調整は、ファンデーションモデルを下流の目標と整合させるための有望なアプローチとして現れています。 既存の報酬微調整手法は、大規模なプロンプトデータセットにおける不安定性によって制限される。 拡散モデルに対する安定なブラックボックス報酬の微調整を可能にするためのPRDP(Proximal Reward difference Prediction)を提案する。
  論文  参考訳（メタデータ） (2024-02-13T18:58:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。