論文の概要: DiffusionRVGE: Reinforcement Learning via Regression-Based Value Gradient Estimation

• arxiv url: http://arxiv.org/abs/2610.22973v1
• Date: Fri, 16 Oct 2026 05:46:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:07.775984
• Title: DiffusionRVGE: Reinforcement Learning via Regression-Based Value Gradient Estimation
• Title（参考訳）: DiffusionRVGE:回帰に基づく値勾配推定による強化学習
• Abstract要約: 強化学習は、生成した画像に対する報酬を用いて拡散モデルを改善するが、繰り返し denoising と Gragient Estimation はトレーニングを高価にする。 そこで本研究では,集中型最終復号化画像に対して,集中型報酬を回帰することで,有用な更新方向を構築する効率的な方法を提案する。
• 参考スコア（独自算出の注目度）: 6.624649712286118
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement learning improves diffusion models using rewards on generated images, but repeated denoising and gradient estimation make training expensive. We introduce \method, an efficient method that constructs useful update directions by regressing centered rewards on centered final denoised images. It requires neither reward derivatives nor adjoint backpropagation through the sampling trajectory. A unified first-variation formulation identifies the value-gradient target with or without a trajectory-KL penalty. A population analysis under Gaussian noising explains the regression geometry, while a subspace analysis motivates clean-image coordinates. The implementation adapts rollout bandwidth and query weights to reward continuity: local rollouts suit smooth rewards, whereas broader groups provide informative contrasts for discrete rewards. Trained jointly on five rewards, one SD3.5-Medium model matches or exceeds DiffusionNFT's joint model on seven of eight metrics, reaching GenEval $0.94$, OCR $0.92$, and PickScore $23.82$ at about one fifth of its estimated training compute. In single-reward training, \method reaches matched reward thresholds $2.1$--$6.7\times$ faster than reproduced DiffusionNFT on identical hardware. Ablations support the clean-image estimator, direct direction transfer, and reward-dependent rollout choices. Code is available at https://github.com/jy-wang-tsinghua/DIFFUSIONRVGE.
• Abstract（参考訳）: 強化学習は、生成した画像に対する報酬を用いて拡散モデルを改善するが、繰り返し denoising と Gragient Estimation はトレーニングを高価にする。 そこで我々は,集中型最終識別画像に対して,集中型報酬を回帰することで,有用な更新方向を構築する効率的な方法である‘method’を紹介した。 報酬誘導体も、サンプリング軌道を通した随伴バックプロパゲーションも必要としない。 統一された第1変量定式化は、軌道KLペナルティの有無で値段階的目標を識別する。 ガウス記法の下での人口分析は回帰幾何学を説明し、サブスペース解析はクリーンイメージ座標を動機付けている。 ローカルロールアウトはスムーズな報酬に適合する一方、より広いグループは離散的な報酬に対して情報的コントラストを提供する。 5つの報酬で訓練され、1つのSD3.5-Mediumモデルが8つの指標のうち7つでDiffusionNFTのジョイントモデルと一致し、GenEval $0.94$、OCR $0.92$、PickScore $23.82$まで到達した。 シングルリワードトレーニングでは、同じハードウェア上で再生されたDiffusionNFTよりも高速な2.1$-6.7\times$2.1$に達する。 アブレーションはクリーンイメージ推定器、直接方向移動、報酬に依存したロールアウト選択をサポートする。 コードはhttps://github.com/jy-wang-tsinghua/DIFFUSIONRVGEで公開されている。

関連論文リスト

• Optimizing Visual Generative Models via Distribution-wise Rewards [57.46109819595665]
  本稿では,実世界のデータ分布との整合性を確保するために,分布ワイド報酬を用いた生成モデルを微調整する新しいフレームワークを提案する。 提案手法は,SiTでは5.77,EDM2では3.74から3.52まで,様々なベースモデルでFID-50Kを大幅に改善する。
  論文  参考訳（メタデータ） (2026-07-02T15:08:56Z)
• Beyond Pairwise Preferences: Listwise Reward-Aware Alignment for Diffusion Models [73.08789211016567]
  Diffusion LAIRは、拡散モデルに対する報酬を考慮したリストワイズ選好最適化手法である。 実験により、テキスト・ツー・イメージ生成、合成生成、画像編集ベンチマークにおいて、強い優先最適化ベースラインを上回ります。
  論文  参考訳（メタデータ） (2026-05-26T03:09:24Z)
• Reinforce Adjoint Matching: Scaling RL Post-Training of Diffusion and Flow-Matching Models [44.082049677105964]
  拡散およびフローマッチングモデルは、事前学習が監督された回帰であるため、スケールする。 この構造がRLポストトレーニングにまで拡張されていることを示す。 KL-正規化報酬の下では、最適生成過程はより高い報酬を持つ試料に対してクリーンエンドポイント分布を傾ける。 Reinforce Adjoint Matching (RAM: Reinforce Adjoint Matching) を導出します。
  論文  参考訳（メタデータ） (2026-05-11T15:56:29Z)
• MARBLE: Multi-Aspect Reward Balance for Diffusion RL [71.6241143519038]
  強化学習は、拡散モデルと人間の嗜好を整合させる主要なアプローチとなっている。 既存のプラクティスは、報酬ごとに1つのスペシャリストモデルをトレーニングすることで、複数の報酬を処理します。 我々は,各報酬に対する独立な優位推定器を維持する勾配空間最適化フレームワークMARBLEを提案する。
  論文  参考訳（メタデータ） (2026-05-07T16:20:42Z)
• GDRO: Group-level Reward Post-training Suitable for Diffusion Models [55.948229011478304]
  グループレベルの報酬は、モデルを目標とする報酬と整合させるのに成功します。 Group-level Direct Reward Optimization (GDRO)は、グループレベルの報酬アライメントのための新しいトレーニング後のパラダイムである。 GDROは完全なオフライントレーニングをサポートし、画像ロールアウトサンプリングの大幅なコスト削減を実現する。 これは拡散サンプラー非依存であり、取得性に対するODE-to-SDE近似の必要性を排除している。
  論文  参考訳（メタデータ） (2026-01-05T11:47:18Z)
• Learn to Guide Your Diffusion Model [84.82855046749657]
  本研究では,条件付き拡散モデルによる試料の品質向上手法について検討する。 誘導ウェイトは$omega_c,(s,t)$で、条件付き$c$、飾る時間$t$、飾る時間$s$の関数です。 我々は,モデルが報酬関数によって傾いた分布を目標にすることができるように,フレームワークを拡張して報酬付きサンプリングを行う。
  論文  参考訳（メタデータ） (2025-10-01T12:21:48Z)
• RED: Unleashing Token-Level Rewards from Holistic Feedback via Reward Redistribution [50.171320156632866]
  人間のフィードバックからの強化学習は、大きな言語モデルを人間の好みに合わせるための有望なアプローチを提供する。 現在の報酬モデルはシークエンス・ツー・ワンモデルとして動作し、単一、スパース、遅延報酬を全出力シーケンスに割り当てる。 よりきめ細かなトークンレベルの指導手法をRLトレーニングに提案する。
  論文  参考訳（メタデータ） (2024-11-13T02:45:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。