論文の概要: Fine-Tuning Diffusion Models via Intermediate Distribution Shaping

• arxiv url: http://arxiv.org/abs/2510.02692v1
• Date: Fri, 03 Oct 2025 03:18:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-06 16:35:52.250425
• Title: Fine-Tuning Diffusion Models via Intermediate Distribution Shaping
• Title（参考訳）: 中間分布形状による微調整拡散モデル
• Authors: Gautham Govind Anil, Shaan Ul Haque, Nithish Kannen, Dheeraj Nagaraj, Sanjay Shakkottai, Karthikeyan Shanmugam,
• Abstract要約: 政策勾配法は自己回帰生成の文脈で広く用いられている。 我々は,GRAFTが暗黙的にリフォーム報酬でPPOを行うことを示す。 次に、P-GRAFTを導入し、中間雑音レベルで分布を形作る。 そこで我々は,明示的な報奨を生かさずに,フローモデルを改善する逆ノイズ補正を提案する。
• 参考スコア（独自算出の注目度）: 33.26998978897412
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion models are widely used for generative tasks across domains. While pre-trained diffusion models effectively capture the training data distribution, it is often desirable to shape these distributions using reward functions to align with downstream applications. Policy gradient methods, such as Proximal Policy Optimization (PPO), are widely used in the context of autoregressive generation. However, the marginal likelihoods required for such methods are intractable for diffusion models, leading to alternative proposals and relaxations. In this context, we unify variants of Rejection sAmpling based Fine-Tuning (RAFT) as GRAFT, and show that this implicitly performs PPO with reshaped rewards. We then introduce P-GRAFT to shape distributions at intermediate noise levels and demonstrate empirically that this can lead to more effective fine-tuning. We mathematically explain this via a bias-variance tradeoff. Motivated by this, we propose inverse noise correction to improve flow models without leveraging explicit rewards. We empirically evaluate our methods on text-to-image(T2I) generation, layout generation, molecule generation and unconditional image generation. Notably, our framework, applied to Stable Diffusion 2, improves over policy gradient methods on popular T2I benchmarks in terms of VQAScore and shows an $8.81\%$ relative improvement over the base model. For unconditional image generation, inverse noise correction improves FID of generated images at lower FLOPs/image.
• Abstract（参考訳）: 拡散モデルはドメイン間の生成タスクに広く使われている。 事前学習した拡散モデルは、トレーニングデータ分布を効果的にキャプチャするが、これらの分布を報酬関数を用いて形成し、下流アプリケーションと整合させることが望ましい。 PPO(Proximal Policy Optimization)のような政策勾配法は、自己回帰生成の文脈で広く用いられている。 しかし、そのような方法に必要な限界確率は拡散モデルにとって難解であり、代替の提案や緩和につながる。 この文脈では、Rejection sAmpling based Fine-Tuning (RAFT) の変種をGRAFTと統一し、この変種が暗黙的にリフォームされた報酬でPPOを実行することを示す。 次に、P-GRAFTを導入し、中間雑音レベルの分布を形作り、これがより効果的な微調整につながることを実証的に示す。 数学的にはバイアス分散トレードオフによってこれを説明します。 そこで我々は,明示的な報奨を生かさずに,フローモデルを改善する逆ノイズ補正を提案する。 本研究では,テキスト・トゥ・イメージ(T2I)生成,レイアウト生成,分子生成,非条件画像生成について実験的に評価する。 特に,本フレームワークを安定拡散2に適用することにより,VQAScoreで一般的なT2Iベンチマークのポリシー勾配法を改良し,ベースモデルに対して8.81 %の相対的改善を示した。 非条件画像生成では、逆ノイズ補正により、より低いFLOP/画像で生成された画像のFIDが向上する。

関連論文リスト

• Score Distillation of Flow Matching Models [67.86066177182046]
  我々は、Score Identity Distillation (SiD) を事前訓練されたテキスト対画像フローマッチングモデルに拡張する。 SiDは、データフリーとデータアシストの両方の設定で、これらのモデルですぐに使える。 これは、スコア蒸留がテキストと画像のフローマッチングモデルに広く適用されるという最初の体系的な証拠を提供する。
  論文  参考訳（メタデータ） (2025-09-29T17:45:48Z)
• MAP-based Problem-Agnostic diffusion model for Inverse Problems [8.161067848524976]
  逆問題に対するMAPに基づく誘導項推定法を提案する。 このイノベーションは、データ固有の特性をよりよく捉え、パフォーマンスを向上します。
  論文  参考訳（メタデータ） (2025-01-25T08:30:15Z)
• Derivative-Free Guidance in Continuous and Discrete Diffusion Models with Soft Value-Based Decoding [84.3224556294803]
  拡散モデルは、画像、分子、DNA、RNA、タンパク質配列の自然なデザイン空間を捉えるのに優れている。 これらの設計空間の自然性を保ちながら、下流の報酬関数を最適化することを目指している。 提案アルゴリズムは,中間雑音状態が将来高い報酬をもたらすことの先駆けとして,ソフトバリュー関数を統合する。
  論文  参考訳（メタデータ） (2024-08-15T16:47:59Z)
• Denoising Diffusion Bridge Models [54.87947768074036]
  拡散モデルは、プロセスを使用してデータにノイズをマッピングする強力な生成モデルである。 画像編集のような多くのアプリケーションでは、モデル入力はランダムノイズではない分布から来る。 本研究では, DDBM(Denoising Diffusion Bridge Models)を提案する。
  論文  参考訳（メタデータ） (2023-09-29T03:24:24Z)
• ADIR: Adaptive Diffusion for Image Reconstruction [42.90778718695398]
  拡散モデルのデノイングは画像生成において顕著な成功を収めており、自然画像統計に関する豊富な情報を収集している。 本稿では,拡散モデルで学習した強力な事前知識を活用しつつ,利用可能な測定値との整合性を実現する条件付きサンプリングフレームワークを提案する。 大規模かつ多様なデータセットから効率よく抽出される劣化した入力とセマンティックかつ視覚的に類似した画像を用いてLoRAに基づく適応を用いる。
  論文  参考訳（メタデータ） (2022-12-06T18:39:58Z)
• DriftRec: Adapting diffusion models to blind JPEG restoration [16.596100244509575]
  拡散モデルの高忠実度生成能力を利用して、高圧縮レベルでのブラインドJPEG復元を解く。 提案手法は, ぼやけた画像を生成する他の手法の傾向を回避でき, クリーンな画像の分布をより忠実に再現できることを示す。
  論文  参考訳（メタデータ） (2022-11-12T22:29:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。