論文の概要: A Minimalist Method for Fine-tuning Text-to-Image Diffusion Models

• arxiv url: http://arxiv.org/abs/2506.12036v2
• Date: Fri, 20 Jun 2025 16:59:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-23 14:57:52.317097
• Title: A Minimalist Method for Fine-tuning Text-to-Image Diffusion Models
• Title（参考訳）: 微調整テキスト・画像拡散モデルのためのミニマリスト法
• Authors: Yanting Miao, William Loh, Suraj Kothawade, Pacal Poupart,
• Abstract要約: ノイズPPOは、初期雑音発生器を学習する最小限の強化学習アルゴリズムである。 実験により、ノイズPPOは元のモデルよりもアライメントとサンプル品質を一貫して改善することが示された。 これらの知見は拡散モデルにおける最小主義的RL微調整の実用的価値を裏付けるものである。
• 参考スコア（独自算出の注目度）: 3.8623569699070357
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent work uses reinforcement learning (RL) to fine-tune text-to-image diffusion models, improving text-image alignment and sample quality. However, existing approaches introduce unnecessary complexity: they cache the full sampling trajectory, depend on differentiable reward models or large preference datasets, or require specialized guidance techniques. Motivated by the "golden noise" hypothesis -- that certain initial noise samples can consistently yield superior alignment -- we introduce Noise PPO, a minimalist RL algorithm that leaves the pre-trained diffusion model entirely frozen and learns a prompt-conditioned initial noise generator. Our approach requires no trajectory storage, reward backpropagation, or complex guidance tricks. Extensive experiments show that optimizing the initial noise distribution consistently improves alignment and sample quality over the original model, with the most significant gains at low inference steps. As the number of inference steps increases, the benefit of noise optimization diminishes but remains present. These findings clarify the scope and limitations of the golden noise hypothesis and reinforce the practical value of minimalist RL fine-tuning for diffusion models.
• Abstract（参考訳）: 最近の研究は、強化学習(RL)を用いてテキスト・画像拡散モデルを微調整し、テキスト・画像のアライメントとサンプル品質を改善している。 しかし、既存のアプローチでは、完全なサンプリング軌跡をキャッシュしたり、異なる報酬モデルや大きな嗜好データセットに依存したり、特別なガイダンス技術を必要とするなど、不要な複雑さが伴っている。 ある種の初期ノイズサンプルが常に優れたアライメントを得られるという「ゴールドノイズ」仮説に動機づけられた我々は、事前学習された拡散モデルを完全に凍結し、即時条件付き初期ノイズ発生器を学習する最小限のRLアルゴリズムであるノイズPPOを導入する。 当社のアプローチでは、トラジェクトリストレージ、報酬バックプロパゲーション、複雑なガイダンスのトリックは必要ありません。 拡張実験により、初期雑音分布の最適化は、元のモデルに対するアライメントとサンプル品質を一貫して改善し、最も大きな利得を低い推論ステップで達成することを示した。 推論ステップの数が増加するにつれて、ノイズ最適化の利点は減少するが、まだ存在する。 これらの結果は,ゴールデンノイズ仮説の範囲と限界を明らかにし,拡散モデルに対する最小限のRL微調整の実用的価値を補強する。

関連論文リスト

• Noise Conditional Variational Score Distillation [60.38982038894823]
  騒音条件変化スコア蒸留(NCVSD)は, 予混合拡散モデルから生成消音剤を蒸留する新しい方法である。 この知見を変分スコア蒸留フレームワークに組み込むことで、生成的デノイザのスケーラブルな学習を可能にする。
  論文  参考訳（メタデータ） (2025-06-11T06:01:39Z)
• Optimizing for the Shortest Path in Denoising Diffusion Model [8.884907787678731]
  最短経路拡散モデル(ShortDF)は、復調誤差の最小化を目的とした最短経路問題である。 複数の標準ベンチマークの実験により、ShortDFは拡散時間(またはステップ)を大幅に短縮することが示された。 この研究は、インタラクティブな拡散ベースのアプリケーションへの道を開き、高速なデータ生成の基礎を確立します。
  論文  参考訳（メタデータ） (2025-03-05T08:47:36Z)
• Arbitrary-steps Image Super-resolution via Diffusion Inversion [68.78628844966019]
  本研究では,拡散インバージョンに基づく新しい画像超解像(SR)手法を提案する。 本研究では,拡散モデルの中間状態を構築するための部分雑音予測戦略を設計する。 トレーニングが完了すると、このノイズ予測器を使用して、拡散軌道に沿ってサンプリングプロセスを部分的に初期化し、望ましい高分解能結果を生成する。
  論文  参考訳（メタデータ） (2024-12-12T07:24:13Z)
• Training-free Diffusion Model Alignment with Sampling Demons [15.400553977713914]
  提案手法は,報酬関数やモデル再学習を介さずに,推論時の復調過程を導出するための最適化手法である。 提案手法は,高報酬に対応する領域の密度を最適化することにより,雑音分布の制御を行う。 実験の結果,提案手法は平均的美学のテキスト・ツー・イメージ生成を著しく改善することがわかった。
  論文  参考訳（メタデータ） (2024-10-08T07:33:49Z)
• Improved Noise Schedule for Diffusion Training [51.849746576387375]
  本稿では,拡散モデルのトレーニングを強化するため,ノイズスケジュールを設計するための新しい手法を提案する。 我々は,標準のコサインスケジュールよりもノイズスケジュールの方が優れていることを実証的に示す。
  論文  参考訳（メタデータ） (2024-07-03T17:34:55Z)
• ROPO: Robust Preference Optimization for Large Language Models [59.10763211091664]
  外部モデルの助けを借りずにノイズ耐性とノイズサンプルのフィルタリングを統合する反復アライメント手法を提案する。 Mistral-7BとLlama-2-7Bで広く使われている3つのデータセットの実験では、ROPOが既存の嗜好アライメント法を大幅に上回っていることが示されている。
  論文  参考訳（メタデータ） (2024-04-05T13:58:51Z)
• Model-Agnostic Human Preference Inversion in Diffusion Models [31.992947353231564]
  人間の好みに合わせて高品質なワンステップ画像生成を実現するための新しいサンプリング設計を提案する。 提案手法であるPrompt Adaptive Human Preference Inversion (PAHI) は,人間の好みに基づいて各プロンプトの雑音分布を最適化する。 実験により, 調整したノイズ分布は, 計算コストを極端に増加させるだけで, 画像品質を著しく向上させることを示した。
  論文  参考訳（メタデータ） (2024-04-01T03:18:12Z)
• Blue noise for diffusion models [50.99852321110366]
  本稿では,画像内および画像間の相関雑音を考慮した拡散モデルを提案する。 我々のフレームワークは、勾配流を改善するために、1つのミニバッチ内に画像間の相関を導入することができる。 本手法を用いて,各種データセットの質的,定量的な評価を行う。
  論文  参考訳（メタデータ） (2024-02-07T14:59:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。