論文の概要: Self-Play Fine-Tuning of Diffusion Models for Text-to-Image Generation

• arxiv url: http://arxiv.org/abs/2402.10210v1
• Date: Thu, 15 Feb 2024 18:59:18 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-16 14:13:41.454456
• Title: Self-Play Fine-Tuning of Diffusion Models for Text-to-Image Generation
• Title（参考訳）: テキスト対画像生成のための拡散モデルの自己再生微調整
• Authors: Huizhuo Yuan and Zixiang Chen and Kaixuan Ji and Quanquan Gu
• Abstract要約: ファインチューニング拡散モデル : 生成人工知能(GenAI)の最前線 本稿では,拡散モデル(SPIN-Diffusion)のための自己演奏ファインチューニングという革新的な手法を紹介する。 提案手法は従来の教師付き微調整とRL戦略の代替として,モデル性能とアライメントの両方を大幅に改善する。
• 参考スコア（独自算出の注目度）: 59.184980778643464
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Fine-tuning Diffusion Models remains an underexplored frontier in generative artificial intelligence (GenAI), especially when compared with the remarkable progress made in fine-tuning Large Language Models (LLMs). While cutting-edge diffusion models such as Stable Diffusion (SD) and SDXL rely on supervised fine-tuning, their performance inevitably plateaus after seeing a certain volume of data. Recently, reinforcement learning (RL) has been employed to fine-tune diffusion models with human preference data, but it requires at least two images ("winner" and "loser" images) for each text prompt. In this paper, we introduce an innovative technique called self-play fine-tuning for diffusion models (SPIN-Diffusion), where the diffusion model engages in competition with its earlier versions, facilitating an iterative self-improvement process. Our approach offers an alternative to conventional supervised fine-tuning and RL strategies, significantly improving both model performance and alignment. Our experiments on the Pick-a-Pic dataset reveal that SPIN-Diffusion outperforms the existing supervised fine-tuning method in aspects of human preference alignment and visual appeal right from its first iteration. By the second iteration, it exceeds the performance of RLHF-based methods across all metrics, achieving these results with less data.
• Abstract（参考訳）: 微調整拡散モデル(英語版)は、特に微調整大型言語モデル(LLM)における顕著な進歩と比較して、生成的人工知能(GenAI)の未発見のフロンティアである。 安定拡散(sd)やsdxlのような最先端拡散モデルは教師付き微調整に依存するが、その性能は、あるデータ量を見た後に必然的に高まる。 近年,人間の好みデータを用いた拡散モデルの微調整に強化学習(rl)が採用されているが,各テキストプロンプトには少なくとも2つの画像("winner" と "loser" 画像)が必要である。 本稿では,拡散モデルに対する自己演奏ファインチューニング(SPIN-Diffusion)と呼ばれる革新的手法を紹介し,拡散モデルが以前のバージョンと競合し,反復的な自己改善プロセスを促進する。 提案手法は,従来の教師付き微調整およびrl戦略に代わるもので,モデル性能とアライメントを著しく改善する。 我々のPick-a-Picデータセットを用いた実験により、SPIN-Diffusionは人間の好みの調整や視覚的魅力の面において、既存の教師付き微調整法よりも優れていることがわかった。 2回目のイテレーションでは、RLHFベースのメソッドのパフォーマンスをすべてのメトリクスで上回り、より少ないデータでこれらの結果を達成する。

関連論文リスト

• Energy-Based Diffusion Language Models for Text Generation [126.23425882687195]
  エネルギーベース拡散言語モデル(Energy-based Diffusion Language Model, EDLM)は、拡散ステップごとに全シーケンスレベルで動作するエネルギーベースモデルである。 我々のフレームワークは、既存の拡散モデルよりも1.3$times$のサンプリングスピードアップを提供する。
  論文  参考訳（メタデータ） (2024-10-28T17:25:56Z)
• Tuning Timestep-Distilled Diffusion Model Using Pairwise Sample Optimization [97.35427957922714]
  任意の時間ステップ蒸留拡散モデルを直接微調整できるPSOアルゴリズムを提案する。 PSOは、現在の時間ステップ蒸留モデルからサンプリングされた追加の参照画像を導入し、トレーニング画像と参照画像との相対的な近縁率を増大させる。 PSOは、オフラインとオンラインのペアワイズ画像データの両方を用いて、蒸留モデルを直接人間の好ましくない世代に適応させることができることを示す。
  論文  参考訳（メタデータ） (2024-10-04T07:05:16Z)
• Pruning then Reweighting: Towards Data-Efficient Training of Diffusion Models [33.09663675904689]
  データセットプルーニングの観点から,効率的な拡散訓練について検討する。 GAN(Generative Adversarial Network)のような生成モデルに対するデータ効率トレーニングの原則に着想を得て、まず、GANで使用されるデータ選択スキームをDMトレーニングに拡張する。 生成性能をさらに向上するため,クラスワイド・リウェイト方式を採用する。
  論文  参考訳（メタデータ） (2024-09-27T20:21:19Z)
• Text-to-Image Rectified Flow as Plug-and-Play Priors [52.586838532560755]
  整流流は、ソースからターゲット分布への線形進行を強制する新しい生成モデルのクラスである。 補正フローアプローチが生成品質と効率を上回り,推論ステップを少なくすることを示した。 また,画像のインバージョンや編集における競合性能も示す。
  論文  参考訳（メタデータ） (2024-06-05T14:02:31Z)
• Plug-and-Play Diffusion Distillation [14.359953671470242]
  誘導拡散モデルのための新しい蒸留手法を提案する。 オリジナルのテキスト・ツー・イメージモデルが凍結されている間、外部の軽量ガイドモデルがトレーニングされる。 提案手法は,クラス化なしガイド付きラテント空間拡散モデルの推論をほぼ半減することを示す。
  論文  参考訳（メタデータ） (2024-06-04T04:22:47Z)
• DetDiffusion: Synergizing Generative and Perceptive Models for Enhanced Data Generation and Perception [78.26734070960886]
  現在の知覚モデルは、リソース集約的なデータセットに大きく依存している。 セグメンテーションを通じて知覚認識損失(P.A.損失)を導入し、品質と制御性の両方を改善した。 本手法は,世代間における知覚認識属性(P.A. Attr)の抽出と利用により,データ拡張をカスタマイズする。
  論文  参考訳（メタデータ） (2024-03-20T04:58:03Z)
• Guided Diffusion from Self-Supervised Diffusion Features [49.78673164423208]
  ガイダンスは拡散モデルにおいて重要な概念として機能するが、その効果は追加のデータアノテーションや事前学習の必要性によって制限されることが多い。 本稿では,拡散モデルからガイダンスを抽出するフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-14T11:19:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。