論文の概要: Self-Play Fine-Tuning of Diffusion Models for Text-to-Image Generation
- arxiv url: http://arxiv.org/abs/2402.10210v1
- Date: Thu, 15 Feb 2024 18:59:18 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-16 14:13:41.454456
- Title: Self-Play Fine-Tuning of Diffusion Models for Text-to-Image Generation
- Title(参考訳): テキスト対画像生成のための拡散モデルの自己再生微調整
- Authors: Huizhuo Yuan and Zixiang Chen and Kaixuan Ji and Quanquan Gu
- Abstract要約: ファインチューニング拡散モデル : 生成人工知能(GenAI)の最前線
本稿では,拡散モデル(SPIN-Diffusion)のための自己演奏ファインチューニングという革新的な手法を紹介する。
提案手法は従来の教師付き微調整とRL戦略の代替として,モデル性能とアライメントの両方を大幅に改善する。
- 参考スコア(独自算出の注目度): 59.184980778643464
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Fine-tuning Diffusion Models remains an underexplored frontier in generative
artificial intelligence (GenAI), especially when compared with the remarkable
progress made in fine-tuning Large Language Models (LLMs). While cutting-edge
diffusion models such as Stable Diffusion (SD) and SDXL rely on supervised
fine-tuning, their performance inevitably plateaus after seeing a certain
volume of data. Recently, reinforcement learning (RL) has been employed to
fine-tune diffusion models with human preference data, but it requires at least
two images ("winner" and "loser" images) for each text prompt. In this paper,
we introduce an innovative technique called self-play fine-tuning for diffusion
models (SPIN-Diffusion), where the diffusion model engages in competition with
its earlier versions, facilitating an iterative self-improvement process. Our
approach offers an alternative to conventional supervised fine-tuning and RL
strategies, significantly improving both model performance and alignment. Our
experiments on the Pick-a-Pic dataset reveal that SPIN-Diffusion outperforms
the existing supervised fine-tuning method in aspects of human preference
alignment and visual appeal right from its first iteration. By the second
iteration, it exceeds the performance of RLHF-based methods across all metrics,
achieving these results with less data.
- Abstract(参考訳): 微調整拡散モデル(英語版)は、特に微調整大型言語モデル(LLM)における顕著な進歩と比較して、生成的人工知能(GenAI)の未発見のフロンティアである。
安定拡散(sd)やsdxlのような最先端拡散モデルは教師付き微調整に依存するが、その性能は、あるデータ量を見た後に必然的に高まる。
近年,人間の好みデータを用いた拡散モデルの微調整に強化学習(rl)が採用されているが,各テキストプロンプトには少なくとも2つの画像("winner" と "loser" 画像)が必要である。
本稿では,拡散モデルに対する自己演奏ファインチューニング(SPIN-Diffusion)と呼ばれる革新的手法を紹介し,拡散モデルが以前のバージョンと競合し,反復的な自己改善プロセスを促進する。
提案手法は,従来の教師付き微調整およびrl戦略に代わるもので,モデル性能とアライメントを著しく改善する。
我々のPick-a-Picデータセットを用いた実験により、SPIN-Diffusionは人間の好みの調整や視覚的魅力の面において、既存の教師付き微調整法よりも優れていることがわかった。
2回目のイテレーションでは、RLHFベースのメソッドのパフォーマンスをすべてのメトリクスで上回り、より少ないデータでこれらの結果を達成する。
関連論文リスト
- Diffusion Models Trained with Large Data Are Transferable Visual Models [51.9937114613558]
そこで本研究では,適度な量の目標データを用いて,基本的な視覚知覚タスクにおいて顕著な伝達性能を実現することができることを示す。
結果は、様々なタスクや実世界のデータセットにまたがる拡散モデルのバックボーンの顕著な転送可能性を示している。
論文 参考訳(メタデータ) (2024-03-10T04:23:24Z) - Large-scale Reinforcement Learning for Diffusion Models [30.164571425479824]
テキストと画像の拡散モデルは、Webスケールのテキストと画像のトレーニングペアから生じる暗黙のバイアスに影響を受けやすい。
強化学習(Reinforcement Learning, RL)を用いて, 拡散モデルの改善に有効なスケーラブルアルゴリズムを提案する。
提案手法は,従来の拡散モデルと人間の嗜好を整合させる手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2024-01-20T08:10:43Z) - Guided Diffusion from Self-Supervised Diffusion Features [49.78673164423208]
ガイダンスは拡散モデルにおいて重要な概念として機能するが、その効果は追加のデータアノテーションや事前学習の必要性によって制限されることが多い。
本稿では,拡散モデルからガイダンスを抽出するフレームワークを提案する。
論文 参考訳(メタデータ) (2023-12-14T11:19:11Z) - Taming Latent Diffusion Models to See in the Dark [65.6004750218506]
LDM-SIDは,提案するテーピングモジュールの集合を凍結した事前学習拡散モデルに挿入し,生成過程を制御することを目的としている。
入力されたRAW画像に2次元離散ウェーブレット変換を適用し、LLIEタスクを低周波コンテンツ生成と高周波ディテールメンテナンスという2つの重要な部分に分割する。
論文 参考訳(メタデータ) (2023-12-02T04:31:51Z) - DeeDiff: Dynamic Uncertainty-Aware Early Exiting for Accelerating
Diffusion Model Generation [34.7016118539358]
DeeDiffは、拡散モデルの生成効率を改善するために、各サンプリングステップで計算リソースを適応的に割り当てる早期終了フレームワークである。
本稿では,モデル全体の性能ギャップを埋めるため,不確実性を考慮したレイヤワイズ損失を提案する。
本手法は,拡散モデルにおける既存の早期出口法と比較して,最先端の性能と効率のトレードオフを実現する。
論文 参考訳(メタデータ) (2023-09-29T09:10:04Z) - Unbiased Image Synthesis via Manifold-Driven Sampling in Diffusion
Models [24.610977739714134]
拡散モデルは、高品質な画像を生成することができる強力な生成モデルのクラスである。
データバイアスに関連する問題に直面し、特定のデータモードを優先する。
本稿では,拡散モデルにおけるデータバイアスを軽減するために,多様体誘導を利用した新しい手法を提案する。
論文 参考訳(メタデータ) (2023-07-17T02:03:17Z) - ExposureDiffusion: Learning to Expose for Low-light Image Enhancement [87.08496758469835]
この研究は、拡散モデルと物理ベースの露光モデルとをシームレスに統合することで、この問題に対処する。
提案手法は,バニラ拡散モデルと比較して性能が大幅に向上し,推論時間を短縮する。
提案するフレームワークは、実際のペア付きデータセット、SOTAノイズモデル、および異なるバックボーンネットワークの両方で動作する。
論文 参考訳(メタデータ) (2023-07-15T04:48:35Z) - A Survey on Generative Diffusion Model [75.93774014861978]
拡散モデルは、深層生成モデルの新たなクラスである。
時間を要する反復生成過程や高次元ユークリッド空間への閉じ込めなど、いくつかの制限がある。
本調査では,拡散モデルの向上を目的とした高度な手法を多数提示する。
論文 参考訳(メタデータ) (2022-09-06T16:56:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。