論文の概要: Aligning Diffusion Models by Optimizing Human Utility
- arxiv url: http://arxiv.org/abs/2404.04465v2
- Date: Fri, 11 Oct 2024 19:43:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-15 15:02:28.426036
- Title: Aligning Diffusion Models by Optimizing Human Utility
- Title（参考訳）: 人体利用の最適化による拡散モデルの調整
- Authors: Shufan Li, Konstantinos Kallidromitis, Akash Gokul, Yusuke Kato, Kazuki Kozuka,
- Abstract要約: Diffusion-KTOは、テキストと画像の拡散モデルを人間の好みに合わせるための新しいアプローチである。
私たちの目的は、単純なイメージ単位のバイナリフィードバック信号、例えば、十分に利用可能ないいね!や嫌悪(dislikes)が必要です。
- 参考スコア（独自算出の注目度）: 1.6166249658374658
- License:
- Abstract: We present Diffusion-KTO, a novel approach for aligning text-to-image diffusion models by formulating the alignment objective as the maximization of expected human utility. Since this objective applies to each generation independently, Diffusion-KTO does not require collecting costly pairwise preference data nor training a complex reward model. Instead, our objective requires simple per-image binary feedback signals, e.g. likes or dislikes, which are abundantly available. After fine-tuning using Diffusion-KTO, text-to-image diffusion models exhibit superior performance compared to existing techniques, including supervised fine-tuning and Diffusion-DPO, both in terms of human judgment and automatic evaluation metrics such as PickScore and ImageReward. Overall, Diffusion-KTO unlocks the potential of leveraging readily available per-image binary signals and broadens the applicability of aligning text-to-image diffusion models with human preferences.
- Abstract（参考訳）: 本稿では,テキストと画像の拡散モデルを協調する新たな手法であるDiffusion-KTOについて述べる。
この目的は各世代に独立して適用されるため、Diffusion-KTOは、コスト対の選好データを収集したり、複雑な報酬モデルを訓練する必要がない。
その代わり、私たちの目標は単純なイメージ単位のバイナリフィードバック信号、例えば、十分に利用可能な、いいね!や嫌悪(dislikes)が必要です。
Diffusion-KTOを用いた微調整の後、PickScoreやImageRewardといった自動評価指標と人間の判断の両面で、教師付き微調整や拡散拡散DPOといった既存の手法と比較して、テキスト・画像拡散モデルの方が優れた性能を示す。
全体として、Diffusion-KTOは、利用可能な画像毎のバイナリ信号を活用する可能性を解き、テキストと画像の拡散モデルと人間の好みとの整合性を広げる。
関連論文リスト
- Diffusion-RPO: Aligning Diffusion Models through Relative Preference Optimization [68.69203905664524]
拡散に基づくT2Iモデルと人間の嗜好をより効率的に整合させる新しい手法であるDiffusion-RPOを紹介する。
我々は,高いコストと低い解釈可能性の課題を克服することを目的とした,新しい評価基準であるスタイルアライメントを開発した。
その結果,拡散-RPO は安定拡散バージョン1.5 と XL-1.0 の調整において超微調整や拡散-DPO などの確立された手法よりも優れていた。
論文 参考訳（メタデータ） (2024-06-10T15:42:03Z) - Self-Play Fine-Tuning of Diffusion Models for Text-to-Image Generation [59.184980778643464]
ファインチューニング拡散モデル : 生成人工知能(GenAI)の最前線
本稿では,拡散モデル(SPIN-Diffusion)のための自己演奏ファインチューニングという革新的な手法を紹介する。
提案手法は従来の教師付き微調整とRL戦略の代替として,モデル性能とアライメントの両方を大幅に改善する。
論文 参考訳（メタデータ） (2024-02-15T18:59:18Z) - Large-scale Reinforcement Learning for Diffusion Models [30.164571425479824]
テキストと画像の拡散モデルは、Webスケールのテキストと画像のトレーニングペアから生じる暗黙のバイアスに影響を受けやすい。
強化学習(Reinforcement Learning, RL)を用いて, 拡散モデルの改善に有効なスケーラブルアルゴリズムを提案する。
提案手法は,従来の拡散モデルと人間の嗜好を整合させる手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2024-01-20T08:10:43Z) - Diffusion Model Alignment Using Direct Preference Optimization [103.2238655827797]
拡散DPOは,ヒトの比較データを直接最適化することにより,拡散モデルを人間の嗜好に合わせる手法である。
拡散DPOを用いた最先端安定拡散XL(SDXL)-1.0モデルの基礎モデルを微調整する。
また、AIフィードバックを使用し、人間の好みのトレーニングに匹敵するパフォーマンスを持つ亜種も開発しています。
論文 参考訳（メタデータ） (2023-11-21T15:24:05Z) - Training Diffusion Models with Reinforcement Learning [82.29328477109826]
拡散モデルは、ログのような目的に近似して訓練される。
本稿では,下流目的のための拡散モデルを直接最適化するための強化学習手法について検討する。
本稿では,多段階決定問題としてデノベーションを行うことによって,ポリシー勾配アルゴリズムのクラスを実現する方法について述べる。
論文 参考訳（メタデータ） (2023-05-22T17:57:41Z) - Your Diffusion Model is Secretly a Zero-Shot Classifier [90.40799216880342]
大規模テキスト・画像拡散モデルからの密度推定をゼロショット分類に活用できることを示す。
分類に対する我々の生成的アプローチは、様々なベンチマークで強い結果が得られる。
我々の結果は、下流タスクにおける差別的モデルよりも生成的な利用に向けての一歩である。
論文 参考訳（メタデータ） (2023-03-28T17:59:56Z) - Unifying Diffusion Models' Latent Space, with Applications to
CycleDiffusion and Guidance [95.12230117950232]
関係領域で独立に訓練された2つの拡散モデルから共通潜時空間が現れることを示す。
テキスト・画像拡散モデルにCycleDiffusionを適用することで、大規模なテキスト・画像拡散モデルがゼロショット画像・画像拡散エディタとして使用できることを示す。
論文 参考訳（メタデータ） (2022-10-11T15:53:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。