論文の概要: Large-scale Reinforcement Learning for Diffusion Models
- arxiv url: http://arxiv.org/abs/2401.12244v1
- Date: Sat, 20 Jan 2024 08:10:43 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-24 18:07:49.275910
- Title: Large-scale Reinforcement Learning for Diffusion Models
- Title（参考訳）: 拡散モデルのための大規模強化学習
- Authors: Yinan Zhang, Eric Tzeng, Yilun Du, Dmitry Kislyuk
- Abstract要約: テキストと画像の拡散モデルは、Webスケールのテキストと画像のトレーニングペアから生じる暗黙のバイアスに影響を受けやすい。
強化学習(Reinforcement Learning, RL)を用いて, 拡散モデルの改善に有効なスケーラブルアルゴリズムを提案する。
提案手法は,従来の拡散モデルと人間の嗜好を整合させる手法よりも優れていることを示す。
- 参考スコア（独自算出の注目度）: 30.164571425479824
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Text-to-image diffusion models are a class of deep generative models that
have demonstrated an impressive capacity for high-quality image generation.
However, these models are susceptible to implicit biases that arise from
web-scale text-image training pairs and may inaccurately model aspects of
images we care about. This can result in suboptimal samples, model bias, and
images that do not align with human ethics and preferences. In this paper, we
present an effective scalable algorithm to improve diffusion models using
Reinforcement Learning (RL) across a diverse set of reward functions, such as
human preference, compositionality, and fairness over millions of images. We
illustrate how our approach substantially outperforms existing methods for
aligning diffusion models with human preferences. We further illustrate how
this substantially improves pretrained Stable Diffusion (SD) models, generating
samples that are preferred by humans 80.3% of the time over those from the base
SD model while simultaneously improving both the composition and diversity of
generated samples.
- Abstract（参考訳）: テキスト・ツー・イメージ拡散モデル(Text-to-image diffusion model)は、高品質な画像生成能力を示す深層生成モデルのクラスである。
しかしながら、これらのモデルは、webスケールのテキストイメージトレーニングペアから生じる暗黙のバイアスに影響を受けやすく、私たちが気にしているイメージの側面を不正確にモデル化する可能性がある。
これは、人間の倫理や嗜好に合致しない、最適でないサンプル、モデルバイアス、イメージをもたらす可能性がある。
本稿では,人間の好み,構成性,公平性といった多様な報酬関数のセットをまたいで強化学習(rl)を用いた拡散モデルを改善するためのスケーラブルなアルゴリズムを提案する。
提案手法は, 拡散モデルと人間の嗜好を整合させる既存の手法を実質的に上回っている。
さらに,これが事前学習された安定拡散(SD)モデルを大幅に改善し,ヒトが好むサンプルの80.3%をベースSDモデルから生成すると同時に,生成したサンプルの組成と多様性を同時に改善する方法について述べる。
関連論文リスト
- Elucidating Optimal Reward-Diversity Tradeoffs in Text-to-Image Diffusion Models [20.70550870149442]
Annealed Importance Guidance(AIG)は、Annealed Importance Smplingにインスパイアされた推論時正規化である。
安定拡散モデルに対するAIGの利点を実証し、報酬最適化と画像の多様性の最適なバランスを図った。
論文 参考訳（メタデータ） (2024-09-09T16:27:26Z) - YaART: Yet Another ART Rendering Technology [119.09155882164573]
そこで本研究では,ヒトの嗜好に適合する新しい生産段階のテキスト・ツー・イメージ拡散モデルYaARTを紹介した。
これらの選択がトレーニングプロセスの効率と生成された画像の品質にどのように影響するかを分析する。
高品質な画像の小さなデータセットでトレーニングされたモデルが、より大きなデータセットでトレーニングされたモデルとうまく競合できることを実証する。
論文 参考訳（メタデータ） (2024-04-08T16:51:19Z) - Training Class-Imbalanced Diffusion Model Via Overlap Optimization [55.96820607533968]
実世界のデータセットで訓練された拡散モデルは、尾クラスの忠実度が劣ることが多い。
拡散モデルを含む深い生成モデルは、豊富な訓練画像を持つクラスに偏りがある。
本研究では,異なるクラスに対する合成画像の分布の重複を最小限に抑えるために,コントラスト学習に基づく手法を提案する。
論文 参考訳（メタデータ） (2024-02-16T16:47:21Z) - Conditional Image Generation with Pretrained Generative Model [1.4685355149711303]
拡散モデルは、GANモデルと比較して高品質な画像を生成する能力で人気を集めている。
これらのモデルには膨大な量のデータ、計算資源、そして訓練を成功させるために巧妙なチューニングが必要である。
本研究では,条件付き画像生成のために,事前学習した非条件拡散モデルを活用する手法を提案する。
論文 参考訳（メタデータ） (2023-12-20T18:27:53Z) - Enhancing Diffusion Models with 3D Perspective Geometry Constraints [10.21800236402905]
本稿では、視点精度を向上させるために、生成モデルのトレーニングプロセスに新しい幾何学的制約を導入する。
この制約でトレーニングされたモデルの出力は、どちらもよりリアルに見え、生成した画像に基づいてトレーニングされた下流モデルの性能が向上することを示す。
論文 参考訳（メタデータ） (2023-12-01T21:56:43Z) - Training Diffusion Models with Reinforcement Learning [82.29328477109826]
拡散モデルは、ログのような目的に近似して訓練される。
本稿では,下流目的のための拡散モデルを直接最適化するための強化学習手法について検討する。
本稿では,多段階決定問題としてデノベーションを行うことによって,ポリシー勾配アルゴリズムのクラスを実現する方法について述べる。
論文 参考訳（メタデータ） (2023-05-22T17:57:41Z) - Your Diffusion Model is Secretly a Zero-Shot Classifier [90.40799216880342]
大規模テキスト・画像拡散モデルからの密度推定をゼロショット分類に活用できることを示す。
分類に対する我々の生成的アプローチは、様々なベンチマークで強い結果が得られる。
我々の結果は、下流タスクにおける差別的モデルよりも生成的な利用に向けての一歩である。
論文 参考訳（メタデータ） (2023-03-28T17:59:56Z) - Extracting Training Data from Diffusion Models [77.11719063152027]
拡散モデルはトレーニングデータから個々の画像を記憶し,生成時に出力することを示す。
生成とフィルタのパイプラインを用いて、最先端のモデルから数千以上のトレーニング例を抽出する。
さまざまな設定で何百もの拡散モデルをトレーニングし、モデリングとデータ決定の違いがプライバシに与える影響を分析する。
論文 参考訳（メタデータ） (2023-01-30T18:53:09Z) - On Distillation of Guided Diffusion Models [94.95228078141626]
そこで本研究では,分類器を含まない誘導拡散モデルから抽出し易いモデルへ抽出する手法を提案する。
画素空間上で訓練された標準拡散モデルに対して,本手法は元のモデルに匹敵する画像を生成することができる。
遅延空間で訓練された拡散モデル(例えば、安定拡散)に対して、我々の手法は1から4段階のデノナイジングステップで高忠実度画像を生成することができる。
論文 参考訳（メタデータ） (2022-10-06T18:03:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。