論文の概要: Bridging the Gap: Addressing Discrepancies in Diffusion Model Training
for Classifier-Free Guidance
- arxiv url: http://arxiv.org/abs/2311.00938v1
- Date: Thu, 2 Nov 2023 02:03:12 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-03 15:02:11.451537
- Title: Bridging the Gap: Addressing Discrepancies in Diffusion Model Training
for Classifier-Free Guidance
- Title(参考訳): ギャップの橋渡し : 拡散モデル学習における差異の解消と分類子なし指導
- Authors: Niket Patel, Luis Salamanca, Luis Barba
- Abstract要約: 拡散モデルは、生成モデルにおいて重要な進歩として現れている。
本稿では,従来の訓練方法と所望の条件付きサンプリング行動との相違点を明らかにすることを目的とする。
トレーニング目標とサンプリング行動との整合性を向上する改良された損失関数を導入する。
- 参考スコア(独自算出の注目度): 1.6804613362826175
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Diffusion models have emerged as a pivotal advancement in generative models,
setting new standards to the quality of the generated instances. In the current
paper we aim to underscore a discrepancy between conventional training methods
and the desired conditional sampling behavior of these models. While the
prevalent classifier-free guidance technique works well, it's not without
flaws. At higher values for the guidance scale parameter $w$, we often get out
of distribution samples and mode collapse, whereas at lower values for $w$ we
may not get the desired specificity. To address these challenges, we introduce
an updated loss function that better aligns training objectives with sampling
behaviors. Experimental validation with FID scores on CIFAR-10 elucidates our
method's ability to produce higher quality samples with fewer sampling
timesteps, and be more robust to the choice of guidance scale $w$. We also
experiment with fine-tuning Stable Diffusion on the proposed loss, to provide
early evidence that large diffusion models may also benefit from this refined
loss function.
- Abstract(参考訳): 拡散モデルは生成モデルにおいて重要な進歩として登場し、生成されたインスタンスの品質に新しい標準を設定する。
本稿では,従来のトレーニング手法と,これらのモデルの条件付きサンプリング行動との相違点を明らかにすることを目的とする。
一般的な分類器なしガイダンス技術はうまく機能するが、欠陥がないわけではない。
ガイダンススケールのパラメータである$w$の値が高くなると、分布サンプルとモードが崩壊することが多いが、$w$の値が低い場合には、望ましい特異性が得られない。
これらの課題に対処するために,トレーニング目標とサンプリング行動との整合性を向上する改良された損失関数を導入する。
cifar-10のfidスコアによる実験的検証は、より少ないサンプリング時間ステップで高品質なサンプルを生成する能力を解明し、ガイダンススケールの選択に対してより堅牢である。
また,提案した損失に対する微調整安定拡散実験を行い,この改良された損失関数の恩恵を受ける可能性があることを示す。
関連論文リスト
- Diffusion Model with Perceptual Loss [4.67483805599143]
平均二乗誤差損失で訓練された拡散モデルは非現実的なサンプルを生成する傾向がある。
分類者なし指導の有効性は、暗黙的な知覚誘導の一形態である事からもたらされる。
そこで本研究では,より現実的なサンプルを生成可能な拡散モデルを実現するための,新たな自己知覚的目標を提案する。
論文 参考訳(メタデータ) (2023-12-30T01:24:25Z) - Manifold Preserving Guided Diffusion [121.97907811212123]
条件付き画像生成は、コスト、一般化可能性、タスク固有のトレーニングの必要性といった課題に直面している。
トレーニング不要な条件生成フレームワークであるManifold Preserving Guided Diffusion (MPGD)を提案する。
論文 参考訳(メタデータ) (2023-11-28T02:08:06Z) - Reducing Spatial Fitting Error in Distillation of Denoising Diffusion
Models [13.364271265023953]
拡散モデルの知識蒸留は、この制限に短いサンプリングプロセスで対処する有効な方法である。
本研究は,教師モデルと学生モデルの両方のトレーニングにおいて発生する空間的適合誤差に起因する。
SFERDは教師モデルと設計した意味的勾配予測器からの注意誘導を利用して、学生の適合誤差を低減する。
CIFAR-10で5.31、ImageNet 64$times$64で9.39のFIDを実現する。
論文 参考訳(メタデータ) (2023-11-07T09:19:28Z) - Discrete Diffusion Modeling by Estimating the Ratios of the Data
Distribution [76.33705947080871]
離散空間に対するスコアマッチングを自然に拡張する新たな損失として,スコアエントロピーを提案する。
標準言語モデリングタスク上で,Score Entropy Discrete Diffusionモデルをテストする。
論文 参考訳(メタデータ) (2023-10-25T17:59:12Z) - Value function estimation using conditional diffusion models for control [62.27184818047923]
拡散値関数(DVF)と呼ばれる単純なアルゴリズムを提案する。
拡散モデルを用いて環境-ロボット相互作用の連成多段階モデルを学ぶ。
本稿では,DVFを用いて複数のコントローラの状態を効率よく把握する方法を示す。
論文 参考訳(メタデータ) (2023-06-09T18:40:55Z) - Towards Controllable Diffusion Models via Reward-Guided Exploration [15.857464051475294]
強化学習(RL)による拡散モデルの学習段階を導く新しい枠組みを提案する。
RLは、政策そのものではなく、指数スケールの報酬に比例したペイオフ分布からのサンプルによる政策勾配を計算することができる。
3次元形状と分子生成タスクの実験は、既存の条件拡散モデルよりも大幅に改善されている。
論文 参考訳(メタデータ) (2023-04-14T13:51:26Z) - Reflected Diffusion Models [93.26107023470979]
本稿では,データのサポートに基づいて進化する反射微分方程式を逆転する反射拡散モデルを提案する。
提案手法は,一般化されたスコアマッチング損失を用いてスコア関数を学習し,標準拡散モデルの主要成分を拡張する。
論文 参考訳(メタデータ) (2023-04-10T17:54:38Z) - Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。
パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
論文 参考訳(メタデータ) (2022-04-13T12:43:12Z) - Improved Denoising Diffusion Probabilistic Models [4.919647298882951]
その結果,ddpmは高いサンプル品質を維持しつつ,競合的なログライク性を達成できることがわかった。
また,逆拡散過程の学習分散により,フォワードパスが桁違いに小さくサンプリングできることがわかった。
これらのモデルのサンプルの品質と可能性について,モデルのキャパシティとトレーニング計算でスムーズに拡張できることを示し,スケーラビリティを向上する。
論文 参考訳(メタデータ) (2021-02-18T23:44:17Z) - Understanding Classifier Mistakes with Generative Models [88.20470690631372]
ディープニューラルネットワークは教師付き学習タスクに有効であるが、脆弱であることが示されている。
本稿では、生成モデルを利用して、分類器が一般化に失敗するインスタンスを特定し、特徴付ける。
我々のアプローチは、トレーニングセットのクラスラベルに依存しないため、半教師付きでトレーニングされたモデルに適用できる。
論文 参考訳(メタデータ) (2020-10-05T22:13:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。