論文の概要: Spontaneous Symmetry Breaking in Generative Diffusion Models
- arxiv url: http://arxiv.org/abs/2305.19693v3
- Date: Thu, 26 Oct 2023 16:02:56 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-28 01:38:57.371732
- Title: Spontaneous Symmetry Breaking in Generative Diffusion Models
- Title(参考訳): 生成拡散モデルにおける自発的対称性の破れ
- Authors: Gabriel Raya, Luca Ambrogioni
- Abstract要約: 生成拡散モデルは近年,高次元データ生成の先導的アプローチとして浮上している。
これらのモデルの力学は、生成力学を2つの異なる位相に分割する自発的対称性の破れを示す。
本稿では,より高性能でバイアスの少ない高速サンプリングを実現する可能性を持つ拡散モデルの生成力学を理解するための新しい手法を提案する。
- 参考スコア(独自算出の注目度): 6.4322891559626125
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Generative diffusion models have recently emerged as a leading approach for
generating high-dimensional data. In this paper, we show that the dynamics of
these models exhibit a spontaneous symmetry breaking that divides the
generative dynamics into two distinct phases: 1) A linear steady-state dynamics
around a central fixed-point and 2) an attractor dynamics directed towards the
data manifold. These two "phases" are separated by the change in stability of
the central fixed-point, with the resulting window of instability being
responsible for the diversity of the generated samples. Using both theoretical
and empirical evidence, we show that an accurate simulation of the early
dynamics does not significantly contribute to the final generation, since early
fluctuations are reverted to the central fixed point. To leverage this insight,
we propose a Gaussian late initialization scheme, which significantly improves
model performance, achieving up to 3x FID improvements on fast samplers, while
also increasing sample diversity (e.g., racial composition of generated CelebA
images). Our work offers a new way to understand the generative dynamics of
diffusion models that has the potential to bring about higher performance and
less biased fast-samplers.
- Abstract(参考訳): 生成拡散モデルは近年,高次元データ生成の先導的アプローチとして浮上している。
本稿では、これらのモデルの力学が、生成力学を2つの異なる位相に分割する自発的対称性の破れを示すことを示す。
1)中央の不動点まわりの線形定常状態ダイナミクス
2) データ多様体を指向したアトラクタダイナミクス。
これら2つの「相」は中心固定点の安定性の変化によって分離され、結果として生じる不安定性の窓が生成したサンプルの多様性の原因となる。
理論的および経験的証拠の両方を用いて、初期変動が中心固定点に逆戻りするため、初期力学の正確なシミュレーションが最終生成に大きく寄与しないことを示す。
この知見を活用するために,モデル性能を大幅に向上し,高速サンプリング器で最大3倍のFID向上を実現し,サンプルの多様性(例えば,生成したCelebA画像の人種構成)を向上するガウス的遅延初期化手法を提案する。
我々の研究は、より高性能でバイアスの少ない高速サンプリングを実現する可能性を持つ拡散モデルの生成力学を理解する新しい方法を提供する。
関連論文リスト
- Boosting Diffusion Models with Moving Average Sampling in Frequency Domain [101.43824674873508]
拡散モデルは、現在のサンプルに頼って次のサンプルをノイズ化し、おそらく不安定化を引き起こす。
本稿では,反復的復調過程をモデル最適化として再解釈し,移動平均機構を利用して全ての先行サンプルをアンサンブルする。
周波数領域における平均サンプリング(MASF)の動作」という完全なアプローチを命名する。
論文 参考訳(メタデータ) (2024-03-26T16:57:55Z) - Fast Diffusion Model [122.36693015093041]
拡散モデル(DM)は、複雑なデータ分布を捉える能力を持つ様々な分野に採用されている。
本稿では,DM最適化の観点から,高速拡散モデル (FDM) を提案する。
論文 参考訳(メタデータ) (2023-06-12T09:38:04Z) - Non-autoregressive Conditional Diffusion Models for Time Series
Prediction [3.9722979176564763]
TimeDiffは、高品質な時系列予測を実現する非自己回帰拡散モデルである。
我々はTimeDiffが既存の時系列拡散モデルより一貫して優れていることを示す。
論文 参考訳(メタデータ) (2023-06-08T08:53:59Z) - DYffusion: A Dynamics-informed Diffusion Model for Spatiotemporal
Forecasting [18.86526240105348]
本稿では,確率的予測のための拡散モデルを効率的に訓練する手法を提案する。
我々は,標準拡散モデルの前方および逆過程を模倣する時間条件補間器と予測器ネットワークを訓練する。
本手法は, 海面温度, ナビエ-ストークス流, および湧水系の複雑な力学の確率論的予測を競合的に行う。
論文 参考訳(メタデータ) (2023-06-03T02:46:31Z) - A Geometric Perspective on Diffusion Models [60.69328526215776]
本稿では,人気のある分散拡散型SDEのODEに基づくサンプリングを検証し,そのサンプリングダイナミクスの興味深い構造を明らかにした。
我々は、最適なODEベースのサンプリングと古典的な平均シフト(モード探索)アルゴリズムの理論的関係を確立する。
論文 参考訳(メタデータ) (2023-05-31T15:33:16Z) - Modiff: Action-Conditioned 3D Motion Generation with Denoising Diffusion
Probabilistic Models [58.357180353368896]
本稿では,現実的で多様な3D骨格に基づく運動生成問題に対処するために,拡散確率モデル(DDPM)の利点を生かした条件付きパラダイムを提案する。
我々はDDPMを用いてカテゴリ的動作で条件付けられた動作列の可変数を合成する先駆的な試みである。
論文 参考訳(メタデータ) (2023-01-10T13:15:42Z) - Deep Equilibrium Approaches to Diffusion Models [1.4275201654498746]
拡散に基づく生成モデルは高品質な画像を生成するのに極めて効果的である。
これらのモデルは通常、高忠実度画像を生成するために長いサンプリングチェーンを必要とする。
我々は、異なる観点からの拡散モデル、すなわち(深い)平衡(DEQ)固定点モデルについて考察する。
論文 参考訳(メタデータ) (2022-10-23T22:02:19Z) - Diffusion Models in Vision: A Survey [80.82832715884597]
拡散モデルは、前方拡散段階と逆拡散段階の2つの段階に基づく深層生成モデルである。
拡散モデルは、既知の計算負荷にもかかわらず、生成したサンプルの品質と多様性に対して広く評価されている。
論文 参考訳(メタデータ) (2022-09-10T22:00:30Z) - How Much is Enough? A Study on Diffusion Times in Score-based Generative
Models [76.76860707897413]
現在のベストプラクティスは、フォワードダイナミクスが既知の単純なノイズ分布に十分に近づくことを確実にするために大きなTを提唱している。
本稿では, 理想とシミュレーションされたフォワードダイナミクスのギャップを埋めるために補助モデルを用いて, 標準的な逆拡散過程を導出する方法について述べる。
論文 参考訳(メタデータ) (2022-06-10T15:09:46Z) - A Score-based Geometric Model for Molecular Dynamics Simulations [33.158796937777886]
分子配座のログ密度の勾配を推定する新しいモデルScoreMDを提案する。
複数のアーキテクチャの改善により、MD17とC7O2H10の異性体において最先端のベースラインよりも優れています。
この研究は、新しい物質の加速と薬物発見に関する新たな洞察を提供する。
論文 参考訳(メタデータ) (2022-04-19T05:13:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。