論文の概要: Spontaneous symmetry breaking in generative diffusion models

• arxiv url: http://arxiv.org/abs/2305.19693v1
• Date: Wed, 31 May 2023 09:36:34 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-01 17:28:58.190333
• Title: Spontaneous symmetry breaking in generative diffusion models
• Title（参考訳）: 生成拡散モデルにおける自然対称性の破れ
• Authors: Gabriel Raya, Luca Ambrogioni
• Abstract要約: 生成拡散モデルは近年,高次元データ生成の先導的アプローチとして浮上している。 これらのモデルの力学は、生成力学を2つの異なる位相に分割する自発的対称性の破れを示す。 本稿では,より高性能でバイアスの少ない高速サンプリングを実現する可能性を持つ拡散モデルの生成力学を理解するための新しい手法を提案する。
• 参考スコア（独自算出の注目度）: 6.640137436520695
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Generative diffusion models have recently emerged as a leading approach for generating high-dimensional data. In this paper, we show that the dynamics of these models exhibit a spontaneous symmetry breaking that divides the generative dynamics into two distinct phases: 1) A linear steady-state dynamics around a central fixed-point and 2) an attractor dynamics directed towards the data manifold. These two "phases" are separated by the change in stability of the central fixed-point, with the resulting window of instability being responsible for the diversity of the generated samples. Using both theoretical and empirical evidence, we show that an accurate simulation of the early dynamics does not significantly contribute to the final generation, since early fluctuations are reverted to the central fixed point. To leverage this insight, we propose a Gaussian late initialization scheme, which significantly improves model performance, achieving up to 3x FID improvements on fast samplers, while also increasing sample diversity (e.g., racial composition of generated CelebA images). Our work offers a new way to understand the generative dynamics of diffusion models that has the potential to bring about higher performance and less biased fast-samplers.
• Abstract（参考訳）: 生成拡散モデルは近年,高次元データ生成の先導的アプローチとして浮上している。 本稿では、これらのモデルの力学が、生成力学を2つの異なる位相に分割する自発的対称性の破れを示すことを示す。 1)中央の不動点まわりの線形定常状態ダイナミクス 2) データ多様体を指向したアトラクタダイナミクス。 これら2つの「相」は中心固定点の安定性の変化によって分離され、結果として生じる不安定性の窓が生成したサンプルの多様性の原因となる。 理論的および経験的証拠の両方を用いて、初期変動が中心固定点に逆戻りするため、初期力学の正確なシミュレーションが最終生成に大きく寄与しないことを示す。 この知見を活用するために,モデル性能を大幅に向上し,高速サンプリング器で最大3倍のFID向上を実現し,サンプルの多様性(例えば,生成したCelebA画像の人種構成)を向上するガウス的遅延初期化手法を提案する。 我々の研究は、より高性能でバイアスの少ない高速サンプリングを実現する可能性を持つ拡散モデルの生成力学を理解する新しい方法を提供する。

関連論文リスト

• Energy-Based Diffusion Language Models for Text Generation [126.23425882687195]
  エネルギーベース拡散言語モデル(Energy-based Diffusion Language Model, EDLM)は、拡散ステップごとに全シーケンスレベルで動作するエネルギーベースモデルである。 我々のフレームワークは、既存の拡散モデルよりも1.3$times$のサンプリングスピードアップを提供する。
  論文  参考訳（メタデータ） (2024-10-28T17:25:56Z)
• Geometric Trajectory Diffusion Models [58.853975433383326]
  生成モデルは3次元幾何学システムの生成において大きな可能性を示してきた。 既存のアプローチは静的構造のみで動作し、物理系は常に自然界において動的であるという事実を無視する。 本研究では3次元軌跡の時間分布をモデル化する最初の拡散モデルである幾何軌道拡散モデル(GeoTDM)を提案する。
  論文  参考訳（メタデータ） (2024-10-16T20:36:41Z)
• Controlling the Fidelity and Diversity of Deep Generative Models via Pseudo Density [70.14884528360199]
  本稿では, GAN や拡散モデルなどのバイアス深層生成モデルへのアプローチを導入し, 忠実度の向上や多様性の向上を図ったデータ生成手法を提案する。 提案手法では, 擬似密度という, 個人サンプルの新たな測定基準を用いて, トレーニングとデータ生成の分布を操作する。
  論文  参考訳（メタデータ） (2024-07-11T16:46:04Z)
• Unfolding Time: Generative Modeling for Turbulent Flows in 4D [49.843505326598596]
  本研究では,4次元生成拡散モデルと物理インフォームドガイダンスを導入し,現実的な流れ状態列の生成を可能にする。 提案手法は, 乱流多様体からのサブシーケンス全体のサンプリングに有効であることが示唆された。 この進展は、乱流の時間的進化を分析するために生成モデリングを適用するための扉を開く。
  論文  参考訳（メタデータ） (2024-06-17T10:21:01Z)
• The statistical thermodynamics of generative diffusion models: Phase transitions, symmetry breaking and critical instability [6.4322891559626125]
  生成拡散モデルが普遍性破壊現象に対応する2次相転移を行うことを示す。 相転移から生じる臨界不安定性は、その生成能力の中心にあると我々は主張する。
  論文  参考訳（メタデータ） (2023-10-26T15:15:01Z)
• Non-autoregressive Conditional Diffusion Models for Time Series Prediction [3.9722979176564763]
  TimeDiffは、高品質な時系列予測を実現する非自己回帰拡散モデルである。 我々はTimeDiffが既存の時系列拡散モデルより一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-08T08:53:59Z)
• DYffusion: A Dynamics-informed Diffusion Model for Spatiotemporal Forecasting [18.86526240105348]
  本稿では,確率的予測のための拡散モデルを効率的に訓練する手法を提案する。 我々は,標準拡散モデルの前方および逆過程を模倣する時間条件補間器と予測器ネットワークを訓練する。 本手法は, 海面温度, ナビエ-ストークス流, および湧水系の複雑な力学の確率論的予測を競合的に行う。
  論文  参考訳（メタデータ） (2023-06-03T02:46:31Z)
• Modiff: Action-Conditioned 3D Motion Generation with Denoising Diffusion Probabilistic Models [58.357180353368896]
  本稿では,現実的で多様な3D骨格に基づく運動生成問題に対処するために,拡散確率モデル(DDPM)の利点を生かした条件付きパラダイムを提案する。 我々はDDPMを用いてカテゴリ的動作で条件付けられた動作列の可変数を合成する先駆的な試みである。
  論文  参考訳（メタデータ） (2023-01-10T13:15:42Z)
• Diffusion Models in Vision: A Survey [80.82832715884597]
  拡散モデルは、前方拡散段階と逆拡散段階の2つの段階に基づく深層生成モデルである。 拡散モデルは、既知の計算負荷にもかかわらず、生成したサンプルの品質と多様性に対して広く評価されている。
  論文  参考訳（メタデータ） (2022-09-10T22:00:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。