論文の概要: The statistical thermodynamics of generative diffusion models: Phase transitions, symmetry breaking and critical instability

• arxiv url: http://arxiv.org/abs/2310.17467v4
• Date: Thu, 20 Jun 2024 08:39:11 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-22 06:27:34.406224
• Title: The statistical thermodynamics of generative diffusion models: Phase transitions, symmetry breaking and critical instability
• Title（参考訳）: 生成拡散モデルの統計熱力学:相転移、対称性の破れ、臨界不安定性
• Authors: Luca Ambrogioni,
• Abstract要約: 生成拡散モデルが普遍性破壊現象に対応する2次相転移を行うことを示す。 相転移から生じる臨界不安定性は、その生成能力の中心にあると我々は主張する。
• 参考スコア（独自算出の注目度）: 6.4322891559626125
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generative diffusion models have achieved spectacular performance in many areas of machine learning and generative modeling. While the fundamental ideas behind these models come from non-equilibrium physics, variational inference and stochastic calculus, in this paper we show that many aspects of these models can be understood using the tools of equilibrium statistical mechanics. Using this reformulation, we show that generative diffusion models undergo second-order phase transitions corresponding to symmetry breaking phenomena. We show that these phase-transitions are always in a mean-field universality class, as they are the result of a self-consistency condition in the generative dynamics. We argue that the critical instability that arises from the phase transitions lies at the heart of their generative capabilities, which are characterized by a set of mean-field critical exponents. Finally, we show that the dynamic equation of the generative process can be interpreted as a stochastic adiabatic transformation that minimizes the free energy while keeping the system in thermal equilibrium.
• Abstract（参考訳）: 生成拡散モデルは、機械学習と生成モデリングの多くの領域において、目覚ましい性能を達成した。 これらのモデルの背後にある基本的な考え方は、非平衡物理学、変分推論、確率計算であるが、この記事では、これらのモデルの多くの側面が平衡統計力学のツールを用いて理解可能であることを示す。 この再構成を用いて、生成拡散モデルが対称性の破れ現象に対応する2次相転移を行うことを示す。 これらの相転移は常に平均場普遍性クラスであり、生成力学における自己整合状態の結果であることを示す。 相転移から生じる臨界不安定性は、その生成能力の中心にあり、これは平均場臨界指数によって特徴づけられる。 最後に、生成過程の動的方程式は、系を熱平衡に保ちながら自由エネルギーを最小化する確率的断熱変換と解釈できることを示す。

関連論文リスト

• Energy-Based Diffusion Language Models for Text Generation [126.23425882687195]
  エネルギーベース拡散言語モデル(Energy-based Diffusion Language Model, EDLM)は、拡散ステップごとに全シーケンスレベルで動作するエネルギーベースモデルである。 我々のフレームワークは、既存の拡散モデルよりも1.3$times$のサンプリングスピードアップを提供する。
  論文  参考訳（メタデータ） (2024-10-28T17:25:56Z)
• Geometric Trajectory Diffusion Models [58.853975433383326]
  生成モデルは3次元幾何学システムの生成において大きな可能性を示してきた。 既存のアプローチは静的構造のみで動作し、物理系は常に自然界において動的であるという事実を無視する。 本研究では3次元軌跡の時間分布をモデル化する最初の拡散モデルである幾何軌道拡散モデル(GeoTDM)を提案する。
  論文  参考訳（メタデータ） (2024-10-16T20:36:41Z)
• Nonequilbrium physics of generative diffusion models [2.5690340428649328]
  生成拡散モデルは、物理学におけるランゲヴィン力学の概念を機械的傾きに適用する。 拡散モデルの透過的な物理解析を行い、揺らぎ定理、エントロピー生成、平衡測度、フランツ・パリポテンシャルを定式化する。 本研究は, 熱力学, 統計的推測, 幾何に基づく解析を関連付け, 生成拡散モデルがどのように機能するかのコヒーレントな図式を作成する。
  論文  参考訳（メタデータ） (2024-05-20T10:16:26Z)
• Probing non-equilibrium dissipative phase transitions with trapped-ion quantum simulators [0.5356944479760104]
  制御可能な散逸を持つオープン量子多体系は、その力学と定常状態に新しい特徴を示すことができる。 この散逸相転移とその非平衡特性の強いシグネチャは、小さなシステムサイズで観測できることが示される。 この方法で構築された散逸は、より一般的な駆動散逸系のシミュレーションを可能にする可能性がある。
  論文  参考訳（メタデータ） (2023-11-10T17:31:00Z)
• Causal Modeling with Stationary Diffusions [89.94899196106223]
  定常密度が干渉下でのシステムの挙動をモデル化する微分方程式を学習する。 古典的アプローチよりもよく、変数に対する見当たらない介入を一般化することを示します。 提案手法は,再生カーネルヒルベルト空間における拡散発生器の定常状態を表す新しい理論結果に基づく。
  論文  参考訳（メタデータ） (2023-10-26T14:01:17Z)
• Emergence of a quasi-ergodic steady state in a dissipative Tavis-Cummings array [0.0]
  エルゴディックな行動を示す散逸環境における準定常状態の出現を示す。 位相空間力学は、散逸の存在下で魅力的なエルゴード的挙動を示す。 本研究は,本実験における本研究の意義について考察する。
  論文  参考訳（メタデータ） (2023-10-19T14:30:21Z)
• Quantum Effects on the Synchronization Dynamics of the Kuramoto Model [62.997667081978825]
  量子揺らぎは同期の出現を妨げるが、完全に抑制するわけではない。 モデルパラメータへの依存を強調して,臨界結合の解析式を導出する。
  論文  参考訳（メタデータ） (2023-06-16T16:41:16Z)
• Spontaneous Symmetry Breaking in Generative Diffusion Models [6.4322891559626125]
  生成拡散モデルは近年,高次元データ生成の先導的アプローチとして浮上している。 これらのモデルの力学は、生成力学を2つの異なる位相に分割する自発的対称性の破れを示す。 本稿では,より高性能でバイアスの少ない高速サンプリングを実現する可能性を持つ拡散モデルの生成力学を理解するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-05-31T09:36:34Z)
• Signatures of a quantum phase transition on a single-mode bosonic model [0.0]
  平衡相転移は多体系の微視的挙動から生じる。 これらは熱力学限界における熱力学ポテンシャルの非解析的挙動によって定義される。 これまでの考え方を極端に考えると、そのような制限は拡張されないシステムでも定義できると論じる。
  論文  参考訳（メタデータ） (2023-03-22T20:14:45Z)
• GeoDiff: a Geometric Diffusion Model for Molecular Conformation Generation [102.85440102147267]
  分子配座予測のための新しい生成モデルGeoDiffを提案する。 GeoDiffは、既存の最先端のアプローチよりも優れているか、あるいは同等であることを示す。
  論文  参考訳（メタデータ） (2022-03-06T09:47:01Z)
• Geometric phase in a dissipative Jaynes-Cummings model: theoretical explanation for resonance robustness [68.8204255655161]
  我々は、ユニタリモデルと散逸型Jaynes-Cummingsモデルの両方で得られた幾何位相を計算する。 散逸モデルでは、非単体効果は、空洞壁を通る光子の流出から生じる。 幾何学的位相が堅牢であることを示し、非単体進化の下で消滅する補正を示す。
  論文  参考訳（メタデータ） (2021-10-27T15:27:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。