論文の概要: The statistical thermodynamics of generative diffusion models: Phase transitions, symmetry breaking and critical instability
- arxiv url: http://arxiv.org/abs/2310.17467v4
- Date: Thu, 20 Jun 2024 08:39:11 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-22 06:27:34.406224
- Title: The statistical thermodynamics of generative diffusion models: Phase transitions, symmetry breaking and critical instability
- Title（参考訳）: 生成拡散モデルの統計熱力学:相転移、対称性の破れ、臨界不安定性
- Authors: Luca Ambrogioni,
- Abstract要約: 生成拡散モデルが普遍性破壊現象に対応する2次相転移を行うことを示す。
相転移から生じる臨界不安定性は、その生成能力の中心にあると我々は主張する。
- 参考スコア（独自算出の注目度）: 6.4322891559626125
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Generative diffusion models have achieved spectacular performance in many areas of machine learning and generative modeling. While the fundamental ideas behind these models come from non-equilibrium physics, variational inference and stochastic calculus, in this paper we show that many aspects of these models can be understood using the tools of equilibrium statistical mechanics. Using this reformulation, we show that generative diffusion models undergo second-order phase transitions corresponding to symmetry breaking phenomena. We show that these phase-transitions are always in a mean-field universality class, as they are the result of a self-consistency condition in the generative dynamics. We argue that the critical instability that arises from the phase transitions lies at the heart of their generative capabilities, which are characterized by a set of mean-field critical exponents. Finally, we show that the dynamic equation of the generative process can be interpreted as a stochastic adiabatic transformation that minimizes the free energy while keeping the system in thermal equilibrium.
- Abstract（参考訳）: 生成拡散モデルは、機械学習と生成モデリングの多くの領域において、目覚ましい性能を達成した。
これらのモデルの背後にある基本的な考え方は、非平衡物理学、変分推論、確率計算であるが、この記事では、これらのモデルの多くの側面が平衡統計力学のツールを用いて理解可能であることを示す。
この再構成を用いて、生成拡散モデルが対称性の破れ現象に対応する2次相転移を行うことを示す。
これらの相転移は常に平均場普遍性クラスであり、生成力学における自己整合状態の結果であることを示す。
相転移から生じる臨界不安定性は、その生成能力の中心にあり、これは平均場臨界指数によって特徴づけられる。
最後に、生成過程の動的方程式は、系を熱平衡に保ちながら自由エネルギーを最小化する確率的断熱変換と解釈できることを示す。
関連論文リスト
- Nonequilbrium physics of generative diffusion models [2.5690340428649328]
拡散モデルの透過的な物理解析を行い, ゆらぎ定理, エントロピー生成, 固有相転移を理解するフランツ・パリポテンシャルを導出する。
我々の分析は、非平衡物理学や平衡物理学の概念、すなわち、前方と後方の両方の力学をランゲヴィン力学として扱うことに根ざしている。
この統一原理は、機械学習の実践者がより良いアルゴリズムや理論物理学者を設計し、機械学習と非平衡熱力学を結びつけるよう導くことが期待されている。
論文 参考訳（メタデータ） (2024-05-20T10:16:26Z) - Probing non-equilibrium dissipative phase transitions with trapped-ion
quantum simulators [0.5356944479760104]
制御可能な散逸を持つオープン量子多体系は、その力学と定常状態に新しい特徴を示すことができる。
この散逸相転移とその非平衡特性の強いシグネチャは、小さなシステムサイズで観測できることが示される。
この方法で構築された散逸は、より一般的な駆動散逸系のシミュレーションを可能にする可能性がある。
論文 参考訳（メタデータ） (2023-11-10T17:31:00Z) - Causal Modeling with Stationary Diffusions [89.94899196106223]
定常密度が干渉下でのシステムの挙動をモデル化する微分方程式を学習する。
古典的アプローチよりもよく、変数に対する見当たらない介入を一般化することを示します。
提案手法は,再生カーネルヒルベルト空間における拡散発生器の定常状態を表す新しい理論結果に基づく。
論文 参考訳（メタデータ） (2023-10-26T14:01:17Z) - Emergence of a quasi-ergodic steady state in a dissipative
Tavis-Cummings array [0.0]
エルゴディックな行動を示す散逸環境における準定常状態の出現を示す。
位相空間力学は、散逸の存在下で魅力的なエルゴード的挙動を示す。
本研究は,本実験における本研究の意義について考察する。
論文 参考訳（メタデータ） (2023-10-19T14:30:21Z) - Quantum Effects on the Synchronization Dynamics of the Kuramoto Model [62.997667081978825]
量子揺らぎは同期の出現を妨げるが、完全に抑制するわけではない。
モデルパラメータへの依存を強調して,臨界結合の解析式を導出する。
論文 参考訳（メタデータ） (2023-06-16T16:41:16Z) - Spontaneous Symmetry Breaking in Generative Diffusion Models [6.4322891559626125]
生成拡散モデルは近年,高次元データ生成の先導的アプローチとして浮上している。
これらのモデルの力学は、生成力学を2つの異なる位相に分割する自発的対称性の破れを示す。
本稿では,より高性能でバイアスの少ない高速サンプリングを実現する可能性を持つ拡散モデルの生成力学を理解するための新しい手法を提案する。
論文 参考訳（メタデータ） (2023-05-31T09:36:34Z) - Signatures of a quantum phase transition on a single-mode bosonic model [0.0]
平衡相転移は多体系の微視的挙動から生じる。
これらは熱力学限界における熱力学ポテンシャルの非解析的挙動によって定義される。
これまでの考え方を極端に考えると、そのような制限は拡張されないシステムでも定義できると論じる。
論文 参考訳（メタデータ） (2023-03-22T20:14:45Z) - Diffusion Models in Vision: A Survey [80.82832715884597]
拡散モデルは、前方拡散段階と逆拡散段階の2つの段階に基づく深層生成モデルである。
拡散モデルは、既知の計算負荷にもかかわらず、生成したサンプルの品質と多様性に対して広く評価されている。
論文 参考訳（メタデータ） (2022-09-10T22:00:30Z) - GeoDiff: a Geometric Diffusion Model for Molecular Conformation
Generation [102.85440102147267]
分子配座予測のための新しい生成モデルGeoDiffを提案する。
GeoDiffは、既存の最先端のアプローチよりも優れているか、あるいは同等であることを示す。
論文 参考訳（メタデータ） (2022-03-06T09:47:01Z) - Geometric phase in a dissipative Jaynes-Cummings model: theoretical
explanation for resonance robustness [68.8204255655161]
我々は、ユニタリモデルと散逸型Jaynes-Cummingsモデルの両方で得られた幾何位相を計算する。
散逸モデルでは、非単体効果は、空洞壁を通る光子の流出から生じる。
幾何学的位相が堅牢であることを示し、非単体進化の下で消滅する補正を示す。
論文 参考訳（メタデータ） (2021-10-27T15:27:54Z) - Analog cosmological reheating in an ultracold Bose gas [58.720142291102135]
超低温ボースガス中の一般宇宙論単体モデルの再加熱様ダイナミクスを量子シミュレーションする。
非相対論的極限において、拡大時空と背景振動インフラトン場を模倣する。
提案された実験は、弱い結合状態を超えても、最近まで進化を探求する可能性がある。
論文 参考訳（メタデータ） (2020-08-05T18:00:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。