論文の概要: The statistical thermodynamics of generative diffusion models: Phase transitions, symmetry breaking and critical instability
- arxiv url: http://arxiv.org/abs/2310.17467v2
- Date: Thu, 14 Mar 2024 17:51:56 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-16 02:22:46.593017
- Title: The statistical thermodynamics of generative diffusion models: Phase transitions, symmetry breaking and critical instability
- Title(参考訳): 生成拡散モデルの統計熱力学:相転移、対称性の破れ、臨界不安定性
- Authors: Luca Ambrogioni,
- Abstract要約: 生成拡散モデルが対称性破壊現象に対応する2次相転移を行うことを示す。
相転移から生じる臨界不安定性は、その生成能力の中心にあると我々は主張する。
- 参考スコア(独自算出の注目度): 6.4322891559626125
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Generative diffusion models have achieved spectacular performance in many areas of generative modeling. While the fundamental ideas behind these models come from non-equilibrium physics, variational inference and stochastic calculus, in this paper we show that many aspects of these models can be understood using the tools of equilibrium statistical mechanics. Using this reformulation, we show that generative diffusion models undergo second-order phase transitions corresponding to symmetry breaking phenomena. We show that these phase-transitions are always in a mean-field universality class, as they are the result of a self-consistency condition in the generative dynamics. We argue that the critical instability that arises from the phase transitions lies at the heart of their generative capabilities, which are characterized by a set of mean field critical exponents. Furthermore, using the statistical physics of disordered systems, we show that memorization can be understood as a form of critical condensation corresponding to a disordered phase transition. Finally, we show that the dynamic equation of the generative process can be interpreted as a stochastic adiabatic transformation that minimizes the free energy while keeping the system in thermal equilibrium.
- Abstract(参考訳): 生成的拡散モデルは、生成的モデリングの多くの分野で顕著な性能を達成した。
これらのモデルの背後にある基本的な考え方は、非平衡物理学、変分推論、確率計算であるが、この記事では、これらのモデルの多くの側面が平衡統計力学のツールを用いて理解可能であることを示す。
この再構成を用いて、生成拡散モデルが対称性の破れ現象に対応する2次相転移を行うことを示す。
これらの相転移は常に平均場普遍性クラスであり、生成力学における自己整合状態の結果であることを示す。
位相遷移から生じる臨界不安定性は、その生成能力の中心にあり、これは平均場臨界指数によって特徴づけられる。
さらに、乱れ系の統計物理学を用いて、記憶は乱れ相転移に対応する臨界凝縮の一形態として理解できることを示す。
最後に、生成過程の動的方程式は、系を熱平衡に保ちながら自由エネルギーを最小化する確率的断熱変換と解釈できることを示す。
関連論文リスト
- Spin fluctuations in the dissipative phase transitions of the quantum
Rabi model [0.998109397893173]
キャビティ崩壊を伴う異方性量子Rabiモデルの散逸相転移について検討する。
本研究は, 単一スピン系において, 極端な非平衡状態を形成する傾向を示すものである。
論文 参考訳(メタデータ) (2023-12-11T13:35:05Z) - Probing non-equilibrium dissipative phase transitions with trapped-ion
quantum simulators [0.5356944479760104]
制御可能な散逸を持つオープン量子多体系は、その力学と定常状態に新しい特徴を示すことができる。
この散逸相転移とその非平衡特性の強いシグネチャは、小さなシステムサイズで観測できることが示される。
この方法で構築された散逸は、より一般的な駆動散逸系のシミュレーションを可能にする可能性がある。
論文 参考訳(メタデータ) (2023-11-10T17:31:00Z) - Causal Modeling with Stationary Diffusions [89.94899196106223]
定常密度が干渉下でのシステムの挙動をモデル化する微分方程式を学習する。
古典的アプローチよりもよく、変数に対する見当たらない介入を一般化することを示します。
提案手法は,再生カーネルヒルベルト空間における拡散発生器の定常状態を表す新しい理論結果に基づく。
論文 参考訳(メタデータ) (2023-10-26T14:01:17Z) - Emergence of a quasi-ergodic steady state in a dissipative
Tavis-Cummings array [0.0]
エルゴディックな行動を示す散逸環境における準定常状態の出現を示す。
位相空間力学は、散逸の存在下で魅力的なエルゴード的挙動を示す。
本研究は,本実験における本研究の意義について考察する。
論文 参考訳(メタデータ) (2023-10-19T14:30:21Z) - Quantum Effects on the Synchronization Dynamics of the Kuramoto Model [62.997667081978825]
量子揺らぎは同期の出現を妨げるが、完全に抑制するわけではない。
モデルパラメータへの依存を強調して,臨界結合の解析式を導出する。
論文 参考訳(メタデータ) (2023-06-16T16:41:16Z) - Signatures of a quantum phase transition on a single-mode bosonic model [0.0]
平衡相転移は多体系の微視的挙動から生じる。
これらは熱力学限界における熱力学ポテンシャルの非解析的挙動によって定義される。
これまでの考え方を極端に考えると、そのような制限は拡張されないシステムでも定義できると論じる。
論文 参考訳(メタデータ) (2023-03-22T20:14:45Z) - Information compression at the turbulent-phase transition in cold atom
gases [0.0]
我々は, 急激な電子共鳴に近づいた寒冷な原子雲の遷移を, 安定相から乱流相への遷移について検討した。
原子密度分布から、2つの異なる基底集合でシャノンエントロピーを計算する。
シャノンエントロピーの最小値に対応する情報圧縮は臨界度で観測されている。
論文 参考訳(メタデータ) (2022-11-02T21:12:43Z) - GeoDiff: a Geometric Diffusion Model for Molecular Conformation
Generation [102.85440102147267]
分子配座予測のための新しい生成モデルGeoDiffを提案する。
GeoDiffは、既存の最先端のアプローチよりも優れているか、あるいは同等であることを示す。
論文 参考訳(メタデータ) (2022-03-06T09:47:01Z) - Geometric phase in a dissipative Jaynes-Cummings model: theoretical
explanation for resonance robustness [68.8204255655161]
我々は、ユニタリモデルと散逸型Jaynes-Cummingsモデルの両方で得られた幾何位相を計算する。
散逸モデルでは、非単体効果は、空洞壁を通る光子の流出から生じる。
幾何学的位相が堅牢であることを示し、非単体進化の下で消滅する補正を示す。
論文 参考訳(メタデータ) (2021-10-27T15:27:54Z) - Analog cosmological reheating in an ultracold Bose gas [58.720142291102135]
超低温ボースガス中の一般宇宙論単体モデルの再加熱様ダイナミクスを量子シミュレーションする。
非相対論的極限において、拡大時空と背景振動インフラトン場を模倣する。
提案された実験は、弱い結合状態を超えても、最近まで進化を探求する可能性がある。
論文 参考訳(メタデータ) (2020-08-05T18:00:26Z) - Probing eigenstate thermalization in quantum simulators via
fluctuation-dissipation relations [77.34726150561087]
固有状態熱化仮説(ETH)は、閉量子多体系の平衡へのアプローチの普遍的なメカニズムを提供する。
本稿では, ゆらぎ・散逸関係の出現を観測し, 量子シミュレータのフルETHを探索する理論に依存しない経路を提案する。
我々の研究は、量子シミュレータにおける熱化を特徴づける理論に依存しない方法を示し、凝縮物質ポンプ-プローブ実験をシミュレーションする方法を舗装する。
論文 参考訳(メタデータ) (2020-07-20T18:00:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。