論文の概要: Nonequilbrium physics of generative diffusion models

• arxiv url: http://arxiv.org/abs/2405.11932v1
• Date: Mon, 20 May 2024 10:16:26 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-21 13:24:44.750363
• Title: Nonequilbrium physics of generative diffusion models
• Title（参考訳）: 生成拡散模型の非平衡物理学
• Authors: Zhendong Yu, Haiping Huang,
• Abstract要約: 拡散モデルの透過的な物理解析を行い, ゆらぎ定理, エントロピー生成, 固有相転移を理解するフランツ・パリポテンシャルを導出する。 我々の分析は、非平衡物理学や平衡物理学の概念、すなわち、前方と後方の両方の力学をランゲヴィン力学として扱うことに根ざしている。 この統一原理は、機械学習の実践者がより良いアルゴリズムや理論物理学者を設計し、機械学習と非平衡熱力学を結びつけるよう導くことが期待されている。
• 参考スコア（独自算出の注目度）: 2.5690340428649328
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Generative diffusion models apply the concept of Langevin dynamics in physics to machine leaning, attracting a lot of interest from industrial application, but a complete picture about inherent mechanisms is still lacking. In this paper, we provide a transparent physics analysis of the diffusion models, deriving the fluctuation theorem, entropy production, Franz-Parisi potential to understand the intrinsic phase transitions discovered recently. Our analysis is rooted in non-equlibrium physics and concepts from equilibrium physics, i.e., treating both forward and backward dynamics as a Langevin dynamics, and treating the reverse diffusion generative process as a statistical inference, where the time-dependent state variables serve as quenched disorder studied in spin glass theory. This unified principle is expected to guide machine learning practitioners to design better algorithms and theoretical physicists to link the machine learning to non-equilibrium thermodynamics.
• Abstract（参考訳）: 生成拡散モデルは、物理学におけるランゲヴィン力学の概念を機械的傾きに適用し、産業的応用から多くの関心を惹きつけるが、固有のメカニズムに関する完全な図面はいまだに欠けている。 本稿では,近年発見された固有相転移を理解するために,ゆらぎ定理,エントロピー生成,フランツ・パリポテンシャルを導出した拡散モデルの透過的な物理解析を行う。 我々の解析は、非平衡物理学や平衡物理学の概念、すなわち、前方と後方のダイナミクスをランゲヴィン力学として扱い、逆拡散生成過程を統計的推論として扱い、時間依存状態変数がスピングラス理論で研究された待ち時間障害として機能する。 この統一原理は、機械学習の実践者がより良いアルゴリズムや理論物理学者を設計し、機械学習と非平衡熱力学を結びつけるよう導くことが期待されている。

関連論文リスト

• Geometric Trajectory Diffusion Models [58.853975433383326]
  生成モデルは3次元幾何学システムの生成において大きな可能性を示してきた。 既存のアプローチは静的構造のみで動作し、物理系は常に自然界において動的であるという事実を無視する。 本研究では3次元軌跡の時間分布をモデル化する最初の拡散モデルである幾何軌道拡散モデル(GeoTDM)を提案する。
  論文  参考訳（メタデータ） (2024-10-16T20:36:41Z)
• Neural Message Passing Induced by Energy-Constrained Diffusion [79.9193447649011]
  本稿では,MPNNのメカニズムを理解するための原理的解釈可能なフレームワークとして,エネルギー制約付き拡散モデルを提案する。 データ構造が(グラフとして)観察されたり、部分的に観察されたり、完全に観察されなかったりした場合に、新しいモデルが有望な性能が得られることを示す。
  論文  参考訳（メタデータ） (2024-09-13T17:54:41Z)
• An Overview of Diffusion Models: Applications, Guided Generation, Statistical Rates and Optimization [59.63880337156392]
  拡散モデルはコンピュータビジョン、オーディオ、強化学習、計算生物学において大きな成功を収めた。 経験的成功にもかかわらず、拡散モデルの理論は非常に限定的である。 本稿では,前向きな理論や拡散モデルの手法を刺激する理論的露光について述べる。
  論文  参考訳（メタデータ） (2024-04-11T14:07:25Z)
• Dynamical Regimes of Diffusion Models [14.797301819675454]
  空間の次元とデータ数が大きい体制における生成拡散モデルについて検討する。 本研究は, 逆向き発生拡散過程における3つの異なる動的状態を明らかにするものである。 崩壊時間の次元とデータ数への依存性は、拡散モデルにおける次元の呪いの徹底的な評価を与える。
  論文  参考訳（メタデータ） (2024-02-28T17:19:26Z)
• The statistical thermodynamics of generative diffusion models: Phase transitions, symmetry breaking and critical instability [6.4322891559626125]
  生成拡散モデルが普遍性破壊現象に対応する2次相転移を行うことを示す。 相転移から生じる臨界不安定性は、その生成能力の中心にあると我々は主張する。
  論文  参考訳（メタデータ） (2023-10-26T15:15:01Z)
• Causal Modeling with Stationary Diffusions [89.94899196106223]
  定常密度が干渉下でのシステムの挙動をモデル化する微分方程式を学習する。 古典的アプローチよりもよく、変数に対する見当たらない介入を一般化することを示します。 提案手法は,再生カーネルヒルベルト空間における拡散発生器の定常状態を表す新しい理論結果に基づく。
  論文  参考訳（メタデータ） (2023-10-26T14:01:17Z)
• End-To-End Latent Variational Diffusion Models for Inverse Problems in High Energy Physics [61.44793171735013]
  本稿では,最先端生成技術アプローチの潜時学習とエンドツーエンドの変分フレームワークを組み合わせた,新しい統合アーキテクチャ,潜時変分モデルを提案する。 我々の統一的アプローチは、非最新技術ベースラインの20倍以上の真理への分布自由距離を達成する。
  論文  参考訳（メタデータ） (2023-05-17T17:43:10Z)
• Theoretical Analysis of Exciton Wave Packet Dynamics in Polaritonic Wires [0.0]
  本稿では、不規則極性ワイヤにおけるエキシトン波パケットの進化に関する包括的研究を行う。 本シミュレーションでは, 強い光物質結合下での弾道的, 拡散的, サブ拡散的励起子のダイナミクスのシグネチャを明らかにする。 本稿では,理論モデル開発における研究の意義について論じる。
  論文  参考訳（メタデータ） (2023-04-22T17:25:58Z)
• Diffusion Models in Vision: A Survey [80.82832715884597]
  拡散モデルは、前方拡散段階と逆拡散段階の2つの段階に基づく深層生成モデルである。 拡散モデルは、既知の計算負荷にもかかわらず、生成したサンプルの品質と多様性に対して広く評価されている。
  論文  参考訳（メタデータ） (2022-09-10T22:00:30Z)
• Thermodynamic Unification of Optimal Transport: Thermodynamic Uncertainty Relation, Minimum Dissipation, and Thermodynamic Speed Limits [0.0]
  ワッサーシュタイン距離は可逆エントロピー生成と全ての許容マルコフ力学上の動的状態移動の最小積と等しいことを示す。 これらの公式は、離散的かつ連続的なケースに対する熱力学と最適輸送理論の関係を統一するだけでなく、量子的ケースにも一般化する。
  論文  参考訳（メタデータ） (2022-06-06T15:37:59Z)
• Anomalous statistics of laser-cooled atoms in dissipative optical lattices [0.0]
  1世紀前、この種の力学への拡張が「異常」拡散の形で得られることが判明した。 レーザー冷却された原子アンサンブルは、そのようなダイナミクスのテストベッドとして使用できる。
  論文  参考訳（メタデータ） (2021-07-20T14:19:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。