論文の概要: Dynamical Regimes of Diffusion Models

• arxiv url: http://arxiv.org/abs/2402.18491v1
• Date: Wed, 28 Feb 2024 17:19:26 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-29 14:18:55.747781
• Title: Dynamical Regimes of Diffusion Models
• Title（参考訳）: 拡散モデルの動的レジーム
• Authors: Giulio Biroli, Tony Bonnaire, Valentin de Bortoli, Marc M\'ezard
• Abstract要約: 空間の次元とデータ数が大きい体制における生成拡散モデルについて検討する。 本研究は, 逆向き発生拡散過程における3つの異なる動的状態を明らかにするものである。 崩壊時間の次元とデータ数への依存性は、拡散モデルにおける次元の呪いの徹底的な評価を与える。
• 参考スコア（独自算出の注目度）: 14.797301819675454
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Using statistical physics methods, we study generative diffusion models in the regime where the dimension of space and the number of data are large, and the score function has been trained optimally. Our analysis reveals three distinct dynamical regimes during the backward generative diffusion process. The generative dynamics, starting from pure noise, encounters first a 'speciation' transition where the gross structure of data is unraveled, through a mechanism similar to symmetry breaking in phase transitions. It is followed at later time by a 'collapse' transition where the trajectories of the dynamics become attracted to one of the memorized data points, through a mechanism which is similar to the condensation in a glass phase. For any dataset, the speciation time can be found from a spectral analysis of the correlation matrix, and the collapse time can be found from the estimation of an 'excess entropy' in the data. The dependence of the collapse time on the dimension and number of data provides a thorough characterization of the curse of dimensionality for diffusion models. Analytical solutions for simple models like high-dimensional Gaussian mixtures substantiate these findings and provide a theoretical framework, while extensions to more complex scenarios and numerical validations with real datasets confirm the theoretical predictions.
• Abstract（参考訳）: 統計物理学的手法を用いて,空間の次元とデータ数が大きく,スコア関数が最適に訓練された領域における生成拡散モデルについて検討した。 解析の結果,後方生成拡散過程における3つの異なる動的レジームが明らかになった。 生成力学は純粋なノイズから始まり、まず、相転移の対称性の破れに似たメカニズムを通じて、データの全体構造が未発見の「種分化」遷移に遭遇する。 その後、ガラス相の凝縮に類似した機構を通じて、ダイナミクスの軌道が記憶されたデータポイントの1つに惹かれる「凝縮」遷移が起こる。 任意のデータセットでは、相関行列のスペクトル分析から種分化時間を見つけることができ、データ内の「外エントロピー」の推定から崩壊時間を求めることができる。 崩壊時間の次元とデータ数への依存性は拡散モデルにおける次元の呪いの徹底的な特徴を与える。 高次元ガウス混合のような単純なモデルの解析解はこれらの発見を裏付け、理論的な枠組みを提供する一方で、より複雑なシナリオへの拡張や実際のデータセットによる数値的検証は理論的な予測を裏付ける。

関連論文リスト

• Convergence of Score-Based Discrete Diffusion Models: A Discrete-Time Analysis [56.442307356162864]
  連続時間マルコフ連鎖(CTMC)に基づくスコアベース離散拡散モデルの理論的側面について検討する。 本稿では,事前定義された時間点におけるスコア推定値を利用する離散時間サンプリングアルゴリズムを一般状態空間$[S]d$に導入する。 我々の収束解析はジルサノフ法を用いて離散スコア関数の重要な性質を確立する。
  論文  参考訳（メタデータ） (2024-10-03T09:07:13Z)
• Latent diffusion models for parameterization and data assimilation of facies-based geomodels [0.0]
  拡散モデルは、ランダムノイズを特徴とする入力場から新しい地質学的実現を生成するために訓練される。 遅延拡散モデルは、ジオモデリングソフトウェアからのサンプルと視覚的に整合した実現を提供する。
  論文  参考訳（メタデータ） (2024-06-21T01:32:03Z)
• Diffusion posterior sampling for simulation-based inference in tall data settings [53.17563688225137]
  シミュレーションベース推論(SBI)は、入力パラメータを所定の観測に関連付ける後部分布を近似することができる。 本研究では、モデルのパラメータをより正確に推測するために、複数の観測値が利用できる、背の高いデータ拡張について考察する。 提案手法を,最近提案した各種数値実験の競合手法と比較し,数値安定性と計算コストの観点から,その優位性を実証した。
  論文  参考訳（メタデータ） (2024-04-11T09:23:36Z)
• Synthetic location trajectory generation using categorical diffusion models [50.809683239937584]
  拡散モデル(DPM)は急速に進化し、合成データのシミュレーションにおける主要な生成モデルの一つとなっている。 本稿では,個人が訪れた物理的位置を表す変数列である合成個別位置軌跡(ILT)の生成にDPMを用いることを提案する。
  論文  参考訳（メタデータ） (2024-02-19T15:57:39Z)
• Towards Theoretical Understandings of Self-Consuming Generative Models [56.84592466204185]
  本稿では,自己消費ループ内で生成モデルを訓練する新たな課題に取り組む。 我々は,このトレーニングが将来のモデルで学習したデータ分布に与える影響を厳格に評価するための理論的枠組みを構築した。 カーネル密度推定の結果は,混合データトレーニングがエラー伝播に与える影響など,微妙な洞察を与える。
  論文  参考訳（メタデータ） (2024-02-19T02:08:09Z)
• Capturing dynamical correlations using implicit neural representations [85.66456606776552]
  実験データから未知のパラメータを復元するために、モデルハミルトンのシミュレーションデータを模倣するために訓練されたニューラルネットワークと自動微分を組み合わせた人工知能フレームワークを開発する。 そこで本研究では, 実時間から多次元散乱データに適用可能な微分可能なモデルを1回だけ構築し, 訓練する能力について述べる。
  論文  参考訳（メタデータ） (2023-04-08T07:55:36Z)
• Data-driven reduced-order modelling for blood flow simulations with geometry-informed snapshots [0.0]
  類似しているが異なる領域における血流シミュレーションの効率的な予測法として,データ駆動サロゲートモデルを提案する。 幾何パラメータに対する非侵入的還元次数モデルが適切な分解を用いて構築される。 ラジアル基底関数補間器は、縮小順序モデルの縮小係数を予測するために訓練される。
  論文  参考訳（メタデータ） (2023-02-21T21:18:17Z)
• Score Approximation, Estimation and Distribution Recovery of Diffusion Models on Low-Dimensional Data [68.62134204367668]
  本稿では,未知の低次元線形部分空間上でデータをサポートする場合の拡散モデルのスコア近似,推定,分布回復について検討する。 適切に選択されたニューラルネットワークアーキテクチャでは、スコア関数を正確に近似し、効率的に推定することができる。 推定スコア関数に基づいて生成された分布は、データ幾何学構造を捕捉し、データ分布の近傍に収束する。
  論文  参考訳（メタデータ） (2023-02-14T17:02:35Z)
• Factorized Fusion Shrinkage for Dynamic Relational Data [16.531262817315696]
  本稿では,すべての分解因子がグループ単位の核融合構造に対して動的に縮小される因子化核融合収縮モデルについて考察する。 提案手法は、推定された動的潜在因子の比較とクラスタリングにおいて、多くの好ましい特性を享受する。 本稿では、最適後部推論と計算スケーラビリティのバランスをとる構造的平均場変動推論フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-09-30T21:03:40Z)
• Stochastic embeddings of dynamical phenomena through variational autoencoders [1.7205106391379026]
  位相空間の再構成において,観測空間の次元性を高めるために認識ネットワークを用いる。 我々の検証は、このアプローチが元の状態空間に類似した状態空間を復元するだけでなく、新しい時系列を合成できることを示している。
  論文  参考訳（メタデータ） (2020-10-13T10:10:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。