論文の概要: Manifolds, Random Matrices and Spectral Gaps: The geometric phases of generative diffusion

• arxiv url: http://arxiv.org/abs/2410.05898v3
• Date: Wed, 16 Oct 2024 09:10:54 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-01 12:20:15.124222
• Title: Manifolds, Random Matrices and Spectral Gaps: The geometric phases of generative diffusion
• Title（参考訳）: 多様体, ランダム行列, スペクトルギャップ:生成拡散の幾何学的位相
• Authors: Enrico Ventura, Beatrice Achilli, Gianluigi Silvestri, Carlo Lucibello, Luca Ambrogioni,
• Abstract要約: スコア関数のヤコビアンの固有値のスペクトルを解析し、その不連続性(ギャップ)は異なる部分多様体の存在と次元性を明らかにする。 本研究は, 生成過程における3つの異なる定性相の存在を明らかにした。
• 参考スコア（独自算出の注目度）: 8.389423957434818
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we investigate the latent geometry of generative diffusion models under the manifold hypothesis. To this purpose, we analyze the spectrum of eigenvalues (and singular values) of the Jacobian of the score function, whose discontinuities (gaps) reveal the presence and dimensionality of distinct sub-manifolds. Using a statistical physics approach, we derive the spectral distributions and formulas for the spectral gaps under several distributional assumptions and we compare these theoretical predictions with the spectra estimated from trained networks. Our analysis reveals the existence of three distinct qualitative phases during the generative process: a trivial phase; a manifold coverage phase where the diffusion process fits the distribution internal to the manifold; a consolidation phase where the score becomes orthogonal to the manifold and all particles are projected on the support of the data. This `division of labor' between different timescales provides an elegant explanation on why generative diffusion models are not affected by the manifold overfitting phenomenon that plagues likelihood-based models, since the internal distribution and the manifold geometry are produced at different time points during generation.
• Abstract（参考訳）: 本稿では, 多様体仮説に基づく生成拡散モデルの潜時幾何学について検討する。 この目的のために、スコア関数のヤコビアンの固有値(および特異値)のスペクトルを分析し、その不連続性(ギャップ)は異なる部分多様体の存在と次元性を明らかにする。 統計物理学的手法を用いて、いくつかの分布仮定の下でスペクトルギャップのスペクトル分布と公式を導出し、これらの理論予測をトレーニングネットワークから推定されたスペクトルと比較する。 本分析では, 自明な位相, 拡散過程が多様体内部の分布に適合する多様体被覆位相, スコアが多様体に直交し, すべての粒子がデータの支持に投影される連結位相の3つの異なる定性的位相が存在することを明らかにした。 この「労働の分割」は、生成的拡散モデルが、確率ベースモデルに悩まされる多様体過適合現象の影響を受けない理由について、内部分布と多様体幾何学が生成期間中に異なる時間点で生成されるため、エレガントな説明を与える。

関連論文リスト

• Convergence of Score-Based Discrete Diffusion Models: A Discrete-Time Analysis [56.442307356162864]
  連続時間マルコフ連鎖(CTMC)に基づくスコアベース離散拡散モデルの理論的側面について検討する。 本稿では,事前定義された時間点におけるスコア推定値を利用する離散時間サンプリングアルゴリズムを一般状態空間$[S]d$に導入する。 我々の収束解析はジルサノフ法を用いて離散スコア関数の重要な性質を確立する。
  論文  参考訳（メタデータ） (2024-10-03T09:07:13Z)
• Theoretical Insights for Diffusion Guidance: A Case Study for Gaussian Mixture Models [59.331993845831946]
  拡散モデルは、所望の特性に向けてサンプル生成を操るために、スコア関数にタスク固有の情報を注入することの恩恵を受ける。 本稿では,ガウス混合モデルの文脈における拡散モデルに対する誘導の影響を理解するための最初の理論的研究を提供する。
  論文  参考訳（メタデータ） (2024-03-03T23:15:48Z)
• Dynamical Regimes of Diffusion Models [14.797301819675454]
  空間の次元とデータ数が大きい体制における生成拡散モデルについて検討する。 本研究は, 逆向き発生拡散過程における3つの異なる動的状態を明らかにするものである。 崩壊時間の次元とデータ数への依存性は、拡散モデルにおける次元の呪いの徹底的な評価を与える。
  論文  参考訳（メタデータ） (2024-02-28T17:19:26Z)
• Convergence Analysis of Discrete Diffusion Model: Exact Implementation through Uniformization [17.535229185525353]
  連続マルコフ連鎖の均一化を利用したアルゴリズムを導入し、ランダムな時間点の遷移を実装した。 我々の結果は、$mathbbRd$における拡散モデルの最先端の成果と一致し、さらに$mathbbRd$設定と比較して離散拡散モデルの利点を浮き彫りにする。
  論文  参考訳（メタデータ） (2024-02-12T22:26:52Z)
• Time Series Diffusion in the Frequency Domain [54.60573052311487]
  周波数領域における時系列表現がスコアベース拡散モデルに有用な帰納バイアスであるか否かを解析する。 重要なニュアンスを持つ周波数領域において、二重拡散過程が生じることを示す。 周波数領域に拡散モデルを実装するために,デノナイジングスコアマッチング手法を適用する方法を示す。
  論文  参考訳（メタデータ） (2024-02-08T18:59:05Z)
• Diffusion Models are Minimax Optimal Distribution Estimators [49.47503258639454]
  拡散モデリングの近似と一般化能力について、初めて厳密な分析を行った。 実密度関数がベソフ空間に属し、経験値整合損失が適切に最小化されている場合、生成したデータ分布は、ほぼ最小の最適推定値が得られることを示す。
  論文  参考訳（メタデータ） (2023-03-03T11:31:55Z)
• Score Approximation, Estimation and Distribution Recovery of Diffusion Models on Low-Dimensional Data [68.62134204367668]
  本稿では,未知の低次元線形部分空間上でデータをサポートする場合の拡散モデルのスコア近似,推定,分布回復について検討する。 適切に選択されたニューラルネットワークアーキテクチャでは、スコア関数を正確に近似し、効率的に推定することができる。 推定スコア関数に基づいて生成された分布は、データ幾何学構造を捕捉し、データ分布の近傍に収束する。
  論文  参考訳（メタデータ） (2023-02-14T17:02:35Z)
• Mathematical analysis of singularities in the diffusion model under the submanifold assumption [0.0]
  DDPMにおける解析的平均ドリフト関数とSGMにおけるスコア関数が特異データ分布のサンプリングプロセスの最終段階に爆発的に現れることを示す。 我々は新たな目標関数と関連する損失を導出するが、これは特異データ分布においても有界である。
  論文  参考訳（メタデータ） (2023-01-19T05:13:03Z)
• Time-inhomogeneous diffusion geometry and topology [69.55228523791897]
  拡散凝縮(英: Diffusion condensation)は、各ステップが最初に計算し、そのデータに拡散演算子を適用する時間不均質な過程である。 我々はこの過程の収束と進化を幾何学的、スペクトル的、位相的観点から理論的に分析する。 我々の研究は拡散凝縮の収束に関する理論的洞察を与え、トポロジカルデータ解析と幾何学的データ解析のリンクを提供することを示している。
  論文  参考訳（メタデータ） (2022-03-28T16:06:17Z)
• AI Giving Back to Statistics? Discovery of the Coordinate System of Univariate Distributions by Beta Variational Autoencoder [0.0]
  本稿では、単変量経験分布を分類し、累積分布関数(CDF)の入力に基づいて2次元の潜伏空間で表現するためのニューラルネットワークのトレーニング経験について論じる。 潜在2次元座標系上の表現は、CDFの形状、基礎となる理論分布とそのパラメータの分類確率、情報エントロピー、歪みなど、重要な分布特性を乱す実世界のデータの付加メタデータと見なすことができる。
  論文  参考訳（メタデータ） (2020-04-06T14:11:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。