論文の概要: Provably Learning Diffusion Models under the Manifold Hypothesis: Collapse and Refine

• arxiv url: http://arxiv.org/abs/2605.20235v1
• Date: Sat, 16 May 2026 16:51:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-21 19:19:56.220983
• Title: Provably Learning Diffusion Models under the Manifold Hypothesis: Collapse and Refine
• Title（参考訳）: マニフォールド仮説に基づく拡散モデル学習の可能性:崩壊と再定義
• Authors: Wei Huang, Andi Han, Mingyuan Bai, Huanjian Zhou, Qixin Zhang, Taiji Suzuki, Kenji Fukumizu,
• Abstract要約: 拡散モデルは、顕著な品質で高次元データを生成する。 彼らのトレーニングがいかに効率的にスコア関数を学習するかは理論的には説明がつかないままである。 我々はこの原理をScore-induced Latent Diffusion (SiLD)として定式化する。
• 参考スコア（独自算出の注目度）: 60.669081685261965
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion models generate high-dimensional data with remarkable quality, yet how their training efficiently learns the score function, bypassing the curse of dimensionality when data is supported on low-dimensional manifolds, remains theoretically unexplained. We identify a collapse-and-refine mechanism driven by the geometry of the score function itself: at small noise scales, the diverging singularity of the score drives a rapid dimensional collapse of the induced denoising map onto the data manifold projection; at moderate noise scales, training refines the intrinsic density on the learned manifold. We instantiate this principle as Score-induced Latent Diffusion (SiLD), a two-stage framework in which both manifold learning and density estimation emerge from a single denoising score matching objective, replacing the heuristic KL regularization of VAE-based latent diffusion models. We prove that the resulting sample complexity depends on the intrinsic dimension rather than the ambient dimension. Experiments on Stacked MNIST, CelebA variants, and molecular generation benchmarks show that SiLD matches or outperforms VAE-based LDMs in generation quality and consistently improves reconstruction, validating our theoretical predictions.
• Abstract（参考訳）: 拡散モデルは、顕著な品質で高次元データを生成するが、そのトレーニングは、低次元多様体上でデータが支持されたときの次元の呪いを回避して、スコア関数を効率的に学習する方法は理論的には説明されていない。 スコア関数自体の幾何学によって駆動される崩壊・縮小機構を同定する:小さなノイズスケールでは、スコアのばらつき特異点が誘導されたデノナイジングマップの高速な次元崩壊をデータ多様体射影に駆動し、中程度のノイズスケールでは、学習された多様体の固有密度を洗練させる。 本稿では, この原理を, VAEに基づく潜伏拡散モデルのヒューリスティックKL正規化を代替し, 1つの復調スコアマッチング目標から, 多様体学習と密度推定の両方が出現する2段階のフレームワークであるScore-induced Latent Diffusion (SiLD) として定式化する。 得られたサンプルの複雑さは、周囲の次元よりも本質的な次元に依存することを証明している。 Stacked MNIST, CelebA variants, および分子生成ベンチマークの実験により, SiLD は VAE ベースの LDM を生成品質で一致または性能良くし, 再構築を継続的に改善し, 理論的予測を検証した。

関連論文リスト

• MIND: Decoupling Model-Induced Label Noise via Latent Manifold Disentanglement [3.626013617212667]
  モデルによるラベルノイズは古典的ロバスト学習においてノイズを支配している。 このジレンマに対処する理論的な基盤となるフレームワークであるモデル誘導ノイズデカップリング(MIND)を提案する。 MINDは複雑なベンチマークで最先端の手法を著しく上回っている。
  論文  参考訳（メタデータ） (2026-05-15T15:44:19Z)
• Asymptotic Learning Curves for Diffusion Models with Random Features Score and Manifold Data [7.047721358838963]
  本研究では,デノナイジングスコアマッチングの理論的挙動について検討する。 高次元の限界におけるテスト、トレーニング、スコアの正確な表現を導出します。
  論文  参考訳（メタデータ） (2026-03-24T08:58:12Z)
• Diffusion Model for Manifold Data: Score Decomposition, Curvature, and Statistical Complexity [93.52679474816728]
  拡散モデルは、生成モデリングにおける主要なフレームワークとなっている。 本稿では,拡散モデルが構造データをどのように学習するかを,統計的複雑性とデータ幾何学的性質の影響の2つの重要な側面に焦点をあてる。 また、スコア関数の構造と多様体曲率の相互作用も強調する。
  論文  参考訳（メタデータ） (2026-03-21T04:40:19Z)
• Multimodal Atmospheric Super-Resolution With Deep Generative Models [1.9367648935513015]
  スコアベース拡散モデリング(Score-based diffusion modeling)は、複雑な分布からサンプリングできる生成機械学習アルゴリズムである。 本稿では,高次元力学系の超解像にそのような概念を適用し,低分解能および実験的に観察されたスパースセンサ測定のリアルタイム利用性を考える。
  論文  参考訳（メタデータ） (2025-06-28T06:47:09Z)
• A solvable model of learning generative diffusion: theory and insights [44.979670733807694]
  本稿では,2層自動エンコーダによりパラメータ化されたフローモデルや拡散モデルについて考察する。 学習モデルにより生成されたサンプルの分布の低次元投影の厳密な特性を導出する。
  論文  参考訳（メタデータ） (2025-01-07T16:56:40Z)
• A Geometric Perspective on Diffusion Models [57.27857591493788]
  本稿では,人気のある分散拡散型SDEのODEに基づくサンプリングについて検討する。 我々は、最適なODEベースのサンプリングと古典的な平均シフト(モード探索)アルゴリズムの理論的関係を確立する。
  論文  参考訳（メタデータ） (2023-05-31T15:33:16Z)
• Reflected Diffusion Models [93.26107023470979]
  本稿では,データのサポートに基づいて進化する反射微分方程式を逆転する反射拡散モデルを提案する。 提案手法は,一般化されたスコアマッチング損失を用いてスコア関数を学習し,標準拡散モデルの主要成分を拡張する。
  論文  参考訳（メタデータ） (2023-04-10T17:54:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。