論文の概要: Diffusion Models Are Statistically Optimal for Learning Low-Dimensional Multi-Modal Distributions

• arxiv url: http://arxiv.org/abs/2605.30153v1
• Date: Thu, 28 May 2026 16:13:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-30 02:45:56.473593
• Title: Diffusion Models Are Statistically Optimal for Learning Low-Dimensional Multi-Modal Distributions
• Title（参考訳）: 拡散モデルは低次元多モード分布の学習に統計的に最適である
• Authors: Jingda Wu, Changxiao Cai,
• Abstract要約: 低次元部分空間の和集合に支持された学習分布に対する拡散モデルのサンプル複雑性について検討する。 拡散モデルは1-ワッサーシュタイン距離において$varepsilon$誤差を達成するために、少なくとも$widetildeO(varepsilon-k vee 2)$サンプルを必要とする。
• 参考スコア（独自算出の注目度）: 11.621528352410502
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Score-based diffusion models have demonstrated remarkable empirical success in learning high-dimensional distributions, particularly those exhibiting low-dimensional and multi-modal structures. However, theoretical understanding of their statistical efficiency remains limited. Existing theories typically rely on strong regularity assumptions, such as uniformly bounded densities or globally smooth score functions, which fail to capture such intrinsic structures. In this work, we study the sample complexity of diffusion models for learning distributions supported on a union of low-dimensional subspaces. Assuming that the data distribution within each subspace is subgaussian, we show that diffusion models require at most $\widetilde{O}(\varepsilon^{-k \vee 2})$ samples to achieve $\varepsilon$ error in 1-Wasserstein distance, where $k$ is the intrinsic dimension. This near-optimal convergence rate depends only on the intrinsic dimension and significantly improves upon prior theoretical guarantees that suffer from the curse of dimensionality. Notably, our analysis applies to a broad collection of distributions without imposing smoothness, bounded-density, or log-concavity assumptions. Overall, our results show that diffusion models can statistically adapt to intrinsic low-dimensional structure while naturally accommodating multi-modal data, offering a rigorous theoretical justification for their success in complex high-dimensional learning tasks.
• Abstract（参考訳）: スコアベース拡散モデルは高次元分布、特に低次元および多モード構造を学習する際の顕著な経験的成功を示している。 しかし、その統計的効率に関する理論的理解は依然として限られている。 既存の理論は、一様有界密度や大域的に滑らかなスコア関数のような強い正則性仮定に依存しており、そのような固有の構造を捉えることができない。 本研究では,低次元部分空間の和に支持された学習分布に対する拡散モデルのサンプル複雑性について検討する。 各部分空間内のデータ分布が亜ガウス的であると仮定すると、拡散モデルは1-ワッサーシュタイン距離における$\varepsilon$誤差を達成するために、少なくとも$\widetilde{O}(\varepsilon^{-k \vee 2})$サンプルを必要とする。 この近似収束速度は本質的な次元にのみ依存し、次元の呪いに苦しむ以前の理論的な保証によって著しく改善される。 特に、我々の分析は、滑らかさ、有界密度、対数凸性仮定を含まない広い分布の集合に適用する。 以上の結果から,拡散モデルは自然にマルチモーダルデータを収容しながら,本質的な低次元構造に統計的に適応し,複雑な高次元学習タスクにおけるそれらの成功に対する厳密な理論的正当性を提供することを示す。

関連論文リスト

• Reflected diffusion models adapt to low-dimensional data [1.4273866043218157]
  本稿では、超キューブ$[0,1]D$が$d$次元線型部分空間上でサポートされている場合の反射拡散モデルの統計的解析を行う。 簡単に実装可能な遷移密度の無限級数展開を利用することで、スコア関数とその近似をスパースReLUネットワークで束縛する解析ツールを開発する。
  論文  参考訳（メタデータ） (2026-03-25T16:37:33Z)
• Discrete State Diffusion Models: A Sample Complexity Perspective [43.61958734990224]
  離散状態拡散の原理的な理論的枠組みを提示し、最初のサンプル複雑性を$widetildemathcalO(epsilon-2)$とする。 スコア推定誤差を統計的,近似,最適化,クリッピングに分解することで,離散状態モデルを効率的に学習する方法に関する重要な知見が得られる。
  論文  参考訳（メタデータ） (2025-10-12T23:33:46Z)
• Improved Sample Complexity For Diffusion Model Training Without Empirical Risk Minimizer Access [47.96419637803502]
  拡散モデルを解析し、$widetildemathcalO(epsilon-4)$に束縛された最先端のサンプル複雑性を提供する。 スコア推定誤差の統計的および最適化成分への構造化分解は、拡散モデルを効率的に訓練する方法に関する重要な洞察を与える。
  論文  参考訳（メタデータ） (2025-05-23T20:02:15Z)
• Theory on Score-Mismatched Diffusion Models and Zero-Shot Conditional Samplers [49.97755400231656]
  一般のスコアミスマッチ拡散サンプリング器に対する明示的な次元依存性を持つ最初の性能保証を示す。 その結果, スコアミスマッチは, 目標分布とサンプリング分布の分布バイアスとなり, 目標分布とトレーニング分布の累積ミスマッチに比例することがわかった。 この結果は、測定ノイズに関係なく、任意の条件モデルに対するゼロショット条件付きサンプリングに直接適用することができる。
  論文  参考訳（メタデータ） (2024-10-17T16:42:12Z)
• Adapting to Unknown Low-Dimensional Structures in Score-Based Diffusion Models [6.76974373198208]
  周囲の次元が$d$である場合、各デノイングステップ内で発生する誤差の依存性は、一般的には避けられない。 これはDDPMサンプリング器がターゲット分布の未知の低次元構造に適応できるという最初の理論実証である。
  論文  参考訳（メタデータ） (2024-05-23T17:59:10Z)
• Unveil Conditional Diffusion Models with Classifier-free Guidance: A Sharp Statistical Theory [87.00653989457834]
  条件付き拡散モデルは現代の画像合成の基礎となり、計算生物学や強化学習などの分野に広く応用されている。 経験的成功にもかかわらず、条件拡散モデルの理論はほとんど欠落している。 本稿では,条件拡散モデルを用いた分布推定の急激な統計的理論を提示することにより,ギャップを埋める。
  論文  参考訳（メタデータ） (2024-03-18T17:08:24Z)
• Diffusion Models are Minimax Optimal Distribution Estimators [49.47503258639454]
  拡散モデリングの近似と一般化能力について、初めて厳密な分析を行った。 実密度関数がベソフ空間に属し、経験値整合損失が適切に最小化されている場合、生成したデータ分布は、ほぼ最小の最適推定値が得られることを示す。
  論文  参考訳（メタデータ） (2023-03-03T11:31:55Z)
• Score Approximation, Estimation and Distribution Recovery of Diffusion Models on Low-Dimensional Data [68.62134204367668]
  本稿では,未知の低次元線形部分空間上でデータをサポートする場合の拡散モデルのスコア近似,推定,分布回復について検討する。 適切に選択されたニューラルネットワークアーキテクチャでは、スコア関数を正確に近似し、効率的に推定することができる。 推定スコア関数に基づいて生成された分布は、データ幾何学構造を捕捉し、データ分布の近傍に収束する。
  論文  参考訳（メタデータ） (2023-02-14T17:02:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。