論文の概要: When Diffusion Model Can Ignore Dimension: An Entropy-Based Theory

• arxiv url: http://arxiv.org/abs/2605.07969v1
• Date: Fri, 08 May 2026 16:30:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-11 19:43:39.201889
• Title: When Diffusion Model Can Ignore Dimension: An Entropy-Based Theory
• Title（参考訳）: 拡散モデルが次元を識別できる時--エントロピーに基づく理論
• Authors: Ahmad Aghapour, Erhan Bayraktar,
• Abstract要約: 拡散モデルは画像などの高次元データに対して極めてよく機能する。 既存の収束理論は、なぜそのようなサンプルが高次元において効率的であり続けるのかを完全には説明していない。 我々は,データ分布がコンパクトな潜在表現を持つ場合,拡散サンプリングは高次元空間で有効であることを示す。
• 参考スコア（独自算出の注目度）: 2.205829309604458
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion models perform remarkably well on high-dimensional data such as images, often using only a modest number of reverse-time steps. Despite this practical success, existing convergence theory does not fully explain why such samplers remain efficient in high dimensions. Many prior KL guarantees bound the discretization error in terms of the ambient dimension, while other improved results replace this dependence using intrinsic-dimensional or geometric structure assumptions. In this work, we develop an alternative information-theoretic perspective on diffusion sampler convergence. We prove that, for Gaussian mixture targets, the discretization error is controlled by the Shannon entropy of the latent mixture component rather than by the ambient dimension. Consequently, the leading step complexity scales linearly with latent entropy and depends only logarithmically on the second moment of the data. Our analysis also extends to discrete target distributions, where the relevant complexity is the entropy of the target rather than the dimension of the embedding space. These results suggest that diffusion sampling can remain efficient in high-dimensional spaces when the data distribution admits a compact latent representation, as is widely believed to be the case for natural images.
• Abstract（参考訳）: 拡散モデルは画像などの高次元データに対して非常によく機能し、しばしば無数の逆時間ステップを使用する。 この実践的な成功にもかかわらず、既存の収束理論は、なぜそのようなサンプルが高次元において効率的であるのかを十分に説明していない。 多くの先行KLは、周囲次元の点で離散化誤差が有界であることを保証する一方、他の改良された結果は、本質的な次元や幾何学的な構造仮定を用いて、この依存を置き換える。 本研究では,拡散型サンプリング器の収束に関する代替情報理論の視点を開発する。 ガウス混合ターゲットの場合、離散化誤差は周囲次元ではなく潜在混合成分のシャノンエントロピーによって制御されることを示す。 その結果、先行ステップの複雑性は潜在エントロピーと線形にスケールし、データの第2モーメントに対数的にのみ依存する。 解析はまた、個々の対象分布にまで拡張し、関連する複雑さは、埋め込み空間の次元ではなく、対象のエントロピーである。 これらの結果から,データ分布がコンパクトな潜在表現を持つ場合,拡散サンプリングは高次元空間でも有効であることが示唆された。

関連論文リスト

• Polynomial Convergence of Riemannian Diffusion Models [46.72936436234762]
  拡散モデルは、現代のAIにおける最先端の生成モデルの一つと見なされている。 既存の文献の多くは、基礎となる空間はユークリッド空間であると仮定している。 多くの実践的応用において、データはユークリッド空間の部分多様体上に置かれることに制約される。
  論文  参考訳（メタデータ） (2026-01-05T19:14:09Z)
• Resolving Memorization in Empirical Diffusion Model for Manifold Data in High-Dimensional Spaces [5.716752583983991]
  データ分布がn個の点からなる場合、経験的拡散モデルは既存のデータ点を再現する傾向がある。 本研究は,経験的拡散シミュレーションの最後に慣性更新を適用することで,記憶の問題を解くことができることを示す。 このモデルから得られたサンプルの分布は、次元$d$の$C2$多様体上の真のデータ分布を、位数$O(n-frac2d+4)$のWasserstein-1距離内で近似することを示した。
  論文  参考訳（メタデータ） (2025-05-05T09:40:41Z)
• Dimension-Free Convergence of Diffusion Models for Approximate Gaussian Mixtures [18.828955620788566]
  拡散モデルは、その例外的な生成性能によって区別される。 本稿では,複雑な高次元分布のサンプリングにおける拡散モデルの有効性について検討する。
  論文  参考訳（メタデータ） (2025-04-07T17:59:07Z)
• Convergence of Score-Based Discrete Diffusion Models: A Discrete-Time Analysis [56.442307356162864]
  連続時間マルコフ連鎖(CTMC)に基づくスコアベース離散拡散モデルの理論的側面について検討する。 本稿では,事前定義された時間点におけるスコア推定値を利用する離散時間サンプリングアルゴリズムを一般状態空間$[S]d$に導入する。 我々の収束解析はジルサノフ法を用いて離散スコア関数の重要な性質を確立する。
  論文  参考訳（メタデータ） (2024-10-03T09:07:13Z)
• Convergence of Diffusion Models Under the Manifold Hypothesis in High-Dimensions [6.9408143976091745]
  Denoising Diffusion Probabilistic Models (DDPM)は、高次元データ分布から合成データを生成するために使用される強力な最先端手法である。 多様体仮説の下でDDPMを解析し、スコアラーニングの観点で周囲次元に依存しないレートを達成することを証明した。 サンプリング複雑性の観点では、周囲次元 w.r.t, Kullback-Leibler 発散率 w.r.t, $O(sqrtD)$ w.r.t. ワッサーシュタイン距離を求める。
  論文  参考訳（メタデータ） (2024-09-27T14:57:18Z)
• Scaling Riemannian Diffusion Models [68.52820280448991]
  非自明な多様体上の高次元タスクにスケールできることを示す。 我々は、$SU(n)$格子上のQCD密度と高次元超球面上の対照的に学習された埋め込みをモデル化する。
  論文  参考訳（メタデータ） (2023-10-30T21:27:53Z)
• Geometric Neural Diffusion Processes [55.891428654434634]
  拡散モデルの枠組みを拡張して、無限次元モデリングに一連の幾何学的先行を組み込む。 これらの条件で、生成関数モデルが同じ対称性を持つことを示す。
  論文  参考訳（メタデータ） (2023-07-11T16:51:38Z)
• Diffusion Models are Minimax Optimal Distribution Estimators [49.47503258639454]
  拡散モデリングの近似と一般化能力について、初めて厳密な分析を行った。 実密度関数がベソフ空間に属し、経験値整合損失が適切に最小化されている場合、生成したデータ分布は、ほぼ最小の最適推定値が得られることを示す。
  論文  参考訳（メタデータ） (2023-03-03T11:31:55Z)
• Infinite-Dimensional Diffusion Models [3.9748528039819977]
  拡散に基づく生成モデルを無限次元で定式化し、関数の生成モデルに適用する。 また,この理論を用いて無限次元拡散モデルの設計ガイドラインも作成する。
  論文  参考訳（メタデータ） (2023-02-20T18:00:38Z)
• Score Approximation, Estimation and Distribution Recovery of Diffusion Models on Low-Dimensional Data [68.62134204367668]
  本稿では,未知の低次元線形部分空間上でデータをサポートする場合の拡散モデルのスコア近似,推定,分布回復について検討する。 適切に選択されたニューラルネットワークアーキテクチャでは、スコア関数を正確に近似し、効率的に推定することができる。 推定スコア関数に基づいて生成された分布は、データ幾何学構造を捕捉し、データ分布の近傍に収束する。
  論文  参考訳（メタデータ） (2023-02-14T17:02:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。