論文の概要: Uniform Discrete Diffusion Models are Minimax Optimal for Estimating Distributions with Small Effective Support Size
- arxiv url: http://arxiv.org/abs/2610.07655v1
- Date: Tue, 06 Oct 2026 02:50:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 02:58:29.765965
- Title: Uniform Discrete Diffusion Models are Minimax Optimal for Estimating Distributions with Small Effective Support Size
- Title（参考訳）: 単一離散拡散モデルが最小限の最適分布を最小の有効支援サイズで推定する
- Abstract要約: 離散拡散の均一化は, 有効支援サイズが小さい分布に対する次元性の呪いを回避することに成功していることを示す。
これらの上と下の境界は、一様に離散的な拡散が、小さな有効支持サイズを持つ分布に対する次元性の呪いを避けることに成功していることを示している。
- 参考スコア（独自算出の注目度）: 9.810211000961647
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Discrete diffusion models have emerged as a practically successful framework for generative modeling on discrete product spaces, yet their statistical generalization properties remain poorly understood. Discrete real-world data such as text or biological sequences often concentrate on a small fraction of the astronomically large ambient space because of semantic or physical constraints, but existing bounds fail to capture this distributional structure and instead scale with the size of the ambient space, giving rise to almost vacuous error bounds. We address this gap for uniform discrete diffusion, one of the two dominant discrete diffusion paradigms alongside masking diffusion, by deriving statistical guarantees governed by the effective support size $s_n(P_0)$, a sample-size-dependent measure of distributional complexity. Given $n$ independent and identically distributed (i.i.d.) samples from an unknown data distribution $P_0$ on $[K]^d$, we show that, with appropriate choices of network size and hyperparameters, the expected total variation (TV) loss scales as $O(\sqrt{s_n(P_0)/n})$, while the expected Kullback--Leibler (KL) divergence is bounded by $O(\frac{1}{n}s_n(P_0)\log(eK^d/s_n(P_0))\log n)$. Furthermore, we show that the TV rate is minimax optimal and that the KL rate is minimax optimal up to a factor of $\log n$. Together, these upper and lower bounds show that uniform discrete diffusion successfully avoids the curse of dimensionality for distributions with small effective support size: the TV error rate depends on the ambient state-space size only through $s_n(P_0)$, while the corresponding KL rate incurs only an additional logarithmic dependence on the ambient state-space size.
- Abstract（参考訳）: 離散拡散モデルは、離散積空間上の生成的モデリングの実際的な成功の枠組みとして現れてきたが、その統計的一般化特性はよく分かっていない。
テキストや生物学的シーケンスのような離散的な実世界のデータは、意味的制約や物理的制約のために天文学的に大きな周囲空間のごく一部に集中することが多いが、既存の境界はこの分布構造を捉えず、その代わりに周囲空間のサイズにスケールし、ほとんど空白な誤差境界をもたらす。
このギャップをマスク拡散を伴う2つの支配的離散拡散パラダイムの1つである一様離散拡散に対処するために、有効支持サイズ$s_n(P_0)$で支配される統計的保証を導出する。
ネットワークサイズとハイパーパラメータの適切な選択により、予測総変動(TV)損失スケールは$O(\sqrt{s_n(P_0)/n})$、期待されるKullback-Leibler(KL)分散は$O(\frac{1}{n}s_n(P_0)\log(eK^d/s_n(P_0))\logn(P_0))$である。
さらに、テレビレートが極小最大値であり、KLレートが極小最大値で最大$\log n$であることを示す。
テレビの誤差率は、$s_n(P_0)$ を通じてのみ周囲の状態空間サイズに依存するが、対応する KL は、周囲の状態空間サイズに付加的な対数依存しか生じない。
関連論文リスト
- Robustness of Diffusion Models under Distribution Shift [14.380273008668206]
We study robust score estimation under Wasserstein perturbations of a reference distribution。
Ornstein--Uhlenbeck拡散について、ロバストな推定は2つの基本成分に分解されることを示す。
論文 参考訳（メタデータ） (2026-09-23T08:36:09Z) - Diffusion Models Are Statistically Optimal for Learning Low-Dimensional Multi-Modal Distributions [11.621528352410502]
低次元部分空間の和集合に支持された学習分布に対する拡散モデルのサンプル複雑性について検討する。
拡散モデルは1-ワッサーシュタイン距離において$varepsilon$誤差を達成するために、少なくとも$widetildeO(varepsilon-k vee 2)$サンプルを必要とする。
論文 参考訳（メタデータ） (2026-05-28T16:13:44Z) - Generalization Properties of Score-matching Diffusion Models for Intrinsically Low-dimensional Data [32.72306410557258]
有限個のサンプルから未知分布の$$を学習するためのスコアベース拡散モデルの統計的収束について検討する。
以上の結果から,拡散モデルがデータ固有の幾何学に自然に適応していることが示唆された。
我々の理論は, 拡散モデルの解析を, GANと最適輸送で確立された急激なミニマックス速度で橋渡しするものである。
論文 参考訳（メタデータ） (2026-03-04T03:59:02Z) - Efficient Sampling with Discrete Diffusion Models: Sharp and Adaptive Guarantees [9.180350432640912]
連続時間マルコフ連鎖(CTMC)の定式化によるスコアベース離散拡散モデルのサンプリング効率について検討した。
一様離散拡散に対して、$$-leapingアルゴリズムは位数$tilde O(d/varepsilon)$の複雑さを達成することを示す。
離散拡散をマスキングするために,本質的な情報理論量によって収束率を制御した$$-leapingサンプルラを導入する。
論文 参考訳（メタデータ） (2026-02-16T18:48:17Z) - High-accuracy and dimension-free sampling with diffusions [27.7060066305274]
低次近似とコロケーション法との微妙な相互作用を利用した拡散モデルの新しい解法を提案する。
我々は,その複雑性が1/varepsilon$で多元対数的にスケールすることが証明され,拡散型サンプリング器に対する最初の「高精度」保証が得られる。
論文 参考訳（メタデータ） (2026-01-15T18:58:50Z) - Theory on Score-Mismatched Diffusion Models and Zero-Shot Conditional Samplers [49.97755400231656]
一般のスコアミスマッチ拡散サンプリング器に対する明示的な次元依存性を持つ最初の性能保証を示す。
その結果, スコアミスマッチは, 目標分布とサンプリング分布の分布バイアスとなり, 目標分布とトレーニング分布の累積ミスマッチに比例することがわかった。
この結果は、測定ノイズに関係なく、任意の条件モデルに対するゼロショット条件付きサンプリングに直接適用することができる。
論文 参考訳（メタデータ） (2024-10-17T16:42:12Z) - Non-asymptotic bounds for forward processes in denoising diffusions: Ornstein-Uhlenbeck is hard to beat [49.1574468325115]
本稿では,全変動(TV)における前方拡散誤差の非漸近的境界について述べる。
我々は、R$からFarthestモードまでの距離でマルチモーダルデータ分布をパラメライズし、加法的および乗法的雑音による前方拡散を考察する。
論文 参考訳（メタデータ） (2024-08-25T10:28:31Z) - Optimal Scaling for Locally Balanced Proposals in Discrete Spaces [65.14092237705476]
離散空間におけるMetropolis-Hastings (M-H) アルゴリズムの効率は、対象分布に依存しない受容率によって特徴づけられることを示す。
最適受容率の知識は、連続空間におけるステップサイズ制御と直接的に類似して、離散空間における提案分布の近傍サイズを自動的に調整することを可能にする。
論文 参考訳（メタデータ） (2022-09-16T22:09:53Z) - Linear Optimal Transport Embedding: Provable Wasserstein classification
for certain rigid transformations and perturbations [79.23797234241471]
分布の区別は多くの科学分野において重要な問題である。
線形最適輸送(LOT)は分布の空間を$L2$-スペースに埋め込む。
複数の分布分類問題に対するLOTの利点を実証する。
論文 参考訳（メタデータ） (2020-08-20T19:09:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。