論文の概要: Discrete Diffusion Models are Minimax Optimal Under Sparsity

• arxiv url: http://arxiv.org/abs/2610.19020v1
• Date: Tue, 13 Oct 2026 18:12:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 12:10:45.435147
• Title: Discrete Diffusion Models are Minimax Optimal Under Sparsity
• Title（参考訳）: 離散拡散モデルはスパシティ下での最適最小値である
• Abstract要約: 連続拡散モデルの場合、理論の顕著な線は、これらのモデルがデータの低次元構造に適応できることを示している。 本研究では,この現象の離散的類似性について,空間性仮定の下での離散拡散モデルの統計速度について検討する。
• 参考スコア（独自算出の注目度）: 29.750898270206886
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Discrete diffusion models have emerged as a leading alternative to autoregressive models for generating text and other categorical data, yet their theoretical foundations remain less developed than those of their continuous counterparts. For continuous diffusion models, a prominent line of theory suggests that these models can adapt to low-dimensional structure in the data, thereby improving statistical efficiency and generalization. In this work, we investigate the discrete analogue of this phenomenon by studying the statistical rates of discrete diffusion models under sparsity assumptions. By analyzing a nonparametric estimator derived from a regularized score-entropy objective, we establish minimax-optimal rates in the sparse regime. The proposed regularization can be viewed as an adaptation of label smoothing techniques introduced for classification, and does not require the knowledge of the sparsity parameter. This shows that discrete diffusion models can adapt intrinsically to sparsity.
• Abstract（参考訳）: 離散拡散モデルは、テキストやその他の分類データを生成するための自己回帰モデルの主要な代替品として現れてきたが、その理論基盤は連続的なモデルよりも発展していない。 連続拡散モデルでは、これらのモデルがデータ内の低次元構造に適応し、統計的効率と一般化を改善することが示唆される。 本研究では,この現象の離散的類似性について,空間的仮定の下での離散拡散モデルの統計速度について検討する。 正規化スコアエントロピーの目的から導かれる非パラメトリック推定器を解析することにより、スパース状態における最小最適速度を確立する。 提案した正規化は,分類に導入されたラベル平滑化手法の適応と見なすことができ,スパーシティパラメータの知識を必要としない。 このことは、離散拡散モデルが本質的に空間に適応できることを示している。

関連論文リスト

• Diffusion Model for Manifold Data: Score Decomposition, Curvature, and Statistical Complexity [93.52679474816728]
  拡散モデルは、生成モデリングにおける主要なフレームワークとなっている。 本稿では,拡散モデルが構造データをどのように学習するかを,統計的複雑性とデータ幾何学的性質の影響の2つの重要な側面に焦点をあてる。 また、スコア関数の構造と多様体曲率の相互作用も強調する。
  論文  参考訳（メタデータ） (2026-03-21T04:40:19Z)
• Improved Sample Complexity For Diffusion Model Training Without Empirical Risk Minimizer Access [47.96419637803502]
  拡散モデルを解析し、$widetildemathcalO(epsilon-4)$に束縛された最先端のサンプル複雑性を提供する。 スコア推定誤差の統計的および最適化成分への構造化分解は、拡散モデルを効率的に訓練する方法に関する重要な洞察を与える。
  論文  参考訳（メタデータ） (2025-05-23T20:02:15Z)
• Continuous Diffusion Model for Language Modeling [64.7425225935854]
  離散的データに対する既存の連続拡散モデルは離散的手法と比較して性能が劣る。 本稿では,下層の分類分布の幾何学を組み込んだ言語モデリングのための連続拡散モデルを提案する。 本手法は,既存の離散拡散モデルより優れ,自己回帰モデルの性能にアプローチする。
  論文  参考訳（メタデータ） (2025-02-17T08:54:29Z)
• Unveil Conditional Diffusion Models with Classifier-free Guidance: A Sharp Statistical Theory [87.00653989457834]
  条件付き拡散モデルは現代の画像合成の基礎となり、計算生物学や強化学習などの分野に広く応用されている。 経験的成功にもかかわらず、条件拡散モデルの理論はほとんど欠落している。 本稿では,条件拡散モデルを用いた分布推定の急激な統計的理論を提示することにより,ギャップを埋める。
  論文  参考訳（メタデータ） (2024-03-18T17:08:24Z)
• Diffusion Models are Minimax Optimal Distribution Estimators [49.47503258639454]
  拡散モデリングの近似と一般化能力について、初めて厳密な分析を行った。 実密度関数がベソフ空間に属し、経験値整合損失が適切に最小化されている場合、生成したデータ分布は、ほぼ最小の最適推定値が得られることを示す。
  論文  参考訳（メタデータ） (2023-03-03T11:31:55Z)
• Information-Theoretic Diffusion [18.356162596599436]
  拡散モデルのデノイングは密度モデリングや画像生成において大きな進歩をもたらした。 情報理論における古典的な結果にインスパイアされた拡散モデルのための新しい数学的基礎を導入する。
  論文  参考訳（メタデータ） (2023-02-07T23:03:07Z)
• How Much is Enough? A Study on Diffusion Times in Score-based Generative Models [76.76860707897413]
  現在のベストプラクティスは、フォワードダイナミクスが既知の単純なノイズ分布に十分に近づくことを確実にするために大きなTを提唱している。 本稿では, 理想とシミュレーションされたフォワードダイナミクスのギャップを埋めるために補助モデルを用いて, 標準的な逆拡散過程を導出する方法について述べる。
  論文  参考訳（メタデータ） (2022-06-10T15:09:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。