論文の概要: Non-Asymptotic Convergence of Discrete Diffusion Models: Masked and Random Walk dynamics

• arxiv url: http://arxiv.org/abs/2512.00580v2
• Date: Wed, 03 Dec 2025 22:06:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-05 14:54:32.79302
• Title: Non-Asymptotic Convergence of Discrete Diffusion Models: Masked and Random Walk dynamics
• Title（参考訳）: 離散拡散モデルの非漸近収束:マスクおよびランダムウォークダイナミクス
• Authors: Giovanni Conforti, Alain Durmus, Le-Tuyet-Nhi Pham, Gael Raoul,
• Abstract要約: 我々は3つの一般的な離散拡散モデルに対する新しい鋭い収束保証を開発する。 各手法の計算複雑性は, 対数的因子まで, 次元で線形にスケールすることを示した。 この研究は、これらのノイズ発生過程に対する最初の非漸近収束保証を提供する。
• 参考スコア（独自算出の注目度）: 13.202844408027412
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion models for continuous state spaces based on Gaussian noising processes are now relatively well understood, as many works have focused on their theoretical analysis. In contrast, results for diffusion models on discrete state spaces remain limited and pose significant challenges, particularly due to their combinatorial structure and their more recent introduction in generative modelling. In this work, we establish new and sharp convergence guarantees for three popular discrete diffusion models (DDMs). Two of these models are designed for finite state spaces and are based respectively on the random walk and the masking process. The third DDM we consider is defined on the countably infinite space $\mathbb{N}^d$ and uses a drifted random walk as its forward process. For each of these models, the backward process can be characterized by a discrete score function that can, in principle, be estimated. However, even with perfect access to these scores, simulating the exact backward process is infeasible, and one must rely on approximations. In this work, we study Euler-type approximations and establish convergence bounds in both Kullback-Leibler divergence and total variation distance for the resulting models, under minimal assumptions on the data distribution. In particular, we show that the computational complexity of each method scales linearly in the dimension, up to logarithmic factors. Furthermore, to the best of our knowledge, this study provides the first non-asymptotic convergence guarantees for these noising processes that do not rely on boundedness assumptions on the estimated score.
• Abstract（参考訳）: ガウスノゲティング過程に基づく連続状態空間の拡散モデルは、多くの研究が理論解析に焦点を当てているため、現在では比較的よく理解されている。 対照的に、離散状態空間上の拡散モデルの結果は限定的であり、特にその組合せ構造と、より最近の生成的モデリングの導入により、大きな課題が生じる。 本研究では,3つの一般的な離散拡散モデル (DDM) に対する新しい,鋭い収束保証を確立する。 これらのモデルのうち2つは有限状態空間用に設計されており、それぞれランダムウォークとマスキングのプロセスに基づいている。 第3のDDMは数え切れない無限空間 $\mathbb{N}^d$ 上で定義され、その前方過程としてドリフトされたランダムウォークを使用する。 これらのモデルごとに、後向きの過程は離散的なスコア関数によって特徴づけられ、原理的には推定できる。 しかし、これらのスコアに完全にアクセスしても、正確な後退過程をシミュレートすることは不可能であり、近似に頼らなければならない。 本研究では,データ分布に関する最小の仮定の下で,オイラー型近似について検討し,クルバック・リーブラーの発散と結果モデルの総変動距離の収束境界を確立する。 特に,各手法の計算複雑性は,対数的因子まで線形にスケールすることを示した。 さらに、我々の知る限りでは、この研究は、推定されたスコアの有界性仮定に依存しないこれらのノイズ発生過程に対して、最初の非漸近収束保証を提供する。

関連論文リスト

• Overcoming Dimensional Factorization Limits in Discrete Diffusion Models through Quantum Joint Distribution Learning [79.65014491424151]
  量子離散化拡散確率モデル(QD3PM)を提案する。 これは、指数関数的に大きなヒルベルト空間における拡散と denoising を通じて合同確率学習を可能にする。 本稿では,共同分布学習における量子的優位性を生かして,生成モデルの新たな理論的パラダイムを確立する。
  論文  参考訳（メタデータ） (2025-05-08T11:48:21Z)
• Interleaved Gibbs Diffusion: Generating Discrete-Continuous Data with Implicit Constraints [30.624303845550575]
  Interleaved Gibbs Diffusion (IGD)は、離散連続データのための新しい生成モデリングフレームワークである。 IGDは離散時間ギブスサンプリング型マルコフ連鎖を離散連続生成の場合に一般化する。 ドメイン固有の帰納バイアスに頼ることなく、最先端の結果を達成する。
  論文  参考訳（メタデータ） (2025-02-19T05:51:24Z)
• Convergence of Score-Based Discrete Diffusion Models: A Discrete-Time Analysis [56.442307356162864]
  連続時間マルコフ連鎖(CTMC)に基づくスコアベース離散拡散モデルの理論的側面について検討する。 本稿では,事前定義された時間点におけるスコア推定値を利用する離散時間サンプリングアルゴリズムを一般状態空間$[S]d$に導入する。 我々の収束解析はジルサノフ法を用いて離散スコア関数の重要な性質を確立する。
  論文  参考訳（メタデータ） (2024-10-03T09:07:13Z)
• Adapting to Unknown Low-Dimensional Structures in Score-Based Diffusion Models [6.76974373198208]
  周囲の次元が$d$である場合、各デノイングステップ内で発生する誤差の依存性は、一般的には避けられない。 これはDDPMサンプリング器がターゲット分布の未知の低次元構造に適応できるという最初の理論実証である。
  論文  参考訳（メタデータ） (2024-05-23T17:59:10Z)
• Convergence Analysis of Discrete Diffusion Model: Exact Implementation through Uniformization [17.535229185525353]
  連続マルコフ連鎖の均一化を利用したアルゴリズムを導入し、ランダムな時間点の遷移を実装した。 我々の結果は、$mathbbRd$における拡散モデルの最先端の成果と一致し、さらに$mathbbRd$設定と比較して離散拡散モデルの利点を浮き彫りにする。
  論文  参考訳（メタデータ） (2024-02-12T22:26:52Z)
• Score-based Diffusion Models in Function Space [137.70916238028306]
  拡散モデルは、最近、生成モデリングの強力なフレームワークとして登場した。 この研究は、関数空間における拡散モデルをトレーニングするためのDDO(Denoising Diffusion Operators)と呼ばれる数学的に厳密なフレームワークを導入する。 データ解像度に依存しない固定コストで、対応する離散化アルゴリズムが正確なサンプルを生成することを示す。
  論文  参考訳（メタデータ） (2023-02-14T23:50:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。