論文の概要: Non-Asymptotic Convergence of Discrete Diffusion Models: Masked and Random Walk dynamics
- arxiv url: http://arxiv.org/abs/2512.00580v2
- Date: Wed, 03 Dec 2025 22:06:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-05 14:54:32.79302
- Title: Non-Asymptotic Convergence of Discrete Diffusion Models: Masked and Random Walk dynamics
- Title（参考訳）: 離散拡散モデルの非漸近収束:マスクおよびランダムウォークダイナミクス
- Authors: Giovanni Conforti, Alain Durmus, Le-Tuyet-Nhi Pham, Gael Raoul,
- Abstract要約: 我々は3つの一般的な離散拡散モデルに対する新しい鋭い収束保証を開発する。
各手法の計算複雑性は, 対数的因子まで, 次元で線形にスケールすることを示した。
この研究は、これらのノイズ発生過程に対する最初の非漸近収束保証を提供する。
- 参考スコア（独自算出の注目度）: 13.202844408027412
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Diffusion models for continuous state spaces based on Gaussian noising processes are now relatively well understood, as many works have focused on their theoretical analysis. In contrast, results for diffusion models on discrete state spaces remain limited and pose significant challenges, particularly due to their combinatorial structure and their more recent introduction in generative modelling. In this work, we establish new and sharp convergence guarantees for three popular discrete diffusion models (DDMs). Two of these models are designed for finite state spaces and are based respectively on the random walk and the masking process. The third DDM we consider is defined on the countably infinite space $\mathbb{N}^d$ and uses a drifted random walk as its forward process. For each of these models, the backward process can be characterized by a discrete score function that can, in principle, be estimated. However, even with perfect access to these scores, simulating the exact backward process is infeasible, and one must rely on approximations. In this work, we study Euler-type approximations and establish convergence bounds in both Kullback-Leibler divergence and total variation distance for the resulting models, under minimal assumptions on the data distribution. In particular, we show that the computational complexity of each method scales linearly in the dimension, up to logarithmic factors. Furthermore, to the best of our knowledge, this study provides the first non-asymptotic convergence guarantees for these noising processes that do not rely on boundedness assumptions on the estimated score.
- Abstract（参考訳）: ガウスノゲティング過程に基づく連続状態空間の拡散モデルは、多くの研究が理論解析に焦点を当てているため、現在では比較的よく理解されている。
対照的に、離散状態空間上の拡散モデルの結果は限定的であり、特にその組合せ構造と、より最近の生成的モデリングの導入により、大きな課題が生じる。
本研究では,3つの一般的な離散拡散モデル (DDM) に対する新しい,鋭い収束保証を確立する。
これらのモデルのうち2つは有限状態空間用に設計されており、それぞれランダムウォークとマスキングのプロセスに基づいている。
第3のDDMは数え切れない無限空間 $\mathbb{N}^d$ 上で定義され、その前方過程としてドリフトされたランダムウォークを使用する。
これらのモデルごとに、後向きの過程は離散的なスコア関数によって特徴づけられ、原理的には推定できる。
しかし、これらのスコアに完全にアクセスしても、正確な後退過程をシミュレートすることは不可能であり、近似に頼らなければならない。
本研究では,データ分布に関する最小の仮定の下で,オイラー型近似について検討し,クルバック・リーブラーの発散と結果モデルの総変動距離の収束境界を確立する。
特に,各手法の計算複雑性は,対数的因子まで線形にスケールすることを示した。
さらに、我々の知る限りでは、この研究は、推定されたスコアの有界性仮定に依存しないこれらのノイズ発生過程に対して、最初の非漸近収束保証を提供する。
関連論文リスト
- Generative AI Models for Learning Flow Maps of Stochastic Dynamical Systems in Bounded Domains [7.325529913721375]
境界領域における微分方程式(SDE)のシミュレーションには、内部力学と境界相互作用の正確なモデリングが必要である。
既存の学習方法は、粒子出口のダイナミクスを正確に捉えることができないため、境界領域のSDEには適用できない。
本稿では,条件拡散モデルと出口予測ニューラルネットワークを組み合わせたハイブリッド型データ駆動方式を提案する。
論文 参考訳（メタデータ） (2025-07-17T13:27:49Z) - Overcoming Dimensional Factorization Limits in Discrete Diffusion Models through Quantum Joint Distribution Learning [79.65014491424151]
量子離散化拡散確率モデル(QD3PM)を提案する。
これは、指数関数的に大きなヒルベルト空間における拡散と denoising を通じて合同確率学習を可能にする。
本稿では,共同分布学習における量子的優位性を生かして,生成モデルの新たな理論的パラダイムを確立する。
論文 参考訳（メタデータ） (2025-05-08T11:48:21Z) - Interleaved Gibbs Diffusion: Generating Discrete-Continuous Data with Implicit Constraints [30.624303845550575]
Interleaved Gibbs Diffusion (IGD)は、離散連続データのための新しい生成モデリングフレームワークである。
IGDは離散時間ギブスサンプリング型マルコフ連鎖を離散連続生成の場合に一般化する。
ドメイン固有の帰納バイアスに頼ることなく、最先端の結果を達成する。
論文 参考訳（メタデータ） (2025-02-19T05:51:24Z) - Continuous Diffusion Model for Language Modeling [64.7425225935854]
離散的データに対する既存の連続拡散モデルは離散的手法と比較して性能が劣る。
本稿では,下層の分類分布の幾何学を組み込んだ言語モデリングのための連続拡散モデルを提案する。
本手法は,既存の離散拡散モデルより優れ,自己回帰モデルの性能にアプローチする。
論文 参考訳（メタデータ） (2025-02-17T08:54:29Z) - Preconditioned Inexact Stochastic ADMM for Deep Model [35.37705488695026]
本稿では,拡張性のある並列コンピューティングを実現するアルゴリズムであるPISAを開発し,様々な前提条件をサポートする。
これは、有界領域上の勾配のリプシッツ連続性の唯一の仮定の下で収束し、メソッドによって一般的に課される他の条件の必要性を取り除く。
様々な最先端の繰り返しに比べて優れた数値性能を示す。
論文 参考訳（メタデータ） (2025-02-15T12:28:51Z) - Scalable Discrete Diffusion Samplers: Combinatorial Optimization and Statistical Physics [7.873510219469276]
離散拡散サンプリングのための2つの新しいトレーニング手法を提案する。
これらの手法は、メモリ効率のトレーニングを行い、教師なし最適化の最先端結果を達成する。
SN-NISとニューラルチェインモンテカルロの適応を導入し,離散拡散モデルの適用を初めて可能とした。
論文 参考訳（メタデータ） (2025-02-12T18:59:55Z) - Convergence of Score-Based Discrete Diffusion Models: A Discrete-Time Analysis [56.442307356162864]
連続時間マルコフ連鎖(CTMC)に基づくスコアベース離散拡散モデルの理論的側面について検討する。
本稿では,事前定義された時間点におけるスコア推定値を利用する離散時間サンプリングアルゴリズムを一般状態空間$[S]d$に導入する。
我々の収束解析はジルサノフ法を用いて離散スコア関数の重要な性質を確立する。
論文 参考訳（メタデータ） (2024-10-03T09:07:13Z) - Derivative-Free Guidance in Continuous and Discrete Diffusion Models with Soft Value-Based Decoding [84.3224556294803]
拡散モデルは、画像、分子、DNA、RNA、タンパク質配列の自然なデザイン空間を捉えるのに優れている。
これらの設計空間の自然性を保ちながら、下流の報酬関数を最適化することを目指している。
提案アルゴリズムは,中間雑音状態が将来高い報酬をもたらすことの先駆けとして,ソフトバリュー関数を統合する。
論文 参考訳（メタデータ） (2024-08-15T16:47:59Z) - Adapting to Unknown Low-Dimensional Structures in Score-Based Diffusion Models [6.76974373198208]
周囲の次元が$d$である場合、各デノイングステップ内で発生する誤差の依存性は、一般的には避けられない。
これはDDPMサンプリング器がターゲット分布の未知の低次元構造に適応できるという最初の理論実証である。
論文 参考訳（メタデータ） (2024-05-23T17:59:10Z) - Convergence Analysis of Discrete Diffusion Model: Exact Implementation
through Uniformization [17.535229185525353]
連続マルコフ連鎖の均一化を利用したアルゴリズムを導入し、ランダムな時間点の遷移を実装した。
我々の結果は、$mathbbRd$における拡散モデルの最先端の成果と一致し、さらに$mathbbRd$設定と比較して離散拡散モデルの利点を浮き彫りにする。
論文 参考訳（メタデータ） (2024-02-12T22:26:52Z) - Geometric Neural Diffusion Processes [55.891428654434634]
拡散モデルの枠組みを拡張して、無限次元モデリングに一連の幾何学的先行を組み込む。
これらの条件で、生成関数モデルが同じ対称性を持つことを示す。
論文 参考訳（メタデータ） (2023-07-11T16:51:38Z) - Score-based Diffusion Models in Function Space [137.70916238028306]
拡散モデルは、最近、生成モデリングの強力なフレームワークとして登場した。
この研究は、関数空間における拡散モデルをトレーニングするためのDDO(Denoising Diffusion Operators)と呼ばれる数学的に厳密なフレームワークを導入する。
データ解像度に依存しない固定コストで、対応する離散化アルゴリズムが正確なサンプルを生成することを示す。
論文 参考訳（メタデータ） (2023-02-14T23:50:53Z) - Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。
条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。
提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
論文 参考訳（メタデータ） (2022-11-30T05:33:29Z) - Mean-Field Approximation to Gaussian-Softmax Integral with Application
to Uncertainty Estimation [23.38076756988258]
ディープニューラルネットワークにおける不確実性を定量化するための,新しい単一モデルに基づくアプローチを提案する。
平均場近似式を用いて解析的に難解な積分を計算する。
実験的に,提案手法は最先端の手法と比較して競合的に機能する。
論文 参考訳（メタデータ） (2020-06-13T07:32:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。