論文の概要: Convergence Analysis of Discrete Diffusion Model: Exact Implementation
through Uniformization
- arxiv url: http://arxiv.org/abs/2402.08095v2
- Date: Wed, 14 Feb 2024 05:30:46 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-15 11:53:53.680196
- Title: Convergence Analysis of Discrete Diffusion Model: Exact Implementation
through Uniformization
- Title(参考訳): 離散拡散モデルの収束解析:一様化による厳密な実装
- Authors: Hongrui Chen, Lexing Ying
- Abstract要約: 連続マルコフ連鎖の均一化を利用したアルゴリズムを導入し、ランダムな時間点の遷移を実装した。
我々の結果は、$mathbbRd$における拡散モデルの最先端の成果と一致し、さらに$mathbbRd$設定と比較して離散拡散モデルの利点を浮き彫りにする。
- 参考スコア(独自算出の注目度): 17.535229185525353
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Diffusion models have achieved huge empirical success in data generation
tasks. Recently, some efforts have been made to adapt the framework of
diffusion models to discrete state space, providing a more natural approach for
modeling intrinsically discrete data, such as language and graphs. This is
achieved by formulating both the forward noising process and the corresponding
reversed process as Continuous Time Markov Chains (CTMCs). In this paper, we
investigate the theoretical properties of the discrete diffusion model.
Specifically, we introduce an algorithm leveraging the uniformization of
continuous Markov chains, implementing transitions on random time points. Under
reasonable assumptions on the learning of the discrete score function, we
derive Total Variation distance and KL divergence guarantees for sampling from
any distribution on a hypercube. Our results align with state-of-the-art
achievements for diffusion models in $\mathbb{R}^d$ and further underscore the
advantages of discrete diffusion models in comparison to the $\mathbb{R}^d$
setting.
- Abstract(参考訳): 拡散モデルはデータ生成タスクで大きな経験的成功を収めた。
近年、拡散モデルのフレームワークを離散状態空間に適応させ、言語やグラフのような本質的に離散的なデータをモデリングするためのより自然なアプローチを提供している。
これは前処理とそれに対応する逆処理の両方をCTMC(Continuous Time Markov Chains)として定式化する。
本稿では,離散拡散モデルの理論的性質について考察する。
具体的には,連続マルコフ連鎖の一様化を利用したアルゴリズムを導入し,ランダムな時間点上の遷移を実装した。
離散スコア関数の学習に関する合理的な仮定の下で、超キューブ上の任意の分布からサンプリングするためのトータル変分距離とKL発散保証を導出する。
この結果は,$\mathbb{r}^d$ における拡散モデルの最先端の成果と一致し,$\mathbb{r}^d$ 設定と比較して離散拡散モデルの利点を更に強調する。
関連論文リスト
- Theoretical Insights for Diffusion Guidance: A Case Study for Gaussian
Mixture Models [59.331993845831946]
拡散モデルは、所望の特性に向けてサンプル生成を操るために、スコア関数にタスク固有の情報を注入することの恩恵を受ける。
本稿では,ガウス混合モデルの文脈における拡散モデルに対する誘導の影響を理解するための最初の理論的研究を提供する。
論文 参考訳(メタデータ) (2024-03-03T23:15:48Z) - Non-asymptotic Convergence of Discrete-time Diffusion Models: New
Approach and Improved Rate [54.596887384531236]
我々は離散時間拡散モデルの下で、分布のかなり大きなクラスに対する収束保証を確立する。
パラメータ依存を明示した分布の興味深いクラスに対して,結果の専門化を行う。
本稿では,新しい加速サンプリング器を提案し,対応する正則サンプリング器の収束率を桁違いに向上することを示す。
論文 参考訳(メタデータ) (2024-02-21T16:11:47Z) - Generative Modeling of Discrete Joint Distributions by E-Geodesic Flow
Matching on Assignment Manifolds [0.8594140167290099]
一般の非分解離散分布は、部分多様体をすべての合同離散分布のメタプレプレックスに埋め込むことで近似することができる。
離散分布を分解する測地線の流れをマッチングすることにより、生成モデルの効率的な訓練を実演する。
論文 参考訳(メタデータ) (2024-02-12T17:56:52Z) - Eliminating Lipschitz Singularities in Diffusion Models [51.806899946775076]
拡散モデルは、時間ステップの零点付近で無限のリプシッツをしばしば表すことを示す。
これは、積分演算に依存する拡散過程の安定性と精度に脅威をもたらす。
我々はE-TSDMと呼ばれる新しい手法を提案し、これは0に近い拡散モデルのリプシッツを除去する。
論文 参考訳(メタデータ) (2023-06-20T03:05:28Z) - A Geometric Perspective on Diffusion Models [60.69328526215776]
本稿では,人気のある分散拡散型SDEのODEに基づくサンプリングを検証し,そのサンプリングダイナミクスの興味深い構造を明らかにした。
我々は、最適なODEベースのサンプリングと古典的な平均シフト(モード探索)アルゴリズムの理論的関係を確立する。
論文 参考訳(メタデータ) (2023-05-31T15:33:16Z) - Blackout Diffusion: Generative Diffusion Models in Discrete-State Spaces [0.0]
前方拡散過程における任意の離散状態マルコフ過程の理論的定式化を開発する。
例えばBlackout Diffusion'は、ノイズからではなく、空のイメージからサンプルを生成することを学習する。
論文 参考訳(メタデータ) (2023-05-18T16:24:12Z) - Diffusion Models are Minimax Optimal Distribution Estimators [49.47503258639454]
拡散モデリングの近似と一般化能力について、初めて厳密な分析を行った。
実密度関数がベソフ空間に属し、経験値整合損失が適切に最小化されている場合、生成したデータ分布は、ほぼ最小の最適推定値が得られることを示す。
論文 参考訳(メタデータ) (2023-03-03T11:31:55Z) - Infinite-Dimensional Diffusion Models [4.342241136871849]
拡散に基づく生成モデルを無限次元で定式化し、関数の生成モデルに適用する。
我々の定式化は無限次元の設定においてよく成り立っていることを示し、サンプルから目標測度への次元非依存距離境界を提供する。
また,無限次元拡散モデルの設計ガイドラインも作成する。
論文 参考訳(メタデータ) (2023-02-20T18:00:38Z) - Information-Theoretic Diffusion [18.356162596599436]
拡散モデルのデノイングは密度モデリングや画像生成において大きな進歩をもたらした。
情報理論における古典的な結果にインスパイアされた拡散モデルのための新しい数学的基礎を導入する。
論文 参考訳(メタデータ) (2023-02-07T23:03:07Z) - Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。
条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。
提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
論文 参考訳(メタデータ) (2022-11-30T05:33:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。