論文の概要: Convergence of Score-Based Discrete Diffusion Models: A Discrete-Time Analysis
- arxiv url: http://arxiv.org/abs/2410.02321v1
- Date: Thu, 3 Oct 2024 09:07:13 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-04 03:50:17.290598
- Title: Convergence of Score-Based Discrete Diffusion Models: A Discrete-Time Analysis
- Title（参考訳）: スコアベース離散拡散モデルの収束性:離散時間解析
- Authors: Zikun Zhang, Zixiang Chen, Quanquan Gu,
- Abstract要約: 連続時間マルコフ連鎖(CTMC)に基づくスコアベース離散拡散モデルの理論的側面について検討する。
本稿では,事前定義された時間点におけるスコア推定値を利用する離散時間サンプリングアルゴリズムを一般状態空間$[S]d$に導入する。
我々の収束解析はジルサノフ法を用いて離散スコア関数の重要な性質を確立する。
- 参考スコア（独自算出の注目度）: 56.442307356162864
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Diffusion models have achieved great success in generating high-dimensional samples across various applications. While the theoretical guarantees for continuous-state diffusion models have been extensively studied, the convergence analysis of the discrete-state counterparts remains under-explored. In this paper, we study the theoretical aspects of score-based discrete diffusion models under the Continuous Time Markov Chain (CTMC) framework. We introduce a discrete-time sampling algorithm in the general state space $[S]^d$ that utilizes score estimators at predefined time points. We derive convergence bounds for the Kullback-Leibler (KL) divergence and total variation (TV) distance between the generated sample distribution and the data distribution, considering both scenarios with and without early stopping under specific assumptions. Notably, our KL divergence bounds are nearly linear in dimension $d$, aligning with state-of-the-art results for diffusion models. Our convergence analysis employs a Girsanov-based method and establishes key properties of the discrete score function, which are essential for characterizing the discrete-time sampling process.
- Abstract（参考訳）: 拡散モデルは様々なアプリケーションにまたがって高次元サンプルを生成することに成功している。
連続状態拡散モデルの理論的保証は広く研究されているが、離散状態拡散モデルの収束解析は未解明のままである。
本稿では,連続時間マルコフ連鎖(CTMC)に基づくスコアベース離散拡散モデルの理論的側面について検討する。
本稿では,事前定義された時間点におけるスコア推定値を利用する離散時間サンプリングアルゴリズムを一般状態空間$[S]^d$に導入する。
そこで本研究では,KL(Kulback-Leibler)のばらつきと,生成したサンプル分布とデータ分布との総変動(TV)距離の収束境界を,特定の仮定の下で早期に停止するシナリオと無関係に考慮して導出した。
特に、我々のKL分散境界は次元$d$でほぼ線形であり、拡散モデルの最先端結果と一致している。
我々の収束解析はジルサノフ法を用いて離散スコア関数の重要な性質を確立し、離散時間サンプリングプロセスの特徴付けに不可欠である。
関連論文リスト
- Continuous Diffusion Model for Language Modeling [57.396578974401734]
離散データに対する既存の連続拡散モデルは、離散的アプローチと比較して性能が限られている。
本稿では,下層の分類分布の幾何学を組み込んだ言語モデリングのための連続拡散モデルを提案する。
論文 参考訳（メタデータ） (2025-02-17T08:54:29Z) - Finite-Time Analysis of Discrete-Time Stochastic Interpolants [32.27430900126022]
補間フレームワークの最初の離散時間解析を行い、分布推定誤差の有限時間上限を導出する。
この結果は収束加速のための効率的なスケジュールを設計するための新しい方法を提供する。
論文 参考訳（メタデータ） (2025-02-13T10:07:35Z) - Information-Theoretic Proofs for Diffusion Sampling [13.095978794717007]
本稿では, 拡散法に基づくジェネレーティブ・モデリング手法の基本的, 自己完結型分析法を提案する。
拡散ステップサイズが十分に小さい場合、サンプリング分布はターゲット分布に確実に近いことを示す。
また,各ステップに追加のランダム性を導入して,比較過程における高次モーメントに一致させることにより,収束を促進させる方法についての透過的なビューを提供する。
論文 参考訳（メタデータ） (2025-02-04T13:19:21Z) - Theory on Score-Mismatched Diffusion Models and Zero-Shot Conditional Samplers [49.97755400231656]
本報告では,明示的な次元の一般スコアミスマッチ拡散サンプリング器を用いた最初の性能保証について述べる。
その結果, スコアミスマッチは, 目標分布とサンプリング分布の分布バイアスとなり, 目標分布とトレーニング分布の累積ミスマッチに比例することがわかった。
この結果は、測定ノイズに関係なく、任意の条件モデルに対するゼロショット条件付きサンプリングに直接適用することができる。
論文 参考訳（メタデータ） (2024-10-17T16:42:12Z) - How Discrete and Continuous Diffusion Meet: Comprehensive Analysis of Discrete Diffusion Models via a Stochastic Integral Framework [11.71206628091551]
L'evy型積分に基づく離散拡散モデルの誤差解析のための包括的フレームワークを提案する。
我々のフレームワークは、離散拡散モデルにおける現在の理論結果を統一し、強化する。
論文 参考訳（メタデータ） (2024-10-04T16:59:29Z) - Convergence Analysis of Discrete Diffusion Model: Exact Implementation
through Uniformization [17.535229185525353]
連続マルコフ連鎖の均一化を利用したアルゴリズムを導入し、ランダムな時間点の遷移を実装した。
我々の結果は、$mathbbRd$における拡散モデルの最先端の成果と一致し、さらに$mathbbRd$設定と比較して離散拡散モデルの利点を浮き彫りにする。
論文 参考訳（メタデータ） (2024-02-12T22:26:52Z) - A Geometric Perspective on Diffusion Models [57.27857591493788]
本稿では,人気のある分散拡散型SDEのODEに基づくサンプリングについて検討する。
我々は、最適なODEベースのサンプリングと古典的な平均シフト(モード探索)アルゴリズムの理論的関係を確立する。
論文 参考訳（メタデータ） (2023-05-31T15:33:16Z) - Score Approximation, Estimation and Distribution Recovery of Diffusion
Models on Low-Dimensional Data [68.62134204367668]
本稿では,未知の低次元線形部分空間上でデータをサポートする場合の拡散モデルのスコア近似,推定,分布回復について検討する。
適切に選択されたニューラルネットワークアーキテクチャでは、スコア関数を正確に近似し、効率的に推定することができる。
推定スコア関数に基づいて生成された分布は、データ幾何学構造を捕捉し、データ分布の近傍に収束する。
論文 参考訳（メタデータ） (2023-02-14T17:02:35Z) - Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。
条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。
提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
論文 参考訳（メタデータ） (2022-11-30T05:33:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。