論文の概要: Absorb and Converge: Provable Convergence Guarantee for Absorbing Discrete Diffusion Models

• arxiv url: http://arxiv.org/abs/2506.02318v1
• Date: Mon, 02 Jun 2025 23:14:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-05 01:42:09.380447
• Title: Absorb and Converge: Provable Convergence Guarantee for Absorbing Discrete Diffusion Models
• Title（参考訳）: 吸収と収束:離散拡散モデルの吸収のための予測収束保証
• Authors: Yuchen Liang, Renxiang Huang, Lifeng Lai, Ness Shroff, Yingbin Liang,
• Abstract要約: 吸収率行列を用いた離散拡散モデルに対する第1次有限時間誤差境界と収束速度解析を提供する。 我々は、吸収率行列の下での$tau$-leapingと均一化サンプリングの双方に対する最初の収束保証を確立する。 適切な仮定の下では、早期に停止することなく収束保証を提供する。
• 参考スコア（独自算出の注目度）: 59.47572583027685
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Discrete state space diffusion models have shown significant advantages in applications involving discrete data, such as text and image generation. It has also been observed that their performance is highly sensitive to the choice of rate matrices, particularly between uniform and absorbing rate matrices. While empirical results suggest that absorbing rate matrices often yield better generation quality compared to uniform rate matrices, existing theoretical works have largely focused on the uniform rate matrices case. Notably, convergence guarantees and error analyses for absorbing diffusion models are still missing. In this work, we provide the first finite-time error bounds and convergence rate analysis for discrete diffusion models using absorbing rate matrices. We begin by deriving an upper bound on the KL divergence of the forward process, introducing a surrogate initialization distribution to address the challenge posed by the absorbing stationary distribution, which is a singleton and causes the KL divergence to be ill-defined. We then establish the first convergence guarantees for both the $\tau$-leaping and uniformization samplers under absorbing rate matrices, demonstrating improved rates over their counterparts using uniform rate matrices. Furthermore, under suitable assumptions, we provide convergence guarantees without early stopping. Our analysis introduces several new technical tools to address challenges unique to absorbing rate matrices. These include a Jensen-type argument for bounding forward process convergence, novel techniques for bounding absorbing score functions, and a non-divergent upper bound on the score near initialization that removes the need of early-stopping.
• Abstract（参考訳）: 離散状態空間拡散モデルは、テキストや画像生成などの離散データを含むアプリケーションにおいて大きな利点を示している。 また、それらの性能は、特に均一度と吸収率の行列の選択に非常に敏感であることも観察されている。 実験結果から,吸収率行列は均一速度行列よりも優れた生成品質が得られることが示唆されるが,既存の理論的研究は均一速度行列の場合に主に焦点を当てている。 特に、拡散モデルを吸収するための収束保証と誤差解析はいまだに欠落している。 本研究では、吸収率行列を用いた離散拡散モデルに対して、最初の有限時間誤差境界と収束速度解析を提供する。 まず、前処理のKL分散に関する上限を導出し、Surrogate初期化分布を導入して、シングルトンである吸収定常分布による課題に対処し、KL分散を不定義にする。 次に、吸収率行列の下での$\tau$-leapingと均一化サンプルの双方に対する最初の収束保証を確立し、一様レート行列を用いて、それらのコンバージェンスよりも改善されたレートを示す。 さらに、適切な仮定の下では、早期に停止することなく収束保証を提供する。 本分析では, 吸収率行列に特有の課題に対処する新しい技術ツールをいくつか紹介する。 これらには、有界前方過程収束のためのイェンセン型の引数、吸収スコア関数の有界化のための新しいテクニック、初期化に近いスコア上の非発散上界がアーリーストッピングの必要性を排除している。

関連論文リスト

• Convergence of Score-Based Discrete Diffusion Models: A Discrete-Time Analysis [56.442307356162864]
  連続時間マルコフ連鎖(CTMC)に基づくスコアベース離散拡散モデルの理論的側面について検討する。 本稿では,事前定義された時間点におけるスコア推定値を利用する離散時間サンプリングアルゴリズムを一般状態空間$[S]d$に導入する。 我々の収束解析はジルサノフ法を用いて離散スコア関数の重要な性質を確立する。
  論文  参考訳（メタデータ） (2024-10-03T09:07:13Z)
• Broadening Target Distributions for Accelerated Diffusion Models via a Novel Analysis Approach [49.97755400231656]
  本研究では,新しいDDPMサンプリング器が,これまで考慮されていなかった3種類の分散クラスに対して高速化性能を実現することを示す。 この結果から, DDPM型加速サンプリング器におけるデータ次元$d$への依存性が改善された。
  論文  参考訳（メタデータ） (2024-02-21T16:11:47Z)
• Leave-one-out Singular Subspace Perturbation Analysis for Spectral Clustering [7.342677574855651]
  特異部分空間摂動理論は確率と統計において基本的な重要性を持つ。 2つの任意の行列を考え、一方はもう一方の行列の1カラムアウト部分行列である。 混合モデルに適しており、ウェディンの定理のような古典的な摂動境界よりも鋭く、より詳細な統計解析をもたらす。
  論文  参考訳（メタデータ） (2022-05-30T05:07:09Z)
• Loss function based second-order Jensen inequality and its application to particle variational inference [112.58907653042317]
  粒子変分推論(PVI)は、後部分布の実験的近似としてモデルのアンサンブルを用いる。 PVIは、最適化されたモデルの多様性を保証するために、各モデルを反発力で反復的に更新する。 我々は,新たな一般化誤差を導出し,モデルの多様性を高めて低減できることを示す。
  論文  参考訳（メタデータ） (2021-06-09T12:13:51Z)
• Large Non-Stationary Noisy Covariance Matrices: A Cross-Validation Approach [1.90365714903665]
  金融時系列のヘテロシデスティックな性質を利用する新しい共分散推定器を提案する。 断面次元と時系列次元の両方のノイズを減衰させることにより、我々は、競合する推定器に対する推定器の優位性を実証的に実証する。
  論文  参考訳（メタデータ） (2020-12-10T15:41:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。