論文の概要: From Scores to Gibbs Correctors: Accelerating Uniform-Rate Discrete Diffusion Models

• arxiv url: http://arxiv.org/abs/2605.27352v1
• Date: Tue, 26 May 2026 17:52:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-27 17:51:42.581747
• Title: From Scores to Gibbs Correctors: Accelerating Uniform-Rate Discrete Diffusion Models
• Title（参考訳）: スコアからギブズ・コレクタへ:一様レート離散拡散モデルの高速化
• Authors: Yuchen Liang, Ness Shroff, Yingbin Liang,
• Abstract要約: 我々は、Gibs-Accelerated Discrete Diffusion (GADD)と呼ばれる離散拡散モデルのための新しいGibsベースの修正器を提案する。 我々はGADDが$mathcalO(mathrmpolylog (varepsilon-1)$の総合的なサンプリング複雑性を達成し、均一レートの離散拡散モデルに対する拡散に基づくサンプリング者にとって最初のレートとなることを示す。
• 参考スコア（独自算出の注目度）: 58.02657021435213
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Discrete diffusion models have achieved strong empirical performance in text and other symbolic domains, but, especially for uniform-rate models, they often require many steps to generate a single sample. Existing acceleration methods either rely on training additional quantities or suffer from slow mixing. In this work, we propose a novel Gibbs-based corrector for discrete diffusion models, termed Gibbs-Accelerated Discrete Diffusion (GADD). GADD leverages the structure of the concrete score function to construct Gibbs posterior likelihoods directly, without requiring any additional training beyond standard score estimation. We show that GADD achieves an overall sampling complexity of $\mathcal{O}(\mathrm{polylog} (\varepsilon^{-1}))$, yielding the first such rate for diffusion-based samplers for uniform-rate discrete diffusion models. We also conduct numerical experiments demonstrating the practical advantages of GADD across synthetic data, zero-shot text sampling, and zero-shot conditional music generation. These results corroborate the theory and show that GADD consistently improves sample quality and wall-clock efficiency over standard baselines, including vanilla Euler methods and CTMC correctors. Beyond this, our theoretical analysis introduces a novel framework for analyzing predictor-corrector methods in discrete diffusion models, which may be of independent interest. Unlike existing approaches that rely on the Girsanov change-of-measure technique, our method is based on an induction argument that tracks error propagation across predictor iterations while accounting for inaccuracies in the corrector updates.
• Abstract（参考訳）: 離散拡散モデルは、テキストやその他の記号領域において強い経験的性能を達成したが、特に均一レートモデルでは、単一のサンプルを生成するために多くのステップを必要とすることが多い。 既存の加速法は、追加量の訓練に依存するか、遅い混合に苦しむかのいずれかである。 本稿では,Gibs-Accelerated Discrete Diffusion (GADD) と呼ばれる離散拡散モデルのための新しいGibsベースの修正器を提案する。 GADDは具体的なスコア関数の構造を利用して、標準スコア推定を超える追加のトレーニングを必要とせず、ギブスの後続確率を直接構成する。 GADD は $\mathcal{O}(\mathrm{polylog} (\varepsilon^{-1})$ の総合的なサンプリング複雑性を達成し、均一レートの離散拡散モデルに対する拡散に基づく標本化において、そのような率となることを示す。 また, 合成データ, ゼロショットテキストサンプリング, ゼロショット条件付き音楽生成におけるGADDの実用的利点を示す数値実験を行った。 これらの結果は、GADDが標準ベースラインよりもサンプリング品質とウォールクロック効率を一貫して改善し、バニラ・オイラー法やCTMC補正器などの理論を裏付けるものである。 さらに,本理論解析では,離散拡散モデルにおける予測-相関法を解析するための新たな枠組みを導入している。 Girsanov変分法に依存する既存の手法とは違って,本手法は,修正器更新の不正確さを考慮しつつ,予測器の繰り返しにおける誤差の伝播を追跡する帰納的議論に基づいている。

関連論文リスト

• Efficient Sampling with Discrete Diffusion Models: Sharp and Adaptive Guarantees [9.180350432640912]
  連続時間マルコフ連鎖(CTMC)の定式化によるスコアベース離散拡散モデルのサンプリング効率について検討した。 一様離散拡散に対して、$$-leapingアルゴリズムは位数$tilde O(d/varepsilon)$の複雑さを達成することを示す。 離散拡散をマスキングするために,本質的な情報理論量によって収束率を制御した$$-leapingサンプルラを導入する。
  論文  参考訳（メタデータ） (2026-02-16T18:48:17Z)
• Inference-Time Scaling of Diffusion Language Models with Particle Gibbs Sampling [70.8832906871441]
  我々は、モデルを再訓練することなく、所望の報酬に向けて世代を操る方法を研究する。 従来の手法では、通常は1つの認知軌道内でサンプリングやフィルタを行い、軌道レベルの改善なしに報酬をステップバイステップで最適化する。 本稿では,拡散言語モデル(PG-DLM)の粒子ギブスサンプリングについて紹介する。
  論文  参考訳（メタデータ） (2025-07-11T08:00:47Z)
• Training-Free Stein Diffusion Guidance: Posterior Correction for Sampling Beyond High-Density Regions [46.59494117137471]
  自由拡散誘導の訓練は、追加の訓練なしに既成の分類器を活用する柔軟な方法を提供する。 本稿では,SOC を対象とする新たなトレーニングフリーフレームワークである Stein Diffusion Guidance (SDG) を紹介する。 分子低密度サンプリングタスクの実験は、SDGが標準のトレーニングフリーガイダンス手法を一貫して上回っていることを示唆している。
  論文  参考訳（メタデータ） (2025-07-07T21:14:27Z)
• A Simple Analysis of Discretization Error in Diffusion Models [3.6042771517920724]
  拡散モデルは微分方程式(SDE)の離散化として定式化され、最先端の生成性能を達成する。 本稿では、分散保存SDEの保存丸山離散化を簡易に解析するための理論的枠組みを提案する。 我々の研究は拡散に基づく生成モデルにおける理論的厳密さと実用的効率を橋渡しする。
  論文  参考訳（メタデータ） (2025-06-10T01:46:42Z)
• Random Walks with Tweedie: A Unified View of Score-Based Diffusion Models [11.161487364062667]
  拡散モデルは、現実的な合成信号を生成する強力なツールとして登場した。 本論文では,数個の教科書結果にのみ依存する,有意なスコアベース拡散モデルに対する簡潔な導出について述べる。
  論文  参考訳（メタデータ） (2024-11-27T19:13:20Z)
• Reflected Diffusion Models [93.26107023470979]
  本稿では,データのサポートに基づいて進化する反射微分方程式を逆転する反射拡散モデルを提案する。 提案手法は,一般化されたスコアマッチング損失を用いてスコア関数を学習し,標準拡散モデルの主要成分を拡張する。
  論文  参考訳（メタデータ） (2023-04-10T17:54:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。