論文の概要: Sharp Convergence Rates for Masked Diffusion Models

• arxiv url: http://arxiv.org/abs/2602.22505v1
• Date: Thu, 26 Feb 2026 00:47:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-27 18:41:22.456957
• Title: Sharp Convergence Rates for Masked Diffusion Models
• Title（参考訳）: 仮設拡散モデルにおけるシャープ収束率
• Authors: Yuchen Liang, Zhiheng Tan, Ness Shroff, Yingbin Liang,
• Abstract要約: 制約を克服するオイラー法に対する全変分に基づく解析法を開発した。 その結果、スコア推定の仮定を緩和し、パラメータ依存性を改善し、収束保証を確立する。 全体としては,CTMC軌道に沿った直接テレビによる誤り分解と,FHSのためのデカップリングに基づく経路解析を導入している。
• 参考スコア（独自算出の注目度）: 53.117058231393834
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Discrete diffusion models have achieved strong empirical performance in text and other symbolic domains, with masked (absorbing-rate) variants emerging as competitive alternatives to autoregressive models. Among existing samplers, the Euler method remains the standard choice in many applications, and more recently, the First-Hitting Sampler (FHS) has shown considerable promise for masked diffusion models. Despite their practical success, the theoretical understanding of these samplers remains limited. Existing analyses are conducted in Kullback-Leibler (KL) divergence, which often yields loose parameter dependencies and requires strong assumptions on score estimation. Moreover, these guarantees do not cover recently developed high-performance sampler of FHS. In this work, we first develop a direct total-variation (TV) based analysis for the Euler method that overcomes these limitations. Our results relax assumptions on score estimation, improve parameter dependencies, and establish convergence guarantees without requiring any surrogate initialization. Also for this setting, we provide the first convergence lower bound for the Euler sampler, establishing tightness with respect to both the data dimension $d$ and the target accuracy $\varepsilon$. Finally, we analyze the FHS sampler and show that it incurs no sampling error beyond that induced by score estimation, which we show to be tight with a matching lower error bound. Overall, our analysis introduces a direct TV-based error decomposition along the CTMC trajectory and a decoupling-based path-wise analysis for FHS, which may be of independent interest.
• Abstract（参考訳）: 離散拡散モデルはテキストやその他の記号領域において強い経験的性能を達成しており、自己回帰モデルの競合代替としてマスク付き(吸収速度)変種が出現している。 既存のサンプルのなかでも、オイラー法は多くの応用において標準的な選択肢であり、最近では、ファースト・ハッティング・サンプラー (FHS) がマスキング拡散モデルにかなりの可能性を示している。 実際の成功にもかかわらず、これらのサンプルの理論的理解は依然として限られている。 既存の分析はKullback-Leibler (KL) の発散で行われ、これはしばしば緩いパラメータ依存を生じ、スコア推定に強い仮定を必要とする。 さらに、これらの保証は、最近開発されたFHSの高性能サンプリング器をカバーしていない。 本研究では,これらの制約を克服するEuler法に対して,直接全変分法(TV)に基づく解析法を開発した。 結果は,スコア推定の仮定を緩和し,パラメータ依存性を改善し,サロゲート初期化を必要とせずに収束保証を確立する。 また、この設定のために、Euler サンプルラーに対して最初の収束下界を提供し、データ次元 $d$ とターゲット精度 $\varepsilon$ の両方に関して厳密性を確立する。 最後に,FHSサンプリング器を解析した結果,スコア推定によるサンプリング誤差は発生せず,一致した低い誤差境界と密に一致していることが判明した。 全体として,本研究では,CTMC軌道に沿った直接テレビによる誤り分解と,FHSの切り離しに基づく経路ワイズ解析を導入している。

関連論文リスト

• Improving Minimax Estimation Rates for Contaminated Mixture of Multinomial Logistic Experts via Expert Heterogeneity [49.809923981964715]
  凍結したエキスパートとして機能する事前訓練されたモデルを、新しいタスクを学ぶためにトレーニング可能なエキスパートとして機能するアダプタモデルに統合するトランスファー学習手法によって、汚染された専門家の混合(MoE)が動機付けられる。 本研究は, 地絡パラメータがサンプルサイズによって異なる困難な条件下で, パラメータを推定するための一様収束率を特徴付ける。 また、対応するミニマックス下限を定め、これらのレートがミニマックス最適であることを保証する。
  論文  参考訳（メタデータ） (2026-01-31T23:45:50Z)
• Discrete Diffusion Models: Novel Analysis and New Sampler Guarantees [70.88473359544084]
  離散拡散モデルに対する新たな解析的アプローチを導入し,正規性仮定の必要性を排除した。 標準的な$tau$-leaping法では、語彙サイズとともに線形にスケールするKL発散の収束保証を確立する。 我々のアプローチはより広く適用可能であり、他の広く使われているサンプルに対して最初の収束保証を提供する。
  論文  参考訳（メタデータ） (2025-09-20T17:42:29Z)
• Inference-Time Scaling of Diffusion Language Models with Particle Gibbs Sampling [70.8832906871441]
  我々は、モデルを再訓練することなく、所望の報酬に向けて世代を操る方法を研究する。 従来の手法では、通常は1つの認知軌道内でサンプリングやフィルタを行い、軌道レベルの改善なしに報酬をステップバイステップで最適化する。 本稿では,拡散言語モデル(PG-DLM)の粒子ギブスサンプリングについて紹介する。
  論文  参考訳（メタデータ） (2025-07-11T08:00:47Z)
• Theory on Score-Mismatched Diffusion Models and Zero-Shot Conditional Samplers [49.97755400231656]
  一般のスコアミスマッチ拡散サンプリング器に対する明示的な次元依存性を持つ最初の性能保証を示す。 その結果, スコアミスマッチは, 目標分布とサンプリング分布の分布バイアスとなり, 目標分布とトレーニング分布の累積ミスマッチに比例することがわかった。 この結果は、測定ノイズに関係なく、任意の条件モデルに対するゼロショット条件付きサンプリングに直接適用することができる。
  論文  参考訳（メタデータ） (2024-10-17T16:42:12Z)
• KL Convergence Guarantees for Score diffusion models under minimal data assumptions [9.618473763561418]
  注目すべき課題は、包括的な定量的結果の欠如という形で続いている。 この記事では、Ornstein-Uhlenbeck半群とその運動論的対応から生じる一定のステップサイズを持つスコア拡散モデルに焦点を当てる。
  論文  参考訳（メタデータ） (2023-08-23T16:31:08Z)
• Convergence of uncertainty estimates in Ensemble and Bayesian sparse model discovery [4.446017969073817]
  ブートストラップに基づく逐次しきい値最小二乗推定器による雑音に対する精度と頑健性の観点から経験的成功を示す。 このブートストラップに基づくアンサンブル手法は,誤差率の指数収束率で,確率的に正しい可変選択を行うことができることを示す。
  論文  参考訳（メタデータ） (2023-01-30T04:07:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。