論文の概要: Factorization-Error-Free Discrete Diffusion Language Model via Speculative Decoding

• arxiv url: http://arxiv.org/abs/2605.14305v1
• Date: Thu, 14 May 2026 03:15:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-15 21:45:34.597461
• Title: Factorization-Error-Free Discrete Diffusion Language Model via Speculative Decoding
• Title（参考訳）: 投機的復号化による因子化非誤り離散拡散言語モデル
• Authors: Xun Fang, Yunchen Li, Hang Yuan, Zhou Yu,
• Abstract要約: 本稿では,独立なクリーンコンディショニング予測を,トークン依存をよりよく保存するために,前置詞の正確な因数分解に置き換えるFacterization-Error-Free Discrete Language Diffusion Modeling (FeF-DLLM)を提案する。 GSM8K,MATH,HumanEval,MBPPによる実験により,平均5.04ポイントの精度向上と平均推定速度の3.86倍の精度向上が得られた。
• 参考スコア（独自算出の注目度）: 17.46155287289949
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Discrete diffusion language models improve generation efficiency through parallel token prediction, but standard $X_0$ prediction methods introduce factorization errors by approximating the clean token posterior with independent token-wise distributions. This paper proposes Factorization-Error-Free Discrete Diffusion Language Modeling (FeF-DLLM), which replaces independent clean-token prediction with an exact prefix-conditioned factorization of the clean posterior to better preserve token dependencies. To reduce the sequential cost introduced by prefix conditioning, FeF-DLLM further incorporates speculative decoding within diffusion denoising, accelerating inference while maintaining the parallel prediction and re-masking properties of DLLMs. Theoretically, we prove that FeF-DLLM generates from the true joint distribution and derive its expected acceleration ratio. Experiments on GSM8K, MATH, HumanEval, and MBPP demonstrate that our method improves accuracy by an average of 5.04 percentage points while achieving an average inference speedup of $3.86\times$.
• Abstract（参考訳）: 離散拡散言語モデルでは並列トークン予測により生成効率が向上するが、標準的な$X_0$予測法では、クリーントークン後部を独立トークン単位の分布で近似することにより、分解誤差を導入する。 本稿では,独立性のあるクリーントーケン予測を,トークン依存をよりよく保存するために,クリーン後部の正確なプレフィックス条件付き因子化に置き換えるFacterization-Error-Free Discrete Diffusion Language Modeling (FeF-DLLM)を提案する。 プレフィックス条件で導入されたシーケンシャルコストを低減するため、FeF-DLLMは拡散復調に投機的復号を組み込み、DLLMの並列予測と再加工特性を維持しつつ推論を加速する。 理論的には、FeF-DLLMは真の関節分布から生成し、期待される加速度比を導出する。 GSM8K,MATH,HumanEval,MBPPによる実験により,平均5.04ポイントの精度向上と平均推定速度の3.86\times$の達成が得られた。

関連論文リスト

• Efficient Sampling with Discrete Diffusion Models: Sharp and Adaptive Guarantees [9.180350432640912]
  連続時間マルコフ連鎖(CTMC)の定式化によるスコアベース離散拡散モデルのサンプリング効率について検討した。 一様離散拡散に対して、$$-leapingアルゴリズムは位数$tilde O(d/varepsilon)$の複雑さを達成することを示す。 離散拡散をマスキングするために,本質的な情報理論量によって収束率を制御した$$-leapingサンプルラを導入する。
  論文  参考訳（メタデータ） (2026-02-16T18:48:17Z)
• Self-Rewarding Sequential Monte Carlo for Masked Diffusion Language Models [58.946955321428845]
  本研究は自己回帰型モンテカルロ(SMC)を提示する。 提案アルゴリズムは,既存のMDLMのほとんどが信頼性に基づくサンプリング戦略に依存している点に起因している。 粒子重み付けのための自己回帰信号として軌道レベルの信頼性を導入する。
  論文  参考訳（メタデータ） (2026-02-02T09:21:45Z)
• Diffusion-DFL: Decision-focused Diffusion Models for Stochastic Optimization [15.091370734240234]
  決定中心学習(DFL)は、予測器を訓練することで予測モデリングと最適化を統合し、下流の意思決定目標を最適化する。 本稿では,不確かさパラメータの分布を表すために拡散モデルを訓練するDFL法を提案する。 我々の拡散DFLアプローチは、決定品質の強いベースラインを一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2025-10-13T16:31:17Z)
• Inference-Time Scaling of Diffusion Language Models with Particle Gibbs Sampling [70.8832906871441]
  我々は、モデルを再訓練することなく、所望の報酬に向けて世代を操る方法を研究する。 従来の手法では、通常は1つの認知軌道内でサンプリングやフィルタを行い、軌道レベルの改善なしに報酬をステップバイステップで最適化する。 本稿では,拡散言語モデル(PG-DLM)の粒子ギブスサンプリングについて紹介する。
  論文  参考訳（メタデータ） (2025-07-11T08:00:47Z)
• Feynman-Kac Correctors in Diffusion: Annealing, Guidance, and Product of Experts [64.34482582690927]
  事前学習したスコアベースモデルから得られた熱処理, 幾何平均, 製品分布の配列から, 効率的かつ原理的に抽出する方法を提供する。 本稿では,サンプリング品質を向上させるために,推論時間スケーリングを利用する逐次モンテカルロ(SMC)再サンプリングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-03-04T17:46:51Z)
• Theoretical Benefit and Limitation of Diffusion Language Model [47.579673047639126]
  拡散言語モデルは、テキスト生成の有望なアプローチとして現れてきた。 本稿では,広く使われている拡散言語モデルMasked Diffusion Model(MDM)の厳密な理論的解析について述べる。 我々の分析は、MDMの利点と限界を理解するための最初の理論的基盤を確立している。
  論文  参考訳（メタデータ） (2025-02-13T18:59:47Z)
• Your Absorbing Discrete Diffusion Secretly Models the Conditional Distributions of Clean Data [55.54827581105283]
  本研究では, 吸収拡散の具体的なスコアを, クリーンデータの条件付き確率として表すことができることを示す。 時間に依存しない条件付き確率を特徴付ける時間条件のない専用拡散モデルを提案する。 5つのゼロショット言語モデルベンチマークにおける拡散モデル間のSOTA性能を実現する。
  論文  参考訳（メタデータ） (2024-06-06T04:22:11Z)
• Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
  連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。 条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。 提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
  論文  参考訳（メタデータ） (2022-11-30T05:33:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。