論文の概要: Confidence-Based Decoding is Provably Efficient for Diffusion Language Models

• arxiv url: http://arxiv.org/abs/2603.22248v1
• Date: Mon, 23 Mar 2026 17:43:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-24 19:11:39.822303
• Title: Confidence-Based Decoding is Provably Efficient for Diffusion Language Models
• Title（参考訳）: 信頼に基づく復号化は拡散言語モデルにおそらく有効である
• Authors: Changxiao Cai, Gen Li,
• Abstract要約: 拡散言語モデル (DLM) は、言語モデリングのための自己回帰モデル (AR) に代わる有望な代替品として登場した。 DLMにおける信頼度に基づく復号化のための理論解析フレームワークを開発した。
• 参考スコア（独自算出の注目度）: 8.527157686215117
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion language models (DLMs) have emerged as a promising alternative to autoregressive (AR) models for language modeling, allowing flexible generation order and parallel generation of multiple tokens. However, this flexibility introduces a challenge absent in AR models: the \emph{decoding strategy} -- which determines the order and number of tokens generated at each iteration -- critically affects sampling efficiency. Among decoding strategies explored in practice, confidence-based methods, which adaptively select which and how many tokens to unmask based on prediction confidence, have shown strong empirical performance. Despite this success, our theoretical understanding of confidence-based decoding remains limited. In this work, we develop the first theoretical analysis framework for confidence-based decoding in DLMs. We focus on an entropy sum-based strategy that continues unmasking tokens within each iteration until the cumulative entropy exceeds a threshold, and show that it achieves $\varepsilon$-accurate sampling in KL divergence with an expected number of iterations $\widetilde O(H(X_0)/\varepsilon)$, where $H(X_0)$ denotes the entropy of the target data distribution. Notably, this strategy yields substantial sampling acceleration when the data distribution has low entropy relative to the sequence length, while automatically adapting to the intrinsic complexity of data without requiring prior knowledge or hyperparameter tuning. Overall, our results provide a theoretical foundation for confidence-based decoding and may inform the design of more efficient decoding strategies for DLMs.
• Abstract（参考訳）: 拡散言語モデル(DLM)は、言語モデリングのための自己回帰モデル(AR)の代替として、フレキシブルな生成順序と複数のトークンの並列生成を可能にしている。 しかし、この柔軟性はARモデルに欠けている課題をもたらす: \emph{decoding strategy} -- イテレーション毎に生成されるトークンの順序と数を決定する -- はサンプリング効率に重大な影響を与える。 実際に探索された復号戦略の中で、予測信頼度に基づいてどのトークンと何トークンをアンマスクするかを適応的に選択する信頼ベースの手法は、強い経験的性能を示している。 この成功にもかかわらず、信頼性に基づく復号法の理論的理解は依然として限られている。 本研究では,DLMにおける信頼度に基づく復号化のための理論解析フレームワークを開発した。 我々は,累積エントロピーがしきい値を超えるまで,各イテレーション内でトークンをアンマキングし続けるエントロピー和ベースの戦略に注目し,期待される反復数でKLダイバージェンスにおける$\varepsilon$-accurate sampleを達成できることを示し,$\widetilde O(H(X_0)/\varepsilon)$,$H(X_0)$は対象データ分布のエントロピーを表す。 特に、この戦略は、データ分布がシーケンス長に対してエントロピーが低い場合、事前の知識やハイパーパラメータチューニングを必要とせず、データの本質的な複雑さに自動的に適応し、かなりのサンプリング加速をもたらす。 全体として,本研究は信頼性に基づく復号化の理論的基盤を提供し,DLMのより効率的な復号化戦略の設計を示唆する可能性がある。

関連論文リスト

• Self-Rewarding Sequential Monte Carlo for Masked Diffusion Language Models [58.946955321428845]
  本研究は自己回帰型モンテカルロ(SMC)を提示する。 提案アルゴリズムは,既存のMDLMのほとんどが信頼性に基づくサンプリング戦略に依存している点に起因している。 粒子重み付けのための自己回帰信号として軌道レベルの信頼性を導入する。
  論文  参考訳（メタデータ） (2026-02-02T09:21:45Z)
• STDD:Spatio-Temporal Dynamics-Driven Token Refinement in Diffusion Language Models [12.172699141988728]
  拡散言語モデル(DLM)は、すべてのトークン位置を並列に反復的に記述することでテキストを生成する。 本稿では,各トークンの時間変動と空間偏差を動的に検出する新しいリマキング手法を提案する。 我々のアプローチは、主要なデータセット間でのDLMの運用効率を大幅に改善し、最大8.9倍のスピードアップを実現します。
  論文  参考訳（メタデータ） (2025-12-07T12:53:48Z)
• Principled RL for Diffusion LLMs Emerges from a Sequence-Level Perspective [85.06838178922791]
  強化学習(RL)は自己回帰言語モデルに非常に効果的であることが証明されている。 しかし、これらの手法を拡散大言語モデル(dLLM)に適応させることは、根本的な課題を提起する。 本稿では,全シーケンス生成を単一アクションとして扱い,ELBOを抽出可能なシークエンスレベル確率プロキシとして利用する,原則的RLフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-12-03T13:05:32Z)
• Masked Diffusion for Generative Recommendation [30.8737219110446]
  ジェネレーティブレコメンデーション(GR)とセマンティックID(SID)が従来のレコメンデーションアプローチに代わる有望な代替手段として登場した。 そこで我々は,マスク拡散を用いたユーザのSIDシーケンスの確率をモデル化し,学習することを提案する。 提案手法が自己回帰モデルより一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2025-11-28T09:36:26Z)
• From Bits to Rounds: Parallel Decoding with Exploration for Diffusion Language Models [19.97248408121574]
  Diffusion Language Models (DLMs) は並列デコードにより高速な推論速度で同等の精度を提供する。 高信頼トークンは無視可能な情報を持ち、それらに厳密に依存することで、各デコードラウンドにおける効果的な進捗を制限する。 本研究では,情報スループットと復号効率を最大化する学習自由復号法であるExplore-Then-Exploit (ETE)を提案する。
  論文  参考訳（メタデータ） (2025-11-26T06:38:37Z)
• Inference-Time Scaling of Diffusion Language Models with Particle Gibbs Sampling [70.8832906871441]
  我々は、モデルを再訓練することなく、所望の報酬に向けて世代を操る方法を研究する。 従来の手法では、通常は1つの認知軌道内でサンプリングやフィルタを行い、軌道レベルの改善なしに報酬をステップバイステップで最適化する。 本稿では,拡散言語モデル(PG-DLM)の粒子ギブスサンプリングについて紹介する。
  論文  参考訳（メタデータ） (2025-07-11T08:00:47Z)
• Beyond Exponential Decay: Rethinking Error Accumulation in Large Language Models [0.0]
  エラーは均一に分散されていないが、重要な決定ジャンクションを表すスパースな"キートークン"に集中していることを示す。 本稿では,意味的に重要なトークンを選択的に保存することを目的とした次世代システムのためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-30T03:57:31Z)
• Reviving Any-Subset Autoregressive Models with Principled Parallel Sampling and Speculative Decoding [55.2480439325792]
  任意の順序言語モデルでは、正しい関節分布からトークンを並列にサンプリングする方法がオープンな問題である。 我々は,任意のサブセット自動回帰モデル (AS-ARM) という,異なるモデルのクラスが解を持っていることを発見した。 我々は,AS-ARMがベンチマークタスクを埋め込んだ200M未満のパラメータモデル間で最先端の性能を実現し,コード生成における50倍のモデルの性能とほぼ一致していることを示す。
  論文  参考訳（メタデータ） (2025-04-29T06:33:13Z)
• Amortizing intractable inference in large language models [56.92471123778389]
  難治性後部分布のサンプルとして, 償却ベイズ推定を用いる。 我々は,LLMファインチューニングの分散マッチングパラダイムが,最大習熟の代替となることを実証的に実証した。 重要な応用として、チェーン・オブ・ソート推論を潜在変数モデリング問題として解釈する。
  論文  参考訳（メタデータ） (2023-10-06T16:36:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。