論文の概要: PV-Decoding: Progressive Verification Decoding with Decode Gating for Diffusion Language Models

• arxiv url: http://arxiv.org/abs/2610.24722v1
• Date: Sat, 17 Oct 2026 14:34:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-22 16:46:21.780061
• Title: PV-Decoding: Progressive Verification Decoding with Decode Gating for Diffusion Language Models
• Title（参考訳）: PVデコード:拡散言語モデルのためのデコードゲーティングを用いたプログレッシブ検証デコード
• Abstract要約: ブロック拡散推論のためのプログレッシブ検証を備えた信頼性駆動型投機的復号化フレームワークであるPV-Decodingを提案する。 PVデコードパーティションは、2つの信頼しきい値を使用して直接復号されたトークン、投機的トークン、未解決トークンにマスクし、徐々に強力なポリシーで投機的トークンを検証する。
• 参考スコア（独自算出の注目度）: 30.04366274042742
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Discrete diffusion language models (dLLMs) offer an attractive alternative to autoregressive generation by updating multiple tokens in parallel, but their inference efficiency is still limited by the cost of safely committing tentative predictions. In particular, speculative decoding for dLLMs is challenging because speculative tokens within the same diffusion block may depend on one another, making aggressive acceptance prone to error propagation and strict verification computationally expensive. We present PV-Decoding, a confidence-driven speculative decoding framework with progressive verification for block diffusion inference. PV-Decoding partitions masked positions into directly decoded tokens, speculative tokens, and unresolved tokens using two confidence thresholds, and then verifies speculative tokens with progressively stronger policies, including single-batch, dual-batch, and multi-batch verification. This design exposes a practical accuracy--efficiency trade-off: weaker verification minimizes overhead, whereas stronger verification improves acceptance precision and robustness. Experiments on three diffusion language models across GSM8K, MBPP, and HumanEval show that PV-Decoding reduces sequential model forward passes (MFPs) by 8%--37% relative to confidence-based decoding, while keeping the largest observed accuracy drop to 1.3%. On Dream-7B-Instruct/GSM8K, PV-Decoding (1-batch) and PV-Decoding (2-batch) improve throughput by 7.0%--13.6% under the same hardware budget, whereas PV-Decoding (multi-batch) is slower under the current runtime. These results suggest that confidence-guided speculation with structured verification is a practical path toward efficient and reliable dLLM inference.
• Abstract（参考訳）: 離散拡散言語モデル(dLLM)は、複数のトークンを並列に更新することで、自動回帰生成の魅力的な代替手段を提供するが、その推論効率は、仮の予測を安全にコミットするコストによって制限されている。 特に、dLLMの投機的復号化は、同じ拡散ブロック内の投機的トークンが互いに依存する可能性があるため、エラーの伝播や厳密な計算コストがかかるため、困難である。 ブロック拡散推論のためのプログレッシブ検証を備えた信頼性駆動型投機的復号化フレームワークであるPV-Decodingを提案する。 PV-Decodingパーティションは、2つの信頼しきい値を使用して直接デコードされたトークン、投機的トークン、未解決トークンに位置を隠蔽し、その後、シングルバッチ、デュアルバッチ、マルチバッチ検証を含む徐々に強力なポリシーで投機的トークンを検証する。 より弱い検証はオーバーヘッドを最小限にし、強い検証は受け入れ精度と堅牢性を向上する。 GSM8K、MBPP、HumanEvalの3つの拡散言語モデルの実験により、PV-Decodingは、信頼性に基づく復号と比較して、シーケンシャルモデルフォワードパス(MFP)を8%から37%削減し、最大観測精度は1.3%に低下した。 Dream-7B-Instruct/GSM8Kでは、PV-Decoding (1-batch) とPV-Decoding (2-batch) は、同じハードウェア予算下でのスループットを7.0%--13.6%改善するが、PV-Decoding (multi-batch) は現在のランタイムでは遅い。 これらの結果は、構造化された検証を伴う信頼誘導推測が、効率的で信頼性の高いdLLM推論への実践的な道のりであることを示唆している。

関連論文リスト

• Early-Bird Decoding: Accelerating Diffusion LLMs with Learnable Block Sizes and Parallel Sampling [11.823547220829083]
  拡散大言語モデル(dLLM)は、自己回帰生成の代替として有望な並列デコードパラダイムを提供する。 同様に低いエントロピーを持つトークンがクラスタ化される傾向にあるという観察から動機付けられた「アーリーバード(EB)」デコーディングフレームワークを提案する。 EB-Decodeは,(1)類似の不確実性のあるトークンを,固定ブロックサイズに依存するのではなく,可変長ブロックに適応的にグループ化する学習可能なネットワーク,(2)予測された可変長ブロック内の復号ステップを減らして,並列でトークンをアンマスクする位置認識型サンプリング,という2つの重要なイネーラを統合する。
  論文  参考訳（メタデータ） (2026-09-15T00:12:37Z)
• Escaping Confidence Trap: Evolutionary Decoding for Mathematical Reasoning in Diffusion LLMs [69.52853771994451]
  我々はLLaDA 2.0の復号軌道を解析し、繰り返し拡散信頼トラップを同定する。 本稿では,拡散復号化を進化過程とみなす訓練不要なテスト時間スケーリングフレームワークである進化復号法を提案する。
  論文  参考訳（メタデータ） (2026-08-01T11:48:25Z)
• SimSD: Simple Speculative Decoding in Diffusion Language Models [61.33773959352141]
  拡散大言語モデル (dLLMs) は、並列またはブロックワイド復号による高速な推論を提供する。 彼らのマスク付き言語モデリングの定式化は、標準的なトークンレベルの投機的復号法とは相容れないままである。 我々は,dLLMに時間的に有効なトークンレベルのコンテキストを付与する,SimSDと呼ばれるdLLMの投機的復号アルゴリズムを提案する。 提案手法は,平均生成品質を維持しつつ,最大7.46倍高い復号スループットを実現する。
  論文  参考訳（メタデータ） (2026-06-01T17:46:46Z)
• Deferred Commitment Decoding for Diffusion Language Models with Confidence-Aware Sliding Windows [33.361153168706444]
  トレーニング不要なデコード戦略として,Dederred Commitment Decoding (DCD)を提案する。 DCDは、マスクされたトークンの上に信頼性を意識したスライディングウィンドウを保持しており、十分な文脈証拠が得られるまで、高い不確実性トークンを延期しながら、早期に低不確実性トークンを解決している。 実験の結果、DCDは固定ブロックベースの拡散法に比べて平均時間で1.39%向上し、最も顕著な改善は9.0%に達した。
  論文  参考訳（メタデータ） (2026-01-05T12:57:33Z)
• From Bits to Rounds: Parallel Decoding with Exploration for Diffusion Language Models [19.97248408121574]
  Diffusion Language Models (DLMs) は並列デコードにより高速な推論速度で同等の精度を提供する。 高信頼トークンは無視可能な情報を持ち、それらに厳密に依存することで、各デコードラウンドにおける効果的な進捗を制限する。 本研究では,情報スループットと復号効率を最大化する学習自由復号法であるExplore-Then-Exploit (ETE)を提案する。
  論文  参考訳（メタデータ） (2025-11-26T06:38:37Z)
• Fast-dLLM: Training-free Acceleration of Diffusion LLM by Enabling KV Cache and Parallel Decoding [51.711605076319216]
  拡散に基づく大規模言語モデル (Diffusion LLM) は、並列復号機能を持つ非自己回帰テキスト生成を約束している。 本稿では,双方向拡散モデルに適したブロック単位で近似したKVキャッシュ機構を提案する。 本稿では,信頼しきい値を超えるトークンを選択的に復号し,依存関係違反を軽減し,生成品質を維持できる信頼度対応並列復号方式を提案する。
  論文  参考訳（メタデータ） (2025-05-28T17:39:15Z)
• Think Before You Accept: Semantic Reflective Verification for Faster Speculative Decoding [48.52389201779425]
  投機的復号化は、軽量モデルを使用して複数のドラフトトークンを生成し、それらを並列に検証することで推論を加速する。 既存の検証手法は、意味的正確性を見越しながら、分布の整合性に大きく依存している。 我々は,学習自由でセマンティックなアプローチであるリフレクティブ検証を提案し,正確性と効率のトレードオフを改善する。
  論文  参考訳（メタデータ） (2025-05-24T10:26:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。