論文の概要: Free Draft-and-Verification: Toward Lossless Parallel Decoding for Diffusion Large Language Models

• arxiv url: http://arxiv.org/abs/2510.00294v1
• Date: Tue, 30 Sep 2025 21:28:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-03 16:59:20.263783
• Title: Free Draft-and-Verification: Toward Lossless Parallel Decoding for Diffusion Large Language Models
• Title（参考訳）: 自由ドラフト・アンド・検証:拡散大言語モデルにおけるロスレス並列復号化に向けて
• Authors: Shutong Wu, Jiawei Zhang,
• Abstract要約: 拡散大言語モデル(DLLM)は自己回帰予測を超えた言語モデリングの新しいパラダイムとして登場した。 Free Draft-and-Verification (Freedave) はDLLMに適した新しい高速サンプリングアルゴリズムである。
• 参考スコア（独自算出の注目度）: 8.407364705777587
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion Large Language Models (DLLMs) have emerged as a new paradigm of language modeling beyond autoregressive next-token prediction. Thanks to their bidirectional attention mechanism, DLLMs are more capable of capturing the connection of context, and thus show unique advantages in challenges like the famous "reversal curse" or learning under data-constrained scenarios. However, this bidirectional nature also brings an obstacle that DLLMs are not inherently compatible with KV Cache, and consequently, the inference efficiency is not competitive compared with autoregressive models. Taking advantage of their inherent capability of multi-token prediction, existing parallel decoding algorithms can speed up the DLLM inference, but at the cost of non-negligible performance degradation. To overcome this challenge, we introduce Free Draft-and-Verification (Freedave), a novel fast sampling algorithm tailored for DLLMs that achieves lossless parallel decoding. Specifically, we propose a pipeline of parallel-decoded candidate generation and verification, which is guaranteed to reproduce the same sequence generated by static sampling, without introducing extra model forward calls. By applying Freedave, the throughput of DLLMs can be boosted up to $2.8\times$ without performance degradation on math reasoning tasks.
• Abstract（参考訳）: 拡散大言語モデル (DLLM) は, 自己回帰的次世代予測を超えて, 言語モデリングの新しいパラダイムとして登場した。 彼らの双方向の注意機構のおかげで、DLLMはコンテキストの接続をキャプチャしやすくなり、有名な"逆の呪い"やデータ制約のあるシナリオ下での学習といった課題において、ユニークなアドバンテージを示す。 しかし、この双方向性はDLLMが本質的にKVキャッシュと互換性がないという障害をもたらすため、推論効率は自己回帰モデルと競合しない。 既存の並列デコーディングアルゴリズムは、マルチトークン予測の本来の能力を活用して、DLLM推論を高速化するが、非無視のパフォーマンス劣化のコストがかかる。 この課題を克服するために、損失のない並列デコードを実現するDLLMに適した新しい高速サンプリングアルゴリズムFree Draft-and-Verification (Freedave)を導入する。 具体的には,静的サンプリングによって生成された同じシーケンスを,追加のモデルフォワードコールを導入することなく再現することが保証される並列復号化候補生成と検証のパイプラインを提案する。 Freedaveを適用することで、DLLMのスループットを2.8\times$まで向上させることができる。

関連論文リスト

• Scaling LLM Speculative Decoding: Non-Autoregressive Forecasting in Large-Batch Scenarios [76.85739138203014]
  本稿では,一方向および注目メカニズムを加速する新しいアーキテクチャであるSpecFormerを紹介する。 また,SpecFormerはトレーニング要求の低減と計算コストの削減を実現している。
  論文  参考訳（メタデータ） (2025-11-25T14:20:08Z)
• Fast Inference via Hierarchical Speculative Decoding [65.40448210801763]
  階層的投機的復号法(HSD)は,各モデルがトークンを提案し,次に大きなモデルが1つのフォワードパスで検証する階層構造に,ドラフトモデルを積み重ねるアルゴリズムである。 HSDは最高の単軸ベースラインよりも1.2倍のスピードアップを達成している。
  論文  参考訳（メタデータ） (2025-10-22T15:56:19Z)
• Self Speculative Decoding for Diffusion Large Language Models [21.955478721386953]
  拡散に基づく大規模言語モデル (dLLMs) は自己回帰モデルに代わる競合モデルとして登場した。 textbfSelf textbfSpeculative textbfDecoding (SSD) を提案する。 SSDは最大3.46$times$ Speedupを実現し、出力はLLaDAやDreamのようなオープンソースのモデルで段階的に復号化される。
  論文  参考訳（メタデータ） (2025-10-05T10:52:28Z)
• Wide-In, Narrow-Out: Revokable Decoding for Efficient and Effective DLLMs [57.69190972274813]
  Diffusion Large Language Models (DLLM) は、自動回帰モデルの魅力的な代替品として登場した。 既存のDLLMは、高速な並列復号化によって性能が著しく低下する、厳しい品質と速度のトレードオフに悩まされている。 本稿では,DLLMの復号化を可能にするトレーニング不要復号アルゴリズムであるWide-In, Narrow-Out (WINO)を紹介する。
  論文  参考訳（メタデータ） (2025-07-24T16:51:33Z)
• Accelerating Diffusion LLMs via Adaptive Parallel Decoding [50.9948753314669]
  並列にサンプリングされたトークンの数を動的に調整する新しい手法であるアダプティブ並列復号法(APD)を導入する。 APDは、ダウンストリームベンチマークで最小限の品質劣化を伴って、非常に高いスループットを提供する。
  論文  参考訳（メタデータ） (2025-05-31T06:10:10Z)
• Fast-dLLM: Training-free Acceleration of Diffusion LLM by Enabling KV Cache and Parallel Decoding [51.711605076319216]
  拡散に基づく大規模言語モデル (Diffusion LLM) は、並列復号機能を持つ非自己回帰テキスト生成を約束している。 本稿では,双方向拡散モデルに適したブロック単位で近似したKVキャッシュ機構を提案する。 本稿では,信頼しきい値を超えるトークンを選択的に復号し,依存関係違反を軽減し,生成品質を維持できる信頼度対応並列復号方式を提案する。
  論文  参考訳（メタデータ） (2025-05-28T17:39:15Z)
• Speculative Diffusion Decoding: Accelerating Language Generation through Diffusion [55.0194604505437]
  投機的復号化は,大規模言語モデル推論を高速化する手法として広く採用されている。 本稿では,離散拡散モデルを用いてドラフトシーケンスを生成する投機的復号法を提案する。
  論文  参考訳（メタデータ） (2024-08-10T21:24:25Z)
• Non-autoregressive Sequence-to-Sequence Vision-Language Models [59.445765313094434]
  本稿では,デコーダ内の複数の推論経路をマージする並列デコードシーケンス・ツー・シーケンス・ビジョン言語モデルを提案する。 このモデルは最先端の自己回帰モデルと同等のパフォーマンスを実現するが、推論時間では高速である。
  論文  参考訳（メタデータ） (2024-03-04T17:34:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。