論文の概要: Free Draft-and-Verification: Toward Lossless Parallel Decoding for Diffusion Large Language Models

• arxiv url: http://arxiv.org/abs/2510.00294v2
• Date: Sat, 01 Nov 2025 23:45:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-04 16:14:22.273796
• Title: Free Draft-and-Verification: Toward Lossless Parallel Decoding for Diffusion Large Language Models
• Title（参考訳）: 自由ドラフト・アンド・検証:拡散大言語モデルにおけるロスレス並列復号化に向けて
• Authors: Shutong Wu, Jiawei Zhang,
• Abstract要約: 本稿では,DLLMに適した高速デコードアルゴリズムFree Draft-and-Verification(FreeDave)を紹介する。 FreeDaveは、パフォーマンスを低下させることなく、推論スループットを最大3.78倍に向上させることが証明されている。
• 参考スコア（独自算出の注目度）: 8.407364705777587
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion Large Language Models (DLLMs) have emerged as a new paradigm of language modeling beyond autoregressive next-token prediction. Thanks to their bidirectional attention mechanism, DLLMs are more capable of capturing the connection of context, and thus show unique advantages in challenges like the famous "reversal curse" or learning under data-constrained scenarios. In addition, taking advantage of their inherent modeling foundations, DLLMs have the great potential of efficient inference with parallel decoding algorithms, which enable multi-token prediction per step. However, the high generation quality often requires the number of decoding steps equal to the sequence length, which performs a one-token-per-step decoding, and existing parallel decoding algorithms, which yield suboptimal decoding paths, bring inference speedup at the cost of non-negligible performance degradation. To overcome this challenge, we introduce Free Draft-and-Verification (FreeDave), a novel fast decoding algorithm tailored for DLLMs that achieves lossless parallel decoding without any model modification or extra modules. Specifically, we propose an algorithm of parallel-decoded candidate generation and verification, which is theoretically guaranteed to use the fewest model forward calls to reproduce the same sequence generated by static decoding when enough computation and memory budget is provided. By extensive evaluations on math reasoning and code generation benchmarks across different DLLMs, FreeDave is proven to boost the inference throughput up to $3.78\times$ without performance degradation.
• Abstract（参考訳）: 拡散大言語モデル (DLLM) は, 自己回帰的次世代予測を超えて, 言語モデリングの新しいパラダイムとして登場した。 彼らの双方向の注意機構のおかげで、DLLMはコンテキストの接続をキャプチャしやすくなり、有名な"逆の呪い"やデータ制約のあるシナリオ下での学習といった課題において、ユニークなアドバンテージを示す。 さらに、DLLMは、それらの固有なモデリング基盤を生かして、並列デコードアルゴリズムによる効率的な推論を行う大きな可能性を秘めている。 しかし,1ステップ1ステップのデコードを行うシーケンス長と同等のデコードステップ数を必要とする場合が多く,並列デコードアルゴリズムは最適以下のデコードパスを生成するため,非無視的な性能劣化のコストで推論速度が向上する。 この課題を克服するために、モデル修正や余分なモジュールなしで損失のない並列デコードを実現するDLLM向けに設計された新しい高速デコードアルゴリズムFree Draft-and-Verification (FreeDave)を導入する。 具体的には、並列復号化候補生成と検証のアルゴリズムを提案し、このアルゴリズムは、理論上最も少ないモデルフォワードコールを用いて、十分な計算とメモリ予算が提供されると、静的復号化によって生成された同じシーケンスを再現することを保証している。 様々なDLLMの数学推論とコード生成ベンチマークに関する広範な評価により、FreeDaveは推論のスループットをパフォーマンス劣化なしに3.78\times$に向上させることが証明されている。

関連論文リスト

• Wide-In, Narrow-Out: Revokable Decoding for Efficient and Effective DLLMs [57.69190972274813]
  Diffusion Large Language Models (DLLM) は、自動回帰モデルの魅力的な代替品として登場した。 既存のDLLMは、高速な並列復号化によって性能が著しく低下する、厳しい品質と速度のトレードオフに悩まされている。 本稿では,DLLMの復号化を可能にするトレーニング不要復号アルゴリズムであるWide-In, Narrow-Out (WINO)を紹介する。
  論文  参考訳（メタデータ） (2025-07-24T16:51:33Z)
• Accelerating Diffusion LLMs via Adaptive Parallel Decoding [50.9948753314669]
  並列にサンプリングされたトークンの数を動的に調整する新しい手法であるアダプティブ並列復号法(APD)を導入する。 APDは、ダウンストリームベンチマークで最小限の品質劣化を伴って、非常に高いスループットを提供する。
  論文  参考訳（メタデータ） (2025-05-31T06:10:10Z)
• Fast-dLLM: Training-free Acceleration of Diffusion LLM by Enabling KV Cache and Parallel Decoding [51.711605076319216]
  拡散に基づく大規模言語モデル (Diffusion LLM) は、並列復号機能を持つ非自己回帰テキスト生成を約束している。 本稿では,双方向拡散モデルに適したブロック単位で近似したKVキャッシュ機構を提案する。 本稿では,信頼しきい値を超えるトークンを選択的に復号し,依存関係違反を軽減し,生成品質を維持できる信頼度対応並列復号方式を提案する。
  論文  参考訳（メタデータ） (2025-05-28T17:39:15Z)
• Non-autoregressive Sequence-to-Sequence Vision-Language Models [59.445765313094434]
  本稿では,デコーダ内の複数の推論経路をマージする並列デコードシーケンス・ツー・シーケンス・ビジョン言語モデルを提案する。 このモデルは最先端の自己回帰モデルと同等のパフォーマンスを実現するが、推論時間では高速である。
  論文  参考訳（メタデータ） (2024-03-04T17:34:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。