論文の概要: Learning When to Commit: Schedule Distillation for Fast Diffusion Language Models

• arxiv url: http://arxiv.org/abs/2610.35804v1
• Date: Mon, 26 Oct 2026 17:35:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:14.129506
• Title: Learning When to Commit: Schedule Distillation for Fast Diffusion Language Models
• Title（参考訳）: 高速拡散言語モデルのためのスケジュール蒸留
• Abstract要約: 拡散大言語モデル (dLLMs) は複数のトークンを並列に生成できるが、応答を完了するには多くの復号ラウンドを必要とすることが多い。 高速な拡散言語生成のためのトークンをいつコミットするかを学習するための新しいスケジュール蒸留ベースのフレームワークであるdSparkを提案する。
• 参考スコア（独自算出の注目度）: 43.29267000439331
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion large language models (dLLMs) can generate multiple tokens in parallel, but often require many decoding rounds to complete a response. Efficient generation depends not only on which tokens are easy to predict, but also on how committing to them helps predict the remaining positions. A highly predictable token may provide little useful context, while revealing a less predictable token can help several other positions become predictable sooner. We propose dSpark, a new schedule distillation-based framework for learning when to commit tokens for faster diffusion language generation. To achieve this, we construct unmasking schedules that prioritize tokens whose reveal makes other positions easier to predict, reducing uncertainty earlier in decoding. We then distill these schedules into the model to enable faster parallel sampling, with a KL-divergence regularizer to help preserve generation quality. We extensively evaluate our approach across mathematical reasoning and code generation tasks. On GSM8K, our method achieves remarkable 10.12$\times$ and 5.12$\times$ speedups over the various baselines on LLaDA-8B-Instruct and Dream-7B-Instruct, respectively, while maintaining superior task performance. Our code is available at https://github.com/VILA-Lab/dSpark.
• Abstract（参考訳）: 拡散大言語モデル (dLLMs) は複数のトークンを並列に生成できるが、応答を完了するには多くの復号ラウンドを必要とすることが多い。 効率的な生成は、どのトークンが予測し易いかだけでなく、そのトークンへのコミットが残りの位置を予測するのに役立つかにも依存する。 予測可能なトークンは、あまり有用なコンテキストを提供していない一方で、予測可能なトークンが少ないことは、他のいくつかの位置がより早く予測可能なものになるのに役立つ。 高速な拡散言語生成のためのトークンをいつコミットするかを学習するための新しいスケジュール蒸留ベースのフレームワークであるdSparkを提案する。 これを実現するために、他の位置を予測しやすくするトークンを優先する非マスキングスケジュールを構築し、復号化の早い段階で不確実性を低減した。 次に、これらのスケジュールをモデルに蒸留し、高速な並列サンプリングを可能にし、KL分割正規化器を用いて生成品質の維持を支援する。 我々は、数学的推論とコード生成タスクにまたがって、我々のアプローチを広範囲に評価する。 GSM8Kでは,LLaDA-8B-インストラクトとドリーム-7B-インストラクトの様々なベースライン上で,優れたタスク性能を維持しつつ,優れた10.12$\times$と5.12$\times$の高速化を実現している。 私たちのコードはhttps://github.com/VILA-Lab/dSparkで公開されています。

関連論文リスト

• Rethinking Soft Tokens for Parallel Decoding in Diffusion Language Models [62.63931587313321]
  拡散言語モデル(DLMs)は、各段階で複数のトークンを予測してコミットすることで並列生成を可能にする。 最近の研究は、emphsoftトークンが不確実な位置を表すことによってこの問題を緩和できることを示している。 ソフトトークンフィードバックが並列デコードをどのように改善するかは、体系的に検討されていない。
  論文  参考訳（メタデータ） (2026-09-29T12:38:30Z)
• Learning to Parallel: Accelerating Diffusion Large Language Models via Learnable Parallel Decoding [21.609237262034636]
  大規模言語モデル(LLM)における自己回帰復号には、$n$トークンに対して$mathcalO(n)$シーケンシャルステップが必要である。 本稿では,並列デコード学習(Learn2PD)を提案する。これは軽量かつ適応的なフィルタモデルをトレーニングし,各トークン位置に対して,現在の予測が最終出力と一致するかどうかを予測するフレームワークである。 この学習されたフィルタは、正しく予測された場合にのみトークンをアンマスクするオラクル並列復号法を近似する。
  論文  参考訳（メタデータ） (2025-09-29T17:59:54Z)
• Diffusion Language Models Know the Answer Before Decoding [56.96815863705218]
  拡散言語モデル (DLM) は自己回帰的アプローチの代替として登場した。 我々の研究は、DLMの早期回答収束の見過ごされた特性を強調し、活用する。 Prophetは、早期コミット復号を可能にするトレーニングフリーの高速復号化パラダイムである。
  論文  参考訳（メタデータ） (2025-08-27T15:40:25Z)
• FIRP: Faster LLM inference via future intermediate representation prediction [54.897493351694195]
  FIRPはデコードステップ毎に1つではなく複数のトークンを生成する。 いくつかのモデルとデータセットで1.9x-3xのスピードアップ比を示す広範な実験を行った。
  論文  参考訳（メタデータ） (2024-10-27T15:53:49Z)
• EMS-SD: Efficient Multi-sample Speculative Decoding for Accelerating Large Language Models [40.651650382105636]
  Vanillaメソッドは、サンプル間で新しいトークンの数が一貫していることを保証するために、パディングトークンを追加する。 本稿では,メモリや計算のオーバーヘッドを増大させることなく,異なるサンプルで受け入れられる不整合トークンの問題を解決する手法を提案する。 提案手法は, パディングトークンを追加することなく, 異なるサンプルの予測トークンが矛盾する状況に対処できる。
  論文  参考訳（メタデータ） (2024-05-13T08:24:21Z)
• SpecTr: Fast Speculative Decoding via Optimal Transport [30.18181671899423]
  このアルゴリズムはデコーディングの高速化を図り、デコードされた出力に品質劣化がないことを保証します。 提案手法は,最先端の大規模言語モデルに対して,標準的なベンチマーク上での投機的復号化よりもさらに1.37倍の高速化である2.13Xのウォールクロック高速化を実現することを実験的に実証した。
  論文  参考訳（メタデータ） (2023-10-23T17:47:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。