論文の概要: On the SPOT: Enhancing Speculative Decoding for Diffusion Language Models via Commit-Order Prediction

• arxiv url: http://arxiv.org/abs/2610.22543v1
• Date: Thu, 15 Oct 2026 18:40:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:07.63123
• Title: On the SPOT: Enhancing Speculative Decoding for Diffusion Language Models via Commit-Order Prediction
• Title（参考訳）: SPOTについて:コミット順序予測による拡散言語モデルの投機的復号化
• Abstract要約: 位置推定順序軌道 (SPOT) は位置予測を学習する。 SPOTはターゲットパスを最大6.8倍に削減し、標準復号のスループットの3.2倍に達する。
• 参考スコア（独自算出の注目度）: 5.093144724934585
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion language models (DLMs) promise parallel text generation, but in practice face an unresolved speed-quality trade-off. Exact decoding fills in only one masked position per model pass, while faster multi-token decoding schemes are lossy. Speculative decoding is the standard lossless acceleration for autoregressive models. However, it does not transfer directly to DLMs, which must choose both what to generate and where. We show that this order is the missing piece: the model's own predictions from the previous pass already give the right token at 92-100% of positions, but not which position comes next. Based on this observation, we introduce Speculating Positions Order Trajectory (SPOT), which learns to predict this order. A 0.62M-parameter model reads only the target's output distributions and proposes a tree of candidate continuations, and the target verifies all of them in a single pass by checking whether each equals its own next state. On the verification side, our analysis shows that prior block-diffusion verification approaches either assume $T=0$ or a sequential proposal interface. To support tree-based speculation at any temperature, we propose using coupled-noise match verification for diffusion blocks, following shared-Gumbel-noise coupling approaches. Our comprehensive experiments show that SPOT cuts target passes by up to 6.8x and reaches up to 3.2x the throughput of standard decoding, beating the calibrated and training-free drafting baselines in every task and budget at $T=0$ and $T=1$. In addition, we show that the learned drafter transfers across models, demonstrating successful transfer across six different DLMs. Project page: https://eliezer318.github.io/SPOT-dLLM/
• Abstract（参考訳）: 拡散言語モデル(DLM)は並列テキスト生成を約束するが、実際には未解決の速度品質のトレードオフに直面している。 厳密な復号化は、モデルパス毎に1つのマスクされた位置のみを埋めるが、高速なマルチトークン復号化方式は失われる。 投機的復号化は自己回帰モデルにおける標準的なロスレス加速である。 ただし、DLMに直接転送するわけではなく、生成するものと場所の両方を選択する必要がある。 モデル自身の予測は、既に92～100%の位置で正しいトークンを与えているが、どの位置が次に来るかは示していない。 この観測に基づいて、この順序を予測することを学ぶSPOT(Speculating Positions Order Trajectory)を導入する。 0.62Mパラメータモデルは、ターゲットの出力分布のみを読み出し、候補継続のツリーを提案し、ターゲットは、それぞれが次の状態に等しいかどうかを確認して、それらを1回のパスで検証する。 検証側では,従来のブロック拡散検証手法が$T=0$かシーケンシャルな提案インタフェースを前提としている。 木に基づく任意の温度での推測を支援するため,拡散ブロックに対する結合ノイズマッチング検証法を提案する。 総合実験の結果,SPOTは目標パスを最大6.8倍に削減し,標準復号処理のスループットを最大3.2倍に抑えることができた。 さらに、学習したドラフトラがモデル間で転送され、6つの異なるDLM間での転送が成功したことを示す。 プロジェクトページ: https://eliezer318.github.io/SPOT-dLLM/

関連論文リスト

• Hierarchical Continuous Diffusion Language Models [50.34180702812139]
  階層型連続拡散言語モデル(HC-DLM)を提案する。 HC-DLMは離散トークン生成と連続的な潜在軌道を1つの原理化過程で結合する。 これは、一致したモデルサイズでの離散的かつ連続的な拡散ベースライン、スドゥークとカウントダウンのパズル精度、およびLM1Bの生成パープレキシティを向上する。
  論文  参考訳（メタデータ） (2026-10-01T17:59:39Z)
• Verification-Aware Training for Speculative Decoding [57.84976863792784]
  VAT(Verification-Aware Training)は、トレーニングステップ毎に検証をシミュレートし、その結果の受け入れパターンと拒否パターンを監督するプラグインフレームワークである。 VATはトレーニング対象のみを変更するため、ドラフトアーキテクチャやターゲットモデル、推論手順を変更することなく、既存のメソッドの上にレイヤー化することができる。 VATは平均受理期間を最大11.4%改善し、ウォールクロックのスピードアップを最大8.7%向上させ、数学、コード、チャットベンチマークで一貫した利益を得ている。
  論文  参考訳（メタデータ） (2026-08-31T01:42:10Z)
• Lossless but Not Free: An Empirical Anatomy of Speculative Decoding on Consumer Hardware [0.0]
  大規模言語モデルのシングルストリーム自動回帰復号化は、メモリ帯域幅によって制限される。 小さなドラフトモデルは、自動回帰的に$K$トークンを提案し、ターゲットモデルは、これらすべてを1回のバッチパスでスコアする。 本稿では、CUDA/MPS/CPUの実装と、5つのドラフト/ターゲットバックエンド構成に関する実証的研究を紹介する。
  論文  参考訳（メタデータ） (2026-07-19T15:01:35Z)
• No Compute Left Behind: Rethinking Reasoning and Sampling with Masked Diffusion Models [42.158430350703505]
  マスク付き拡散言語モデルは、ランダムにマスキングされたシーケンスにおける埋め込み位置を訓練する。 推論・アズ・インフィルとマルチトークンエントロピーデコーディングを提案する。 本研究は,MDLMが使用するトレーニングと計算によって,多くの新しい推論とポストトレーニング手法が解き放たれることを示す。
  論文  参考訳（メタデータ） (2025-10-22T19:41:27Z)
• Sequential Diffusion Language Models [110.06562906987052]
  拡散言語モデル(DLM)は理論効率が強いが、固定長の復号化とキー値キャッシュとの非互換性によって制限される。 次点と次点の予測を統一するNext Sequence Prediction (NSP)を導入する。 本稿では,事前学習した自己回帰言語モデル(ALM)を最小限のコストで再現可能な逐次拡散言語モデル(SDLM)を提案する。
  論文  参考訳（メタデータ） (2025-09-28T17:59:15Z)
• Diffusion Language Models Know the Answer Before Decoding [56.96815863705218]
  拡散言語モデル (DLM) は自己回帰的アプローチの代替として登場した。 我々の研究は、DLMの早期回答収束の見過ごされた特性を強調し、活用する。 Prophetは、早期コミット復号を可能にするトレーニングフリーの高速復号化パラダイムである。
  論文  参考訳（メタデータ） (2025-08-27T15:40:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。