論文の概要: Trajectory-Level Speculative Decoding for Diffusion Language Models

• arxiv url: http://arxiv.org/abs/2608.27514v1
• Date: Thu, 27 Aug 2026 09:42:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-31 17:16:04.094834
• Title: Trajectory-Level Speculative Decoding for Diffusion Language Models
• Title（参考訳）: 拡散言語モデルのための軌道レベル投機的復号法
• Abstract要約: 拡散ベースの言語モデル (dLLM) は反復的復号化による並列トークン生成を可能にするが、既存の復号化戦略は信頼性の低い単一トークン生成に崩壊する。 そこで我々は,信頼層木探索による起草軌道構築のためのトラジェクトリレベルの投機フレームワークを開発した。 我々のフレームワークはデノーミングを30～40%削減し、トークン単位のステップを2.6から4.3に増やし、バニラdLLMを7～14倍、Fast-dLLMを1.3倍、推論とコードベンチマークを1%未満で高速化する。
• 参考スコア（独自算出の注目度）: 16.97093186372498
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion-based language models (dLLMs) enable parallel token generation through iterative denoising, but existing decoding strategies collapse to single-token generation under low confidence, severely limiting throughput. Unlike autoregressive models where speculative decoding operates on token sequences in a fixed left-to-right order, dLLMs require speculating over denoising trajectories-sequences of multi-token updates with explicit positions and unmasking orders. We develop a trajectory-level speculative framework that constructs draft denoising trajectories via confidence-stratified tree exploration and verifies them through blockwise parallel evaluation with bidirectional attention masking. Our method further introduces inter-block speculation, exploiting diffusion models' bidirectional structure to perform cross-block lookahead. We formally characterize when this approach is exact and identify trajectory drift as the fundamental cost of increased parallelism. Building on Fast-dLLM's dual-cache infrastructure, our framework reduces denoising iterations by 30-40% and increases tokens-per-step from 2.6 to 4.3, achieving 7-14x speedup over vanilla dLLMs and 1.3x over Fast-dLLM with less than 1% accuracy change across reasoning and code benchmarks.
• Abstract（参考訳）: 拡散ベースの言語モデル(dLLMs)は反復的復号化による並列トークン生成を可能にするが、既存の復号化戦略は信頼性が低く、スループットが著しく制限されている単一トークン生成に崩壊する。 投機的復号化が固定された左から右の順序でトークン列に作用する自己回帰モデルとは異なり、dLLMは明示的な位置と不正な順序を持つマルチトーケン更新の軌道列を識別する投機を必要とする。 我々は、信頼層木探索により、草案記述軌道を構築する軌道レベルの投機的フレームワークを開発し、双方向の注目マスキングによるブロックワイド並列評価により検証する。 さらに,ブロック間投機を導入し,拡散モデルの双方向構造を利用してブロック間投機を行う。 我々は、このアプローチが正確であるときに公式に特徴付け、平行性を高めるための基本的なコストとして軌跡ドリフトを同定する。 当社のフレームワークは,Fast-dLLMのデュアルキャッシュインフラストラクチャ上に構築されており,イテレーションを30～40%削減し,トークン単位のステップを2.6から4.3に増加させ,バニラdLLMの7～14倍,Fast-dLLMの1.3倍のスピードアップを実現した。

関連論文リスト

• Early-Bird Decoding: Accelerating Diffusion LLMs with Learnable Block Sizes and Parallel Sampling [11.823547220829083]
  拡散大言語モデル(dLLM)は、自己回帰生成の代替として有望な並列デコードパラダイムを提供する。 同様に低いエントロピーを持つトークンがクラスタ化される傾向にあるという観察から動機付けられた「アーリーバード(EB)」デコーディングフレームワークを提案する。 EB-Decodeは,(1)類似の不確実性のあるトークンを,固定ブロックサイズに依存するのではなく,可変長ブロックに適応的にグループ化する学習可能なネットワーク,(2)予測された可変長ブロック内の復号ステップを減らして,並列でトークンをアンマスクする位置認識型サンプリング,という2つの重要なイネーラを統合する。
  論文  参考訳（メタデータ） (2026-09-15T00:12:37Z)
• SimSD: Simple Speculative Decoding in Diffusion Language Models [61.33773959352141]
  拡散大言語モデル (dLLMs) は、並列またはブロックワイド復号による高速な推論を提供する。 彼らのマスク付き言語モデリングの定式化は、標準的なトークンレベルの投機的復号法とは相容れないままである。 我々は,dLLMに時間的に有効なトークンレベルのコンテキストを付与する,SimSDと呼ばれるdLLMの投機的復号アルゴリズムを提案する。 提案手法は,平均生成品質を維持しつつ,最大7.46倍高い復号スループットを実現する。
  論文  参考訳（メタデータ） (2026-06-01T17:46:46Z)
• FLARE: Diffusion for Hybrid Language Model [72.60770374799634]
  FLAREは、ハイブリッドアテンションな大規模言語モデルのための体系的な変換フレームワークである。 トークン平等なAR/拡散目標、ハードウェア対応カーネル、統一推論を組み合わせることで、ひとつのチェックポイントがARスタイルの検証された復号化と拡散スタイルの並列復号化の両方をサポートすることができる。 この結果から,実際のdLLMは復号化アルゴリズムだけでなく,データ品質や現在のブロック拡散目標のトレーニング非効率によって制限されていることが示唆された。
  論文  参考訳（メタデータ） (2026-06-01T06:58:15Z)
• Efficient Diffusion LLMs via Temporal-Spatial Parallel Decoding and Confidence Extrapolation [15.129362213838974]
  2つのコンポーネントを持つトレース対応復号化フレームワークを提案する。 まず、時間空間並列復号(TSPD)は、トークンが収束し、安全に固定できるかどうかを決定するために、信頼、エントロピー、運動量を含む、トーケン軌道毎の特徴を消費する軽量な時間空間コントローラを使用する。 第二に、CE(Confidence Extrapolation)は、トレーニング不要な状態空間モジュールで、前向きな決定を支援するために、不確実性を伴う将来のロジットトレンドを予測する。
  論文  参考訳（メタデータ） (2026-05-29T02:29:28Z)
• DyLLM: Efficient Diffusion LLM Inference via Saliency-based Token Selection and Partial Attention [2.7422645382944935]
  そこで我々はDyLLMを提案する。DyLLMは正規トークンのみを選択的に計算することでデコーディングを高速化する学習自由推論フレームワークである。 DyLLMは様々な推論とコード生成ベンチマークで最大9.6倍のスループットを実現している。
  論文  参考訳（メタデータ） (2026-03-09T07:02:01Z)
• Prism: Efficient Test-Time Scaling via Hierarchical Search and Self-Verification for Discrete Diffusion Language Models [96.0074341403456]
  LLM推論を改善するための実用的な方法として、推論時計算が再導入されている。 テスト時間スケーリング(TTS)アルゴリズムの多くは、自動回帰デコーディングに依存している。 そこで我々は,dLLM のための効率的な TTS フレームワーク Prism を提案する。
  論文  参考訳（メタデータ） (2026-02-02T09:14:51Z)
• Residual Context Diffusion Language Models [90.07635240595926]
  Residual Context Diffusion (RCD) は、捨てられたトークン表現をコンテキスト残留に変換し、次のデノイングステップでそれらを注入するモジュールである。 RCDは、最小限の計算オーバーヘッドで、5-10ポイントの精度でフロンティアdLLMを一貫して改善する。
  論文  参考訳（メタデータ） (2026-01-30T13:16:32Z)
• CreditDecoding: Accelerating Parallel Decoding in Diffusion Large Language Models with Trace Credits [37.06886078519443]
  CreditDecodingはトレーニング不要の並列デコーディングアルゴリズムで、正確だが不確実なトークンの信頼収束を加速する。 8つのベンチマークでは、CreditDecodingはLLaDA-8B-Instructよりも5.48倍の高速化と0.48のパフォーマンス向上を実現している。
  論文  参考訳（メタデータ） (2025-10-07T17:08:33Z)
• dParallel: Learnable Parallel Decoding for dLLMs [77.24184219948337]
  拡散大言語モデル(dLLM)は並列トークン予測と低推論遅延を提供する。 既存のオープンソースモデルは、パフォーマンスを確保するためにトークン長のデコードステップをほとんど必要としています。 高速サンプリングのためにdLLMs固有の並列性を解き放つシンプルで効果的な方法であるdParallelを導入する。
  論文  参考訳（メタデータ） (2025-09-30T16:32:52Z)
• Fast-dLLM v2: Efficient Block-Diffusion LLM [64.38006546510337]
  Fast-dLLM v2はブロック拡散言語モデルで、訓練済みのARモデルをdLLMに適応して並列テキストを生成する。 これは、Dream(580Bトークン)のようなフルアテンション拡散LDMと比較して、トレーニングデータの500倍の減少を示す。
  論文  参考訳（メタデータ） (2025-09-30T14:40:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。