論文の概要: Lossless but Not Free: An Empirical Anatomy of Speculative Decoding on Consumer Hardware
- arxiv url: http://arxiv.org/abs/2607.17283v1
- Date: Sun, 19 Jul 2026 15:01:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-21 18:48:37.419064
- Title: Lossless but Not Free: An Empirical Anatomy of Speculative Decoding on Consumer Hardware
- Title（参考訳）: 消費者ハードウェアにおける投機的デコーディングの実証解剖
- Abstract要約: 大規模言語モデルのシングルストリーム自動回帰復号化は、メモリ帯域幅によって制限される。
小さなドラフトモデルは、自動回帰的に$K$トークンを提案し、ターゲットモデルは、これらすべてを1回のバッチパスでスコアする。
本稿では、CUDA/MPS/CPUの実装と、5つのドラフト/ターゲットバックエンド構成に関する実証的研究を紹介する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Single-stream autoregressive decoding of large language models is bound by memory bandwidth: each generated token requires one full forward pass through the target model, and successive passes cannot be parallelized. Speculative decoding restructures this computation: a small draft model proposes $K$ tokens autoregressively, the target model scores all of them in one batched pass, and a rejection-sampling rule provably preserves the target model's output distribution. We present a from-scratch, device-agnostic (CUDA/MPS/CPU) implementation and an empirical study across five draft/target backend configurations on a consumer Apple-silicon laptop. Distribution equivalence is verified at three levels, culminating in a two-sample test over roughly 9,200 real-model tokens per method ($χ^2 = 162.5$, dof $= 200$, $p = 0.976$) and exact greedy-sequence agreement. The best configuration reaches a measured $1.61\times$ wall-clock speedup at $K=6$, on an acceptance profile declining from 69.7% at $K=1$ to 37.8% at the optimum, while three of five configurations decelerate, either because the draft fails to out-speed a small target or because the quantized Metal backend executes "parallel" verification serially, an effect we isolate and quantify. The failures are as instructive as the successes: speculative decoding pays off only when verification is genuinely batch-parallel and the draft/target latency gap is real.
- Abstract（参考訳）: 大規模言語モデルのシングルストリーム自動回帰復号は、メモリ帯域幅によって拘束される: 各生成されたトークンは、ターゲットモデルを通る1つのフルフォワードパスを必要とし、逐次パスは並列化できない。
小さなドラフトモデルはK$トークンを自動回帰的に提案し、ターゲットモデルは全てのトークンを1つのバッチパスでスコアし、拒絶サンプリングルールはターゲットモデルの出力分布を確実に保存する。
そこで本研究では,Apple-Siliconノートパソコン上で,デバイス非依存(CUDA/MPS/CPU)の実装と,5つのドラフト/ターゲットバックエンド構成に関する実証的研究を紹介する。
分配等価性は3つのレベルで検証され、約9,200個の実モデルトークンに対して、メソッドあたりの約9,200個の実モデルトークンに対して、def $= 200$, $p = 0.976$) と正確なグリーディシーケンス合意(英語版)で決定される。
最高の設定は、1.61\times$ wall-clock speedup at $K=6$に到達し、受け入れプロファイルは69.7%から1$で37.8%に低下する。
投機的復号化は、検証が真にバッチ並列であり、ドラフト/ターゲットのレイテンシギャップが本物である場合にのみ、報われる。
関連論文リスト
- Constrained Decoding for Diffusion Language Models via Efficient Inference over Finite Automata [57.27430779838529]
有限オートマトンとして表現可能な任意の制約の下で,制約付き平均場後部からサンプリングする,正確かつトラクタブルなアルゴリズムを提案する。
このアプローチは、構築による制約満足度を保証し、欲求とサンプリングベースのデコーディングの両方をサポートし、並列およびブロックワイドデコーディングと互換性がある。
Dream-7B と LLaDA-8 の実証的な評価は、様々なタスクにおいてかなりの精度の向上を示した。
論文 参考訳（メタデータ） (2026-07-08T05:48:57Z) - PARD-2: Target-Aligned Parallel Draft Model for Dual-Mode Speculative Decoding [10.569335087583655]
投機的復号化は、軽量なドラフトモデルを用いて、LLM(Large Language Models)推論を加速する。
本稿では、信頼適応トークン(CAT)を最適化したデュアルモード投機デコードフレームワークであるPARD-2を提案する。
論文 参考訳（メタデータ） (2026-05-09T02:50:58Z) - SpecKV: Adaptive Speculative Decoding with Compression-Aware Gamma Selection [0.0]
SpecKVは軽量適応型コントローラで、ドラフトモデル自体から抽出した信号を使って投機1歩あたり$を選択できる。
圧縮レジーム間の最適な$$シフトと、ドラフトモデルの信頼性とエントロピーが受容率の強い予測因子であることを実証する。
論文 参考訳（メタデータ） (2026-05-04T17:55:05Z) - Training-free Dropout Sampling for Semantic Token Acceptance in Speculative Decoding [13.249778063956917]
投機的復号化は、トークンを軽量なドラフトモデルで提案することにより、大きな言語モデル推論を加速する。
この研究は、ドラフトトークンとターゲットモデルの予測分布をマッチングする新しいアプローチであるDropMatchを導入している。
複数のベンチマークで実験したところ、我々のアプローチは、競争力のあるタスク性能を維持しながら、受け入れ期間を延ばすことが示されている。
論文 参考訳（メタデータ） (2026-02-11T04:53:33Z) - Multi-Token Prediction via Self-Distillation [73.81494481537636]
我々は,事前訓練された自己回帰言語モデルを,スローシングルの次のトークン予測モデルから高速なスタンドアロンマルチトークン予測モデルに変換するための新しいアプローチを検討する。
GSM8Kでは,単一トークン復号性能と比較して平均3倍以上の高速な復号化が可能なモデルを生成する。
論文 参考訳（メタデータ） (2026-02-05T18:54:48Z) - Reject Only Critical Tokens: Pivot-Aware Speculative Decoding [31.22793593647334]
投機的復号(SD)は、出力がターゲットモデルの分布と正確に一致することを保証する。
提案するPivot-Aware Speculative Decodingは,最終的な出力の実用性低下につながるトークンのみを拒否する。
さまざまなデータセットにまたがってメソッドを評価し、同等のユーティリティで最大2.5タイムのスピードアップを達成できることを示します。
論文 参考訳（メタデータ） (2025-11-01T01:35:10Z) - dParallel: Learnable Parallel Decoding for dLLMs [77.24184219948337]
拡散大言語モデル(dLLM)は並列トークン予測と低推論遅延を提供する。
既存のオープンソースモデルは、パフォーマンスを確保するためにトークン長のデコードステップをほとんど必要としています。
高速サンプリングのためにdLLMs固有の並列性を解き放つシンプルで効果的な方法であるdParallelを導入する。
論文 参考訳（メタデータ） (2025-09-30T16:32:52Z) - Pipeline Parallelism is All You Need for Optimized Early-Exit Based Self-Speculative Decoding [73.67253077506672]
大規模言語モデル(LLM)は、優れた生成品質を提供するが、非常に高い推論コストをもたらす。
早期排他的自己投機的復号法(EESD)がこのコストを軽減するために登場した。
ドラフトと検証作業を完全にパイプライン化するパイプライン・パラレル自己スペクティブ・デコーディング(PPSD)を提案する。
論文 参考訳（メタデータ） (2025-09-19T04:51:41Z) - AutoJudge: Judge Decoding Without Manual Annotation [13.451750613294054]
AutoJudgeは大規模言語モデル(LLM)推論をタスク固有の損失投機的デコードで高速化する手法である。
提案手法は,ターゲットモデルとドラフトモデルとのミスマッチのどれを修正すべきかを,半グレディな探索アルゴリズムに頼っている。
論文 参考訳（メタデータ） (2025-04-28T17:59:28Z) - ParallelSpec: Parallel Drafter for Efficient Speculative Decoding [62.68430939686566]
提案するParallelSpecは,最先端の投機的復号化手法における自己回帰的起草戦略の代替となる。
投機段階における自己回帰的起草とは対照的に,効率的な投機モデルとして機能する並列投機を訓練する。
論文 参考訳（メタデータ） (2024-10-08T01:05:08Z) - WR-ONE2SET: Towards Well-Calibrated Keyphrase Generation [57.11538133231843]
キーワード生成は、入力文書を要約する短いフレーズを自動的に生成することを目的としている。
最近登場したONE2SETパラダイムは、キーフレーズをセットとして生成し、競争性能を達成した。
本稿では, ONE2SET を拡張した WR-ONE2SET を提案する。
論文 参考訳（メタデータ） (2022-11-13T09:56:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。