論文の概要: SharpDraft: Accelerating Long-Context Speculative Decoding with Cardinality-Aware Query Scaling
- arxiv url: http://arxiv.org/abs/2610.05106v1
- Date: Sun, 04 Oct 2026 10:26:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-10 23:24:19.026712
- Title: SharpDraft: Accelerating Long-Context Speculative Decoding with Cardinality-Aware Query Scaling
- Title（参考訳）: SharpDraft: Cardinality-Aware Query Scalingによるロングコンテキスト投機的デコーディングの高速化
- Abstract要約: 本稿では,注意質量希釈に対処する訓練不要手法SharpDraftを紹介する。
SharpDraftは、2.59$-3.19times$ geometry-mean end-to-end speedups over target-only autoregressive decodingを達成している。
- 参考スコア（独自算出の注目度）: 7.713158486338906
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Long-form reasoning makes inference expensive, and speculative decoding mitigates this cost by verifying multiple draft tokens in parallel. Its speedup, however, can fade as context grows and draft acceptance declines. We focus on attention-mass dilution: as softmax normalizes over more visible Keys, the mass concentrated on the highest-scoring Keys can decrease. We introduce SharpDraft, a training-free method that counteracts this effect through cardinality-aware Query scaling, without the computational overhead of online adaptation. Under explicit assumptions, we derive an exact top-$k$ mass correction and deploy a closed-form fixed-slope approximation. Across AIME-26, GPQA-Diamond, and LongGenBench Diary, SharpDraft achieves $2.59$-$3.19\times$ geometric-mean end-to-end speedups over target-only autoregressive decoding when applied to DFlash, PARD, and EAGLE 3.1. With DFlash, it improves decoding speed and outperforms full-parameter and LoRA-based online adaptation in end-to-end speedup, while matching the unmodified drafter's reported peak allocated GPU memory.
- Abstract（参考訳）: ロングフォーム推論は推論を高価にし、投機的復号化は複数のドラフトトークンを並列に検証することでこのコストを軽減します。
しかし、そのスピードアップは、コンテキストが増加し、ドラフト受け入れが減少するにつれて消える可能性がある。
我々は注目質量希釈に焦点をあてる:ソフトマックスがより可視なキーを正規化するにつれ、最高スコアのキーに集中する質量は減少する。
我々は、オンライン適応の計算オーバーヘッドを伴わずに、この効果を基数認識クエリスケーリングを通じて対処する訓練不要なメソッドSharpDraftを紹介した。
明示的な仮定の下では、正確なk$の質量補正を導き、閉形式の固定傾斜近似を展開させる。
AIME-26、GPQA-Diamond、LongGenBench Diaryを通じて、SharpDraftは、DFlash、PARD、EAGLE 3.1に適用される場合、ターゲットのみの自己回帰デコードよりも、幾何学的なエンドツーエンドのスピードアップを2.59$-$3.19\timesで達成した。
DFlashではデコード速度を改善し、全パラメータとLoRAベースのオンライン適応をエンドツーエンドのスピードアップで上回り、未修正のドラフト作成者の報告されたピーク割り当てGPUメモリにマッチする。
関連論文リスト
- HEAT: Faster Fully Homomorphic Inference via Approximations-Weights Co-Adaptation [56.14416807766864]
同型暗号化により、サーバは暗号化されたユーザープロンプト上で言語モデルを直接実行することができる。
既存のアプローチでは、各サイトのエラー許容度を調整するのではなく、モデル全体のイテレーションカウントを均一に修正する。
非線形反復回数を学習可能にする微調整法であるHAT(Hymomorphic Encryption-Aware Training)を導入する。
論文 参考訳（メタデータ） (2026-09-01T18:02:02Z) - Faster Than Flash: Exploiting Attention Sparsity for Efficient Long-Context Decoding [51.48425605758328]
我々は,Faster Flash Decoding (FFD) という,長文デコーディングにおいてメモリ壁を壊すように設計されたハードウェア・アルゴリズムの共同設計フレームワークを提示する。
FFDはセレクタとコンピュータを完全に融合したカーネルに統合し、外部メタデータのインデックスをコンテンツ認識スキャンに置き換える。
最大11.6倍のカーネルレベルのスピードアップと256Kコンテキスト長のスケーリングを実現し、2.37倍のスループット向上を実現している。
論文 参考訳（メタデータ） (2026-08-31T15:13:20Z) - Ripple-Pivot Search: Active Parallel Decoding for Diffusion Large Language Models [66.32132912853372]
Diffusion Large Language Models (dLLMs) は自己回帰型言語モデルの競合代替として登場した。
本研究では,中間エントロピー位置を有望な候補ピボットとして求める訓練自由復号法であるRipple-Pivot Search (RPS)を提案する。
RPSは、生成品質を維持しながら標準デコーダの4-10$times$wall-clockスピードアップを実現し、以前のルックアヘッドベースラインの精度を最大5.49%向上させる。
論文 参考訳（メタデータ） (2026-08-12T07:32:29Z) - FARI: Robust One-Step Inversion for Watermarking in Diffusion Models [89.29541056113442]
インバージョンベースの透かしは拡散生成画像の認証に有望なアプローチである。
既存のアプローチは内部トランケーションエラーを過度に最適化する。
textbfFARIは、透かし抽出のためのデノイザの軽量対向LoRA微調整と組み合わせたワンステップ逆変換フレームワークである。
論文 参考訳（メタデータ） (2026-07-29T10:13:55Z) - D-cut: Adaptive Verification Depth Pruning for Batched Speculative Decoding [14.590812900433328]
投機的復号化は、出力品質を損なうことなく、大言語モデル(LLM)推論を加速させる。
D-Cutは、バッチ間で共同でドラフトトークンを選択し、最も受け入れられそうなトークンに検証予算を集中する適応型プルーニング手法である。
論文 参考訳（メタデータ） (2026-07-16T07:18:05Z) - Double: Breaking the Acceleration Limit via Double Retrieval Speculative Parallelism [19.7914286780195]
textscDouble (Double Retrieval Speculative Parallelism)を紹介する。
提案手法は,理論的な高速化限界を断ち切るために反復的検索投機を実行する。
実験では、LLaMA3.3-70Bで$textbf5.3times$、Qwen3-32Bで$textbf2.8times$の最先端のスピードアップが示されている。
論文 参考訳（メタデータ） (2026-01-09T04:35:21Z) - SpecDiff-2: Scaling Diffusion Drafter Alignment For Faster Speculative Decoding [48.96349422252313]
投機的復号化は,Large Language Model (LLM)推論の高速化のための標準手法となっている。
自動回帰デコーディングの遅延を回避し、印象的なスピードアップを実現するために、損失のないドラフト検証手順を利用する。
本稿では,これら2つのボトルネックに共同で対処する新しいフレームワークであるSpecDiff-2を提案する。
論文 参考訳（メタデータ） (2025-11-01T16:12:56Z) - Mirror Speculative Decoding: Breaking the Serial Barrier in LLM Inference [11.957170239588535]
投機的復号化は、ドラフトモデルを使用して推測を加速する。
事前の方法は、ドラフトコストを部分的に削減するが、受け入れを低下させるか、スケーリングを制限するオーバーヘッドを導入する。
本稿では,遅延受容トレードオフを破る推論アルゴリズムであるMirror Speculative Decoding(Mirror-SD)を提案する。
論文 参考訳（メタデータ） (2025-10-15T05:22:57Z) - R-Stitch: Dynamic Trajectory Stitching for Efficient Reasoning [80.104336426172]
CoT(Chain-of- Thought)は、大規模言語モデルの問題解決能力を高める。
CoTは長い自己回帰軌道のためにかなりの推論コストを発生させる。
トレーニング不要なハイブリッドデコーディングフレームワークであるR-Stitchを紹介する。
論文 参考訳（メタデータ） (2025-07-23T08:14:36Z) - MagicDec: Breaking the Latency-Throughput Tradeoff for Long Context Generation with Speculative Decoding [12.74265334789358]
我々は,中間列から長列への高スループット推論方式であっても,投機的復号化が高速化可能であることを示す。
最大高速化のための最適起草戦略を選択するための理論的モデルを提案する。
中程度から長いシーケンスでは、32から256までのバッチサイズでLlama3.1-8Bの2.51倍のスピードアップを示す。
論文 参考訳（メタデータ） (2024-08-20T17:57:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。