論文の概要: SlimSpec: Low-Rank Draft LM-Head for Accelerated Speculative Decoding

• arxiv url: http://arxiv.org/abs/2605.10453v1
• Date: Mon, 11 May 2026 12:22:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 23:28:50.802081
• Title: SlimSpec: Low-Rank Draft LM-Head for Accelerated Speculative Decoding
• Title（参考訳）: SlimSpec: 高速投機デコードのための低ランクドラフトLMヘッド
• Authors: Anton Plaksin, Sergei Krutikov, Sergei Skvortsov, Alexander Samarin,
• Abstract要約: 出力ではなく内部表現を圧縮する,ドラフトラのLMヘッドの低ランクパラメータ化であるSlimSpecを提案する。 SlimSpecは標準のLMヘッドアーキテクチャよりも4text-5times$Accelerationを実現している。
• 参考スコア（独自算出の注目度）: 41.803148916760804
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Speculative decoding speeds up autoregressive generation in Large Language Models (LLMs) through a two-step procedure, where a lightweight draft model proposes tokens which the target model then verifies in a single forward pass. Although the drafter network is small in modern architectures, its LM-head still performs projection to a large vocabulary, becoming one of the major computational bottlenecks. In prior work this issue has been predominantly addressed via static or dynamic vocabulary truncation. Yet mitigating the bottleneck, these methods bring in extra complexity, such as special vocabulary curation, sophisticated inference-time logic or modifications of the training setup. In this paper, we propose SlimSpec, a low-rank parameterization of the drafter's LM-head that compresses the inner representation rather than the output, preserving full vocabulary support. We evaluate our method with EAGLE-3 drafter across three target models and diverse benchmarks in both latency- and throughput-bound inference regimes. SlimSpec achieves $4\text{-}5\times$ acceleration over the standard LM-head architecture while maintaining a competitive acceptance length, surpassing existing methods by up to $8\text{-}9\%$ of the end-to-end speedup. Our method requires minimal adjustments of training and inference pipelines. Combined with the aforementioned speedup improvements, it makes SlimSpec a strong alternative across wide variety of draft LM-head architectures.
• Abstract（参考訳）: 投機的復号化は、Large Language Models (LLM) における自己回帰生成を2段階の手順で高速化する。 プロダクタネットワークは現代のアーキテクチャでは小さいが、LMヘッドは依然として大きな語彙を投影し、主要な計算ボトルネックの1つとなっている。 これまでの作業では、この問題は主に静的または動的語彙の切り抜きによって対処されてきた。 しかし、ボトルネックを緩和するため、これらの手法は特別な語彙のキュレーション、洗練された推論時間ロジック、トレーニング設定の変更など、余分な複雑さをもたらす。 本稿では、出力よりも内部表現を圧縮し、完全な語彙サポートを保持する、ドラフトラのLMヘッドの低ランクパラメータ化であるSlimSpecを提案する。 提案手法を3つの対象モデルにまたがってEAGLE-3ドラフトラで評価し,待ち時間とスループットを考慮した推論方式の多種多様なベンチマークを行った。 SlimSpecは、標準のLMヘッドアーキテクチャ上でのアクセラレーションを$4\text{-}5\times$で達成し、既存のメソッドを最大8\text{-}9\%で上回っている。 提案手法は,トレーニングと推論パイプラインの最小限の調整を必要とする。 上述したスピードアップの改善と合わせて、SlimSpecは、さまざまなLMヘッドアーキテクチャにまたがる強力な代替となる。

関連論文リスト

• Speculative Decoding with a Speculative Vocabulary [44.656073829954636]
  投機的復号化は言語モデル(LM)推論を高速化するための主要なアプローチである。 最近の研究は、ドラフトモデルの語彙を減らし、この出力分布のボトルネックに対処しようと試みている。 本稿では,デコードステップ毎に語彙サブセットを選択する,効率的かつ効果的な方法であるSpecVocabを提案する。
  論文  参考訳（メタデータ） (2026-02-14T16:10:00Z)
• CAS-Spec: Cascade Adaptive Self-Speculative Decoding for On-the-Fly Lossless Inference Acceleration of LLMs [48.8252978488871]
  投機的復号化は、大きな言語モデルをデプロイする際のシームレスな統合と広範なユーティリティを提供する。 ドラフトモデルの階層化は、さらなる加速と柔軟性を約束するが、複数のモデルをトレーニングするコストが高いため、実用的応用は制限されている。 本稿では,投機的ドラフトモデルを構成するCascade Adaptive Self-Speculative Decoding(CAS-Spec)手法を提案する。
  論文  参考訳（メタデータ） (2025-10-30T08:51:29Z)
• DiffuSpec: Unlocking Diffusion Language Models for Speculative Decoding [66.40658898418316]
  DiffuSpecは、事前訓練された拡散言語モデル(DLM)を用いて、単一のフォワードパスでマルチトークンのドラフトを生成する、トレーニングフリーのドロップインフレームワークである。 ベンチマーク全体を通じて、DiffuSpecは最大3倍のウォールクロックスピードアップを達成し、投機的復号化のための自己回帰型ドラフトラの堅牢な代替手段として拡散ベースのドラフトを確立する。
  論文  参考訳（メタデータ） (2025-09-28T07:00:15Z)
• VOCABTRIM: Vocabulary Pruning for Efficient Speculative Decoding in LLMs [15.508475101753715]
  本研究では,プロダクタに基づく投機的復号法(SpD)の性能向上のためのトレーニングフリー手法を提案する。 ドラフトラダーベースの投機的復号法は、複数のトークンからなるドラフトシーケンスまたはツリーをサンプリングするために、ドラフトラダーまたはドラフトモデルと呼ばれる1つ以上のより小さな言語モデルを利用する。 提案手法は,Spec-Bench上でのLlama-3モデルのメモリバウンド速度を,特にLlama-3.2-3B-Instructの16%向上できることを示す。
  論文  参考訳（メタデータ） (2025-06-28T00:26:40Z)
• FR-Spec: Accelerating Large-Vocabulary Language Models via Frequency-Ranked Speculative Sampling [59.8051705468084]
  投機的サンプリングは,大規模言語モデルの自己回帰生成プロセスを促進する重要な手法として登場した。 本稿では、語彙空間圧縮によるドラフト候補選択を最適化する周波数ランクの投機的サンプリングフレームワークFR-Specを提案する。
  論文  参考訳（メタデータ） (2025-02-20T18:58:10Z)
• Falcon: Faster and Parallel Inference of Large Language Models through Enhanced Semi-Autoregressive Drafting and Custom-Designed Decoding Tree [7.438117410146904]
  Falconは、ドラフト作成者の並列性と出力品質の両方を増強するために設計された革新的な投機的復号化フレームワークである。 FalconにはCoupled Sequential Glancing Distillation(英語版)技術が組み込まれている。
  論文  参考訳（メタデータ） (2024-12-17T08:02:08Z)
• Extreme Compression of Large Language Models via Additive Quantization [59.3122859349777]
  我々のアルゴリズムは、AQLMと呼ばれ、情報検索のための古典的な加算量子化(AQ)アプローチを一般化する。 トークン生成のためのAQLMの高速GPUおよびCPU実装を提供しており、最適化されたFP16実装を高速にマッチングまたは性能良くすることができる。
  論文  参考訳（メタデータ） (2024-01-11T18:54:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。