論文の概要: T2D: Target-to-Draft Model Pruning & Adaptation for Efficient Speculative Decoding

• arxiv url: http://arxiv.org/abs/2610.34103v2
• Date: Sun, 01 Nov 2026 04:53:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-04 02:41:44.698076
• Title: T2D: Target-to-Draft Model Pruning & Adaptation for Efficient Speculative Decoding
• Title（参考訳）: T2D:効率的な投機的デコードのためのターゲット・ツー・ドラフトモデルプルーニングと適応
• Abstract要約: 本稿では,遅延認識型構造化プルーニングと知識蒸留を用いて,ターゲットモデルから直接ドラフトモデルを構築するフレームワークT2Dを提案する。 このようにして、T2Dは、測定された推論遅延とクロスエントロピー損失の両方に共同最適化されたドラフトモデルを得る。 本稿では,T2Dがターゲットモデルの最大92%を突破し,競合ベースラインと比較して高い性能のドラフトモデルを得る方法を示す。
• 参考スコア（独自算出の注目度）: 31.87997739371006
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Speculative decoding significantly accelerates autoregressive text generation in Large Language Models (LLMs), but its efficacy depends largely on two key factors: the distributional alignment between the draft and the target model, and the draft model's latency during inference. However, existing approaches typically utilize independently pretrained small draft models or seek to prune the target model to a manually chosen architecture, thereby failing to explicitly balance the trade-off between draft model alignment and token generation efficiency. To address this gap, we formulate draft model design as an optimization problem and propose T2D, a framework that constructs draft models directly from the target model using latency-aware structured pruning and knowledge distillation. In this manner, T2D obtains draft models that are jointly optimized for both measured inference latency and cross-entropy loss on the target model's responses, resulting in superlative speculative decoding performance. Through extensive experiments on multi-domain speculative decoding benchmarks and across several target model families of differing scale, we demonstrate how T2D prunes up to 92\% of the target model to obtain highly performant draft models compared to competitive baselines. Moreover, draft models obtained via T2D can also be utilized by other speculative decoding token-alignment and knowledge distillation methods in a plug-and-play fashion, leading to further gains. Our findings underscore the importance of jointly navigating the draft model architecture-alignment frontier to unlock the full potential of speculative decoding for LLMs.
• Abstract（参考訳）: 投機的復号化はLarge Language Models (LLMs) における自己回帰テキスト生成を著しく加速させるが、その有効性はドラフトとターゲットモデルの分散アライメントと推論時のドラフトモデルの遅延という2つの重要な要因に大きく依存する。 しかし、既存のアプローチは通常、独立に事前訓練された小さなドラフトモデルを利用するか、手動で選択したアーキテクチャにターゲットモデルを適用しようとするため、ドラフトモデルのアライメントとトークン生成効率のトレードオフを明示的にバランスすることができない。 このギャップに対処するために、最適化問題としてドラフトモデル設計を定式化し、遅延を考慮した構造化プルーニングと知識蒸留を用いて、ターゲットモデルから直接ドラフトモデルを構築するフレームワークであるT2Dを提案する。 このようにして、T2Dは、測定された推論遅延とターゲットモデルの応答におけるクロスエントロピー損失の両方に共同最適化されたドラフトモデルを得る。 マルチドメイン投機的デコードベンチマークの広範な実験を通じて、T2Dがターゲットモデルの最大92%の精度で、競合するベースラインと比較して高い性能のドラフトモデルを得る方法を示す。 さらに、T2Dを介して得られたドラフトモデルは、プラグアンドプレイ方式で他の投機的復号化トークンアライメントおよび知識蒸留手法によっても利用することができ、さらなる利益をもたらす。 本研究は,LLMにおける投機的復号化の可能性を最大限に解き明かすために,原案アーキテクチャアライメントフロンティアを共同でナビゲートすることの重要性を明らかにするものである。

関連論文リスト

• Every Step Counts: Decoding Trajectories as Authorship Fingerprints of dLLMs [63.82840470917859]
  本稿では,dLLMの復号化機構をモデル属性の強力なツールとして利用できることを示す。 本稿では、デコードステップ間の構造的関係を捉え、モデル固有の振る舞いをよりよく明らかにする、DDM(Directed Decoding Map)と呼ばれる新しい情報抽出手法を提案する。
  論文  参考訳（メタデータ） (2025-10-02T06:25:10Z)
• Latent Thought Models with Variational Bayes Inference-Time Computation [52.63299874322121]
  ラテント思考モデル(LTM)は、ラテント空間における明示的な事前モデルに従う明示的なラテント思考ベクトルを包含する。 LTMは自己回帰モデルや離散拡散モデルよりも優れたサンプルおよびパラメータ効率を示す。
  論文  参考訳（メタデータ） (2025-02-03T17:50:34Z)
• Boosting Lossless Speculative Decoding via Feature Sampling and Partial Alignment Distillation [8.046705062670096]
  損失のない投機的復号化は、ターゲットとする大言語モデル推論を加速する。 FSPAD (Feature Sampling and partial Alignment Distillation for Lossless Speculative Decoding) を提案する。 我々の実験は、ヴィクナ級数とLLaMA3-インストラクト級数で最大かつ最小のモデルにおいて、欲求と非欲求デコーディングの両方を含む。
  論文  参考訳（メタデータ） (2024-08-28T06:28:01Z)
• DistillSpec: Improving Speculative Decoding via Knowledge Distillation [70.61777015900272]
  投機的復号(SD)は、複数のトークンを生成するためにより高速なドラフトモデルを使用することで、大きな言語モデル推論を加速する。 本稿では,SDを適用する前に,知識蒸留を用いて,ドラフトモデルとターゲットモデルとの整合性を向上するDistillSpecを提案する。 DistillSpecは標準SDよりも10～45%のスピードアップを実現しています。
  論文  参考訳（メタデータ） (2023-10-12T16:21:04Z)
• Online Speculative Decoding [34.987825705622555]
  大規模言語モデルの推論を高速化するオンライン投機的復号法を導入する。 主なアイデアは、観測されたユーザクエリデータに対する(複数)ドラフトモデルを継続的に更新することである。 本稿では,知識蒸留に基づくオンライン投機的デコーディングのプロトタイプを開発し,合成データと実データの両方を用いて評価する。
  論文  参考訳（メタデータ） (2023-10-11T04:03:42Z)
• Towards Efficient Task-Driven Model Reprogramming with Foundation Models [52.411508216448716]
  ビジョンファウンデーションモデルは、非常に大きなモデルキャパシティと幅広いトレーニングデータから恩恵を受け、印象的なパワーを示す。 しかし、実際には、下流のシナリオは限られた計算資源や効率上の考慮のため、小さなモデルしかサポートできない。 これは、ファンデーションモデルの現実的な応用に重要な課題をもたらします。
  論文  参考訳（メタデータ） (2023-04-05T07:28:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。