論文の概要: Beyond the Target: From Imitation to Collaboration in Speculative Decoding
- arxiv url: http://arxiv.org/abs/2605.24793v1
- Date: Sun, 24 May 2026 00:34:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-26 19:50:18.446068
- Title: Beyond the Target: From Imitation to Collaboration in Speculative Decoding
- Title（参考訳）: ターゲットを超えて: 推測的デコーディングにおける模倣から協力へ
- Authors: Jinze Li, Yixing Xu, Guanchen Li, Jinfeng Xu, Shuo Yang, Yang Zhang, Xuanwu Yin, Dong Li, Edith C. H. Ngai, Emad Barsoum,
- Abstract要約: 投機的復号(SPD)は、より小さなドラフトモデルに、より大きなターゲットモデルによって並列に検証される複数の将来のトークンを提案することによって、大きな言語モデル(LLM)推論を加速させる。
支配的なSPDパラダイムは、ターゲットモデルを唯一信頼できる教師として扱い、ターゲット予測と正確に一致する場合にのみドラフトトークンを受け入れる。
我々は、SPDの一般化である textbfCollaborative Decoding (CoSpec) を導入し、ターゲットモデルを唯一のトークンレベルの権威として扱わなくなった。
- 参考スコア（独自算出の注目度）: 23.603110768087973
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Speculative decoding (SPD) accelerates large language model (LLM) inference by letting a smaller draft model propose multiple future tokens that are verified in parallel by a larger target model. The dominant SPD paradigm treats the target model as the sole reliable teacher, accepting a draft token only when it exactly matches the target prediction. This design implicitly assumes that the target is always the better choice at every position. In practice, this assumption does not hold. Although the draft is the weaker model overall, it is not uniformly inferior at the token level. In a meaningful fraction of cases where draft and target disagree, the draft's choice is the one that leads to the correct final answer. Inspired by this, we introduce \textbf{Collaborative Speculative Decoding (CoSpec)}, a generalization of SPD that no longer treats the target model as the sole token-level authority. CoSpec trains an arbitration policy via reinforcement learning to decide whether to accept tokens from the draft or target model, selectively accepting draft tokens at mismatches when doing so is likely to yield a correct final answer. Experimental results show that CoSpec maintains substantial speedups while surpassing target-only performance. By shifting the emphasis from imitation to collaboration, CoSpec suggests a new perspective on speculative decoding.
- Abstract（参考訳）: 投機的復号(SPD)は、より小さなドラフトモデルに、より大きなターゲットモデルによって並列に検証される複数の将来のトークンを提案することによって、大きな言語モデル(LLM)推論を加速させる。
支配的なSPDパラダイムは、ターゲットモデルを唯一信頼できる教師として扱い、ターゲット予測と正確に一致する場合にのみドラフトトークンを受け入れる。
この設計は、ターゲットは常にすべての位置においてより良い選択であると暗黙的に仮定する。
実際には、この仮定は成り立たない。
ドラフトは全体としてより弱いモデルだが、トークンレベルでは均一に劣るものではない。
ドラフトとターゲットが一致しない意味のあるケースでは、ドラフトの選択は、正しい最終回答につながるものです。
このことに触発されて、ターゲットモデルを唯一のトークンレベル権威として扱わないSPDの一般化である \textbf{Collaborative Speculative Decoding (CoSpec)} を導入した。
CoSpecは、強化学習を通じて仲裁ポリシーを訓練し、ドラフトまたはターゲットモデルからトークンを受け入れるかどうかを判断する。
実験の結果,CoSpecは目標のみの性能を超えながら,大幅なスピードアップを維持していることがわかった。
模倣からコラボレーションへと重点を移すことで、CoSpecは投機的復号化の新しい視点を提案する。
関連論文リスト
- Mistletoe: Stealthy Acceleration-Collapse Attacks on Speculative Decoding [47.771248673145614]
投機的復号化は大規模言語モデル(LLM)推論を高速化する手法として広く採用されている。
モデルに基づく投機的復号化における新しいメカニズムレベルの脆弱性を同定する。
提案するMistletoeは、投機的復号化に対するステルス的な加速・崩壊攻撃である。
論文 参考訳（メタデータ） (2026-05-13T18:11:42Z) - PACER: Blockwise Pre-verification for Speculative Decoding with Adaptive Length [21.738896310075678]
投機的復号法(SD)は,大規模言語モデル(LLM)の推論過程を高速化する強力な手法である
軽量でトレーニング可能な事前検証レイヤを用いて,ドラフト長を動的に制御する新しいアプローチであるPacerを提案する。
以上の結果から,Pacerは自己回帰復号化よりも最大2.66倍の高速化を実現し,一貫した投機復号化を実現していることがわかった。
論文 参考訳（メタデータ） (2026-02-01T15:12:38Z) - DiffuSpec: Unlocking Diffusion Language Models for Speculative Decoding [66.40658898418316]
DiffuSpecは、事前訓練された拡散言語モデル(DLM)を用いて、単一のフォワードパスでマルチトークンのドラフトを生成する、トレーニングフリーのドロップインフレームワークである。
ベンチマーク全体を通じて、DiffuSpecは最大3倍のウォールクロックスピードアップを達成し、投機的復号化のための自己回帰型ドラフトラの堅牢な代替手段として拡散ベースのドラフトを確立する。
論文 参考訳（メタデータ） (2025-09-28T07:00:15Z) - CARD: A Cache-Assisted Parallel Speculative Decoding Framework via Query-and-Correct Paradigm for Accelerating LLM Inference [14.527697328189362]
本稿では,新しいクエリ・アンド・コレクト・パラダイムを用いたCARDという投機的復号化フレームワークを提案する。
提案手法は,提案手法を検証から切り離し,詳細な調整を伴わずに効果的にドラフトモデルの効率を向上する。
CARDは既存の最先端の手法よりも優れており、バニラ自己回帰復号よりも最大4.83倍の高速化を実現している。
論文 参考訳（メタデータ） (2025-08-06T14:02:10Z) - POSS: Position Specialist Generates Better Draft for Speculative Decoding [29.847485296491204]
投機的復号化はLarge Language Model (LLM)推論を加速させる。
近年の研究では、ターゲットモデルの隠れ状態を利用して、ドラフトモデル予測精度を向上させる。
割り当てられた位置でトークンを生成するために複数の位置特定されたドラフト層からなる位置スペシャリスト(PosS)を提案する。
論文 参考訳（メタデータ） (2025-06-04T04:30:30Z) - GRIFFIN: Effective Token Alignment for Faster Speculative Decoding [33.26750782762635]
GRIFFINは、トークン指向のトレーニング戦略とトークン指向のドラフトモデルを組み込んだ、新しいフレームワークである。
LLaMA, Vicuna, Qwen, Mixtral モデルを用いた実験では, GRIFFIN が平均受容長 8% 以上, スピードアップ比 7% 以上を達成している。
論文 参考訳（メタデータ） (2025-02-16T07:06:00Z) - ParallelSpec: Parallel Drafter for Efficient Speculative Decoding [62.68430939686566]
提案するParallelSpecは,最先端の投機的復号化手法における自己回帰的起草戦略の代替となる。
投機段階における自己回帰的起草とは対照的に,効率的な投機モデルとして機能する並列投機を訓練する。
論文 参考訳（メタデータ） (2024-10-08T01:05:08Z) - PEARL: Parallel Speculative Decoding with Adaptive Draft Length [12.166703341906242]
本稿では,適応dRaft Length(PEARL)を用いた投機的復号化(Parallel speculative decoding)を促進するための,概念的にシンプルでフレキシブルで汎用的なフレームワークを提案する。
PEARLは、ドラフトフェーズ中に事前に最初のドラフトトークンを検証し、検証フェーズ中により多くのドラフトトークンを生成するための後検証を提案する。
各種テキスト生成ベンチマークの実験では、PEARLの有効性が実証されており、自動回帰復号法とバニラ投機復号法と比較して、パフォーマンスが4.43$times$と1.50$times$に向上した。
論文 参考訳（メタデータ） (2024-08-13T08:32:06Z) - Decoding Speculative Decoding [4.56754610152086]
投機的復号化は、品質を犠牲にすることなく、大規模言語モデルの推論を高速化する技術である。
LLaMA-65BとOPT-66Bの350以上の実験を投機的復号法を用いて検討した。
新しく設計されたドラフトモデルは、既存のドラフトモデルよりも111%高いスループットを提供できる。
論文 参考訳（メタデータ） (2024-02-02T16:15:24Z) - DistillSpec: Improving Speculative Decoding via Knowledge Distillation [70.61777015900272]
投機的復号(SD)は、複数のトークンを生成するためにより高速なドラフトモデルを使用することで、大きな言語モデル推論を加速する。
本稿では,SDを適用する前に,知識蒸留を用いて,ドラフトモデルとターゲットモデルとの整合性を向上するDistillSpecを提案する。
DistillSpecは標準SDよりも10～45%のスピードアップを実現しています。
論文 参考訳（メタデータ） (2023-10-12T16:21:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。