論文の概要: SEED: Self-Speculative Decoding via Implicit Encoder-Decoder

• arxiv url: http://arxiv.org/abs/2609.36590v1
• Date: Tue, 29 Sep 2026 03:06:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.142311
• Title: SEED: Self-Speculative Decoding via Implicit Encoder-Decoder
• Title（参考訳）: SEED: Implicit Encoder-Decoderによる自己投機的デコーディング
• Abstract要約: 自己投機的復号化は、ターゲットモデル自体からトークンを起草することで、大言語モデル(LLM)推論を加速させる。 初期出力メソッドは中間層で終了することで、ドラフトを安価に生成するが、後続のレイヤが提供するより深い表現を放棄して、ドラフトの品質を損なう。 我々は,検証中にすでに計算された深部文脈表現を再利用して,高品質なドラフトを安価に取得する自己投機的エンコーダデコーダ(SEED)を提案する。
• 参考スコア（独自算出の注目度）: 22.692076054730933
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Self-speculative decoding accelerates large language model (LLM) inference by drafting tokens from the target model itself, but faces a sharp tradeoff between the quality and cost of the draft. Early-exit methods produce drafts cheaply by terminating computation at intermediate layers, but forgo the deeper representations that later layers provide and thus suffer in draft quality. Multi-token prediction preserves draft quality by emitting from the model's final hidden states, but pays for a full forward pass to produce those states at every drafting step. We propose self-speculative encoder-decoder (SEED), a self-speculative method that obtains high-quality drafts cheaply by reusing the deep contextual representations already computed during verification. We reinterpret the standard decoder-only transformer as an implicit encoder-decoder: the first layers (encoder) build deep contextual representations, and the last few layers (decoder) emit tokens from them. Encoding and verification are merged into a single step: verification is performed by the full encoder-decoder, and the contextual representations of the verified prefix are cached for reuse during drafting. Drafting is therefore very fast: between verifications, the lightweight decoder drafts multiple tokens autoregressively, each conditioned on the cached representations and on preceding drafts. Experiments across multiple benchmarks show that SEED achieves up to 2.7$\times$ average speedup on 4B-scale models, outperforming both early-exit and MTP-style self-speculative baselines and running 28% faster than the state-of-the-art EAGLE-3, while preserving or even improving the generation quality of standard autoregressive fine-tuning. Code is available at https://github.com/lhk2004/SEED.
• Abstract（参考訳）: 自己投機的復号化は、ターゲットモデル自体からトークンを起草することで、大言語モデル(LLM)推論を加速させるが、ドラフトの品質とコストの間には明確なトレードオフに直面している。 初期出力メソッドは中間層での計算を終了させることで、ドラフトを安価に生成するが、後の層が提供するより深い表現を放棄し、それによってドラフトの品質を損なう。 マルチトークン予測は、モデルの最終的な隠れ状態から出力することで、ドラフト品質を維持するが、ドラフトの各ステップで、それらの状態を生成するためにフルフォワードパスを支払う。 我々は,検証中にすでに計算された深部文脈表現を再利用して,高品質なドラフトを安価に取得する自己投機的エンコーダデコーダ(SEED)を提案する。 最初のレイヤ(エンコーダ)は深いコンテキスト表現を構築し、最後のレイヤ(デコーダ)はそれらからトークンを出力します。 符号化と検証は単一のステップにマージされる: 検証は全エンコーダデコーダで行われ、検証済みプレフィックスのコンテキスト表現は、起草時に再利用するためにキャッシュされる。 検証の間、軽量デコーダは複数のトークンを自動回帰的にドラフトし、それぞれがキャッシュされた表現と前のドラフトに条件付けされる。 複数のベンチマークによる実験によると、SEEDは4Bスケールのモデルの平均速度を2.7$\times$で達成し、早期出力とMPPスタイルの自己投機ベースラインの両方を上回り、最先端のERGLE-3よりも28%速く動作し、標準の自己回帰微調整の生成品質を保存または改善している。 コードはhttps://github.com/lhk2004/SEEDで公開されている。

関連論文リスト

• Hybrid Verified Decoding: Learning to Allocate Verification in Speculative Decoding [8.297861366384156]
  Hybrid Verified Decodingは、検証前にキャッシュドラフトが受け入れられた長さを予測する。 分析の結果,キャッシュの素早い生成方法,高利得キャッシュのドラフトがドラフトスペースのごく一部に集中する方法,およびペイオフ誘導選択がドラフト選択の逐次的削除を減らしたことを示す。
  論文  参考訳（メタデータ） (2026-05-31T05:22:40Z)
• PACER: Blockwise Pre-verification for Speculative Decoding with Adaptive Length [21.738896310075678]
  投機的復号法(SD)は,大規模言語モデル(LLM)の推論過程を高速化する強力な手法である 軽量でトレーニング可能な事前検証レイヤを用いて,ドラフト長を動的に制御する新しいアプローチであるPacerを提案する。 以上の結果から,Pacerは自己回帰復号化よりも最大2.66倍の高速化を実現し,一貫した投機復号化を実現していることがわかった。
  論文  参考訳（メタデータ） (2026-02-01T15:12:38Z)
• Fast Inference via Hierarchical Speculative Decoding [65.40448210801763]
  階層的投機的復号法(HSD)は,各モデルがトークンを提案し,次に大きなモデルが1つのフォワードパスで検証する階層構造に,ドラフトモデルを積み重ねるアルゴリズムである。 HSDは最高の単軸ベースラインよりも1.2倍のスピードアップを達成している。
  論文  参考訳（メタデータ） (2025-10-22T15:56:19Z)
• DiffuSpec: Unlocking Diffusion Language Models for Speculative Decoding [66.40658898418316]
  DiffuSpecは、事前訓練された拡散言語モデル(DLM)を用いて、単一のフォワードパスでマルチトークンのドラフトを生成する、トレーニングフリーのドロップインフレームワークである。 ベンチマーク全体を通じて、DiffuSpecは最大3倍のウォールクロックスピードアップを達成し、投機的復号化のための自己回帰型ドラフトラの堅牢な代替手段として拡散ベースのドラフトを確立する。
  論文  参考訳（メタデータ） (2025-09-28T07:00:15Z)
• Pipeline Parallelism is All You Need for Optimized Early-Exit Based Self-Speculative Decoding [73.67253077506672]
  大規模言語モデル(LLM)は、優れた生成品質を提供するが、非常に高い推論コストをもたらす。 早期排他的自己投機的復号法(EESD)がこのコストを軽減するために登場した。 ドラフトと検証作業を完全にパイプライン化するパイプライン・パラレル自己スペクティブ・デコーディング(PPSD)を提案する。
  論文  参考訳（メタデータ） (2025-09-19T04:51:41Z)
• DEL: Context-Aware Dynamic Exit Layer for Efficient Self-Speculative Decoding [7.204881999658682]
  DELは、推論中に出口層と投機長を適応的に選択するプラグイン・アンド・プレイ方式である。 Delは、全体的なスピードアップを$2.16times$$sim$2.62times$ over vanilla auto-regressive decoding で達成している。
  論文  参考訳（メタデータ） (2025-04-08T01:12:59Z)
• Superposed Decoding: Multiple Generations from a Single Autoregressive Inference Pass [72.07642648108849]
  Superposed Decodingは、1つの自己回帰推論パスのコストで$k$のドラフトを生成する新しい復号アルゴリズムである。 Superposed Decodingは、他のデコード戦略と組み合わせることで、推論時間計算のスケーリング時に普遍的なカバレッジが向上する。
  論文  参考訳（メタデータ） (2024-05-28T17:40:48Z)
• Ouroboros: Generating Longer Drafts Phrase by Phrase for Faster Speculative Decoding [65.94521678103237]
  投機的復号化(英: Speculative decoding)は、大規模言語モデルの生成プロセスを加速する広く使われている手法である。 我々は,草案作成プロセスの並列化のために,草案文を生成するOuroborosを紹介した。 ウロボロは投機的復号化で最大2.8倍、バニラ復号化で3.9倍のスピードアップを達成できる。
  論文  参考訳（メタデータ） (2024-02-21T11:31:28Z)
• Draft & Verify: Lossless Large Language Model Acceleration via Self-Speculative Decoding [25.03122689338891]
  本稿では,大規模言語モデルの高速化を目的とした新しい推論手法である自己推論復号法を提案する。 提案手法では、追加のニューラルネットワークトレーニングや、追加のメモリフットプリントを必要としない。 LLaMA-2とその変種によるベンチマークでは、最大1.99$times$まで高速化された。
  論文  参考訳（メタデータ） (2023-09-15T05:34:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。