論文の概要: ASPIRE: Asynchronous Batched Self-Speculative Decoding for Long-Context LLM Inference

• arxiv url: http://arxiv.org/abs/2609.17943v1
• Date: Wed, 16 Sep 2026 00:04:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:53.57744
• Title: ASPIRE: Asynchronous Batched Self-Speculative Decoding for Long-Context LLM Inference
• Title（参考訳）: ASPIRE: 長期LLM推論のための非同期バッチ型自己投機的デコーディング
• Abstract要約: 本稿では,3つのコンポーネント上に構築された非同期バッチ型自己投機的復号化フレームワークを提案する。 ASPIREは自動回帰ベースラインよりも1.70$-4.58times$スピードアップを達成している。 最強の自己投機ベースラインよりも平均的なスピードアップを約27%向上させる。
• 参考スコア（独自算出の注目度）: 27.500701363213253
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Long-context LLM inference is bottlenecked by attention, whose repeated KV-cache reads make decoding memory-bound. Self-speculative decoding alleviates this by drafting tokens with sparse attention and verifying them with full attention, but existing batched methods remain synchronized: all requests in a batch share a single draft-verify schedule, even though the optimal draft length varies widely across requests and changes dynamically within each request. We propose ASPIRE, a non-synchronized batched self-speculative decoding framework built on three components. First, a unified mixed forward allows drafting and verifying requests to coexist in the same batched forward pass, removing the need for global draft-verify phases. Second, a lightweight online speculation scheduler uses per-request acceptance-rate estimates and a batch-aware cost model to let each request independently choose when to verify. Third, an intra-draft refresh layer performs full attention at a single designated layer during drafting, updating the sparse context at every draft step to reduce staleness during drafting. Across three models and five reasoning and long-context benchmarks, ASPIRE achieves $1.70$-$4.58\times$ speedup in decoding throughput over autoregressive baselines and improves average speedup by approximately $27\%$ over the strongest prior self-speculative baselines.
• Abstract（参考訳）: 長いコンテキストのLLM推論は注意によってボトルネックとなり、KV-cacheの繰り返し読み込みによってメモリバウンドがデコードされる。 バッチ内のすべてのリクエストは、1つのドラフト検証スケジュールを共有するが、最適なドラフトの長さはリクエスト間で広く異なり、各リクエスト内で動的に変更される。 本稿では,3つのコンポーネント上に構築された非同期バッチ型自己投機的復号化フレームワークASPIREを提案する。 まず、統合された混合フォワードにより、同じバッチ化されたフォワードパスで共存するリクエストのドラフトと検証が可能になり、グローバルなドラフト検証フェーズが不要になる。 第二に、軽量オンライン投機スケジューラは、リクエスト毎の受理率の推定とバッチ対応コストモデルを使用して、各要求がいつ検証するかを個別に選択する。 第3に、ドラフト中リフレッシュ層は、ドラフト中に1つの指定された層に全注意を払って、ドラフトステップ毎にスパースコンテキストを更新し、ドラフト中の不安定さを低減する。 ASPIREは3つのモデルと5つの推論と長文のベンチマークで、1.70$-$4.58\times$のデコードスループットを自己回帰ベースラインよりも高速化し、最強の自己投機ベースラインよりも平均速度を約27$%向上する。

関連論文リスト

• Verification-Aware Training for Speculative Decoding [57.84976863792784]
  VAT(Verification-Aware Training)は、トレーニングステップ毎に検証をシミュレートし、その結果の受け入れパターンと拒否パターンを監督するプラグインフレームワークである。 VATはトレーニング対象のみを変更するため、ドラフトアーキテクチャやターゲットモデル、推論手順を変更することなく、既存のメソッドの上にレイヤー化することができる。 VATは平均受理期間を最大11.4%改善し、ウォールクロックのスピードアップを最大8.7%向上させ、数学、コード、チャットベンチマークで一貫した利益を得ている。
  論文  参考訳（メタデータ） (2026-08-31T01:42:10Z)
• Ripple-Pivot Search: Active Parallel Decoding for Diffusion Large Language Models [66.32132912853372]
  Diffusion Large Language Models (dLLMs) は自己回帰型言語モデルの競合代替として登場した。 本研究では,中間エントロピー位置を有望な候補ピボットとして求める訓練自由復号法であるRipple-Pivot Search (RPS)を提案する。 RPSは、生成品質を維持しながら標準デコーダの4-10$times$wall-clockスピードアップを実現し、以前のルックアヘッドベースラインの精度を最大5.49%向上させる。
  論文  参考訳（メタデータ） (2026-08-12T07:32:29Z)
• D-cut: Adaptive Verification Depth Pruning for Batched Speculative Decoding [14.590812900433328]
  投機的復号化は、出力品質を損なうことなく、大言語モデル(LLM)推論を加速させる。 D-Cutは、バッチ間で共同でドラフトトークンを選択し、最も受け入れられそうなトークンに検証予算を集中する適応型プルーニング手法である。
  論文  参考訳（メタデータ） (2026-07-16T07:18:05Z)
• Hybrid Verified Decoding: Learning to Allocate Verification in Speculative Decoding [8.297861366384156]
  Hybrid Verified Decodingは、検証前にキャッシュドラフトが受け入れられた長さを予測する。 分析の結果,キャッシュの素早い生成方法,高利得キャッシュのドラフトがドラフトスペースのごく一部に集中する方法,およびペイオフ誘導選択がドラフト選択の逐次的削除を減らしたことを示す。
  論文  参考訳（メタデータ） (2026-05-31T05:22:40Z)
• FlexDraft: Flexible Speculative Decoding via Attention Tuning and Bonus-Guided Calibration [21.05266483397106]
  FlexDraftは投機的デコードフレームワークで、3つの重要な設計を通じて様々なバッチサイズに対応します。 Attention Tuningは、マスクトークン上の最後の数層の注意プロジェクタのみをチューニングすることで、ブロック拡散のドラフトを可能にする。 Bonus-guidedは、解決されたボーナストークンに軽量な条件を付け、ドラフトロジットを校正する。
  論文  参考訳（メタデータ） (2026-05-19T15:48:16Z)
• Learning to Draft: Adaptive Speculative Decoding with Reinforcement Learning [67.88087883391475]
  本稿では,各ドラフト・アンド・検証サイクルのスループットを直接最適化する新しい手法であるLearning to Draftを紹介する。 LTDは2.24倍から4.32倍までのスピードアップ比を達成し、最先端のイーグル3よりも36.4%向上した。
  論文  参考訳（メタデータ） (2026-03-02T09:17:48Z)
• Intra-request branch orchestration for efficient LLM reasoning [52.68946975865865]
  大規模言語モデル(LLM)は、複雑なタスクの正確性を改善するために、推論時推論アルゴリズムにますます依存している。 それまでの作業は、トークンの使用を減らすことを中心に、多くの場合、正確さを犠牲にしつつ、他のレイテンシ要因を見越すことに重点を置いていた。 本稿では,LLMサービスシステムであるDUCHESSについて,予測によって導かれるリクエスト内ブランチオーケストレーションにより,精度を犠牲にすることなく,コストとレイテンシを低減できるシステムを提案する。
  論文  参考訳（メタデータ） (2025-09-29T15:52:08Z)
• DiffuSpec: Unlocking Diffusion Language Models for Speculative Decoding [66.40658898418316]
  DiffuSpecは、事前訓練された拡散言語モデル(DLM)を用いて、単一のフォワードパスでマルチトークンのドラフトを生成する、トレーニングフリーのドロップインフレームワークである。 ベンチマーク全体を通じて、DiffuSpecは最大3倍のウォールクロックスピードアップを達成し、投機的復号化のための自己回帰型ドラフトラの堅牢な代替手段として拡散ベースのドラフトを確立する。
  論文  参考訳（メタデータ） (2025-09-28T07:00:15Z)
• Pipeline Parallelism is All You Need for Optimized Early-Exit Based Self-Speculative Decoding [73.67253077506672]
  大規模言語モデル(LLM)は、優れた生成品質を提供するが、非常に高い推論コストをもたらす。 早期排他的自己投機的復号法(EESD)がこのコストを軽減するために登場した。 ドラフトと検証作業を完全にパイプライン化するパイプライン・パラレル自己スペクティブ・デコーディング(PPSD)を提案する。
  論文  参考訳（メタデータ） (2025-09-19T04:51:41Z)
• PEARL: Parallel Speculative Decoding with Adaptive Draft Length [12.166703341906242]
  本稿では,適応dRaft Length(PEARL)を用いた投機的復号化(Parallel speculative decoding)を促進するための,概念的にシンプルでフレキシブルで汎用的なフレームワークを提案する。 PEARLは、ドラフトフェーズ中に事前に最初のドラフトトークンを検証し、検証フェーズ中により多くのドラフトトークンを生成するための後検証を提案する。 各種テキスト生成ベンチマークの実験では、PEARLの有効性が実証されており、自動回帰復号法とバニラ投機復号法と比較して、パフォーマンスが4.43$times$と1.50$times$に向上した。
  論文  参考訳（メタデータ） (2024-08-13T08:32:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。