論文の概要: APEX: Speculate smarter, not deeper
- arxiv url: http://arxiv.org/abs/2610.07780v1
- Date: Tue, 06 Oct 2026 05:17:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 02:58:29.823565
- Title: APEX: Speculate smarter, not deeper
- Title（参考訳）: APEX: より賢く、より深く推論する
- Abstract要約: 我々は,要求レベルのエキスパート選択とブロックレベルの深さ適応を通じて,デコード速度とドラフトトーケン廃棄物のバランスをとる学習コントローラであるAPEXを紹介する。
我々はAPEXをvLLMに統合し、6つのワークロードにわたるQwen3-8Bで評価し、自動回帰デコーディングよりも最大5.24倍のスピードアップを実現した。
- 参考スコア（独自算出の注目度）: 5.166249057551547
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Speculative decoding reduces large language model inference latency by drafting multiple tokens before target-model verification, but its effectiveness depends on both the proposal mechanism and draft depth. Fixed configurations cannot respond to changes in predictability, repetition, and acceptance during generation, so deeper drafting can increase wasted computation without proportional speedup. We introduce APEX, a learned controller that balances decoding speed and draft-token waste through request-level expert selection and block-level depth adaptation. APEX-Router selects among EAGLE-3, n-gram, and draft-model speculation for each request, while APEX-Depth adjusts draft length at each verification block using causal decoding signals and recent verifier feedback. APEX models accepted draft length as censored survival feedback, learning position-wise rejection hazards, block execution costs, and an action utility that balances throughput, accepted progress, and wasted tokens. This allows the controller to adapt speculation while retaining the target model's verification procedure. We integrate APEX into vLLM and evaluate it with Qwen3-8B across six workloads, achieving up to 5.24X speedup over autoregressive decoding. Across the aggregate evaluation, APEX-S achieves 4.27X speedup, while APEX-B achieves 3.27X speedup with a 41.0% relative reduction in wasted-token percentage compared with fixed n-gram speculation at k=16, providing distinct operating points for balancing acceleration and draft-token utilization.
- Abstract（参考訳）: 投機的復号化は、ターゲットモデル検証の前に複数のトークンを起草することで、大きな言語モデルの推論遅延を低減するが、その効果は提案機構とドラフト深さの両方に依存する。
固定された構成は、生成中の予測可能性、繰り返し、受け入れの変化に対応できないため、より深いドラフト作成は、比例的なスピードアップを伴わずに、無駄な計算量を増やすことができる。
我々は,要求レベルのエキスパート選択とブロックレベルの深さ適応を通じて,デコード速度とドラフトトーケン廃棄物のバランスをとる学習コントローラであるAPEXを紹介する。
APEX-Routerは各要求に対してERGLE-3、n-gram、ドラフトモデル推測の中から選択し、APEX-Depthは因果復号信号と最近の検証者フィードバックを用いて各検証ブロックのドラフト長を調整する。
APEXモデルはドラフト長を、検閲された生存フィードバック、位置的拒否のハザード、ブロック実行コスト、スループットのバランスをとるアクションユーティリティとして受け入れた。
これにより、コントローラは、ターゲットモデルの検証手順を維持しながら、推測に適応することができる。
我々はAPEXをvLLMに統合し、6つのワークロードにわたるQwen3-8Bで評価し、自動回帰デコーディングよりも最大5.24倍のスピードアップを実現した。
総合評価では、APEX-Sは4.27倍のスピードアップを達成し、APEX-Bはk=16の固定n-gramの投機に比べて41.0%の減少率で3.27倍のスピードアップを達成する。
関連論文リスト
- DSpark: Confidence-Scheduled Speculative Decoding with Semi-Autoregressive Generation [69.8840101036735]
投機的復号化はLarge Language Model (LLM)推論を加速させる。
最近の並列起草者は、1つの前方通過で長いトークン列を効率的に提案するが、トークン間の依存関係が欠如しているため、急速に受け入れが低下する。
我々はDSparkという投機的復号化フレームワークを導入し、高いスループットの並列生成を適応的かつロードアウェアな検証と統合する。
論文 参考訳（メタデータ） (2026-07-06T14:28:06Z) - Margins, Not Windows: Training-Free Per-Step Lossy Speculative Decoding [14.191111229515654]
本稿では,AdaptiveSpecを紹介した。
復号時に生成した内部信号から、両方の決定を適応させる。
最先端の自己回帰的投機的復号法よりもスループットを向上させる。
論文 参考訳（メタデータ） (2026-07-03T20:43:49Z) - Draft-OPD: On-Policy Distillation for Speculative Draft Models [49.23782868133977]
投機的復号化は,提案したトークンを並列に検証した軽量なドラフトモデルとターゲットモデルを組み合わせることで,大規模言語モデル推論を加速させる。
本稿では,安定な継続のために目標支援ロールアウトを利用するDraft-OPDを提案する。
論文 参考訳（メタデータ） (2026-05-28T04:30:22Z) - FlexDraft: Flexible Speculative Decoding via Attention Tuning and Bonus-Guided Calibration [21.05266483397106]
FlexDraftは投機的デコードフレームワークで、3つの重要な設計を通じて様々なバッチサイズに対応します。
Attention Tuningは、マスクトークン上の最後の数層の注意プロジェクタのみをチューニングすることで、ブロック拡散のドラフトを可能にする。
Bonus-guidedは、解決されたボーナストークンに軽量な条件を付け、ドラフトロジットを校正する。
論文 参考訳（メタデータ） (2026-05-19T15:48:16Z) - D-PACE: Dynamic Position-Aware Cross-Entropy for Parallel Speculative Drafting [59.204113363599994]
投機的復号化は、小さなドラフト作成者がより大きなターゲットモデルが並列に検証するトークンを提案することによって推論を加速する。
最近の拡散ベースの並列ドラフトア(DFlashなど)は、1つの前方パスで完全なB-tokenブロックを予測し、より深いドラフトアとより長い許容ブロックを可能にする。
各位置の重みと、その対数確率の寄与とを一致させて、期待されるドラフト長の相違可能なサロゲートから、位置毎のトレーニングウェイトを導出する。
6つのベンチマークと2つのQwen3-4Bドラフト深度、2つの復号温度、2つの追加ターゲットモデル、D-PACEは一貫してウォールクロックのスピードアップと平均の両方を改善している。
論文 参考訳（メタデータ） (2026-05-12T06:27:57Z) - Making Every Verified Token Count: Adaptive Verification for MoE Speculative Decoding [15.040000425985324]
ツリーベースの投機的復号化は、複数のドラフト候補を並列に検証することで自己回帰生成を加速するが、この利点はスパース・ミックス・オブ・エクササイズ(MoE)モデルでは弱まる。
我々は,MoE投機的復号化のためのトレーニング不要,ハイパーパラメータフリー,ロスレス適応検証手法EVICTを提案する。
EVICTは、目標検証の前にドラフトツリーを切断し、コスト効率の良いプレフィックスのみを保持することで、検証済みのトークンを全てカウントする。
論文 参考訳（メタデータ） (2026-05-01T01:52:01Z) - TriSpec: Ternary Speculative Decoding via Lightweight Proxy Verification [63.65902785448346]
投機的復号化は、その軽量なドラフトと並列検証機構を通じて、大幅なスピードアップを提供する。
計算コストを大幅に削減する軽量なプロキシを新たに導入した3次SDフレームワークであるTriSpecを提案する。
Qwen3およびDeepSeek-R1-Distill-Qwen/LLaMAファミリーの実験は、TriSpecが標準SDよりも最大35%のスピードアップを達成したことを示している。
論文 参考訳（メタデータ） (2026-01-30T17:04:18Z) - Mirror Speculative Decoding: Breaking the Serial Barrier in LLM Inference [11.957170239588535]
投機的復号化は、ドラフトモデルを使用して推測を加速する。
事前の方法は、ドラフトコストを部分的に削減するが、受け入れを低下させるか、スケーリングを制限するオーバーヘッドを導入する。
本稿では,遅延受容トレードオフを破る推論アルゴリズムであるMirror Speculative Decoding(Mirror-SD)を提案する。
論文 参考訳（メタデータ） (2025-10-15T05:22:57Z) - DiffuSpec: Unlocking Diffusion Language Models for Speculative Decoding [66.40658898418316]
DiffuSpecは、事前訓練された拡散言語モデル(DLM)を用いて、単一のフォワードパスでマルチトークンのドラフトを生成する、トレーニングフリーのドロップインフレームワークである。
ベンチマーク全体を通じて、DiffuSpecは最大3倍のウォールクロックスピードアップを達成し、投機的復号化のための自己回帰型ドラフトラの堅牢な代替手段として拡散ベースのドラフトを確立する。
論文 参考訳（メタデータ） (2025-09-28T07:00:15Z) - Pipeline Parallelism is All You Need for Optimized Early-Exit Based Self-Speculative Decoding [73.67253077506672]
大規模言語モデル(LLM)は、優れた生成品質を提供するが、非常に高い推論コストをもたらす。
早期排他的自己投機的復号法(EESD)がこのコストを軽減するために登場した。
ドラフトと検証作業を完全にパイプライン化するパイプライン・パラレル自己スペクティブ・デコーディング(PPSD)を提案する。
論文 参考訳（メタデータ） (2025-09-19T04:51:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。