論文の概要: SpecPilot: Autonomous Algorithm Discovery and Systems Optimization for Speculative Decoding
- arxiv url: http://arxiv.org/abs/2611.02501v1
- Date: Mon, 02 Nov 2026 04:21:47 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-03 20:13:59.338811
- Title: SpecPilot: Autonomous Algorithm Discovery and Systems Optimization for Speculative Decoding
- Title（参考訳）: SpecPilot: 投機的復号化のための自動アルゴリズム発見とシステム最適化
- Abstract要約: デプロイ毎にアルゴリズムとシステム最適化を検出する,自律エージェントループであるSpecPilotを提案する。
対象モデルを4つ,ドラフト3つ,プラットフォーム2つ,ベンチマーク5つに分けて評価した。
- 参考スコア（独自算出の注目度）: 56.465476123939816
- License:
- Abstract: Speculative decoding accelerates memory-bound LLM decoding with a lightweight drafter, and parallel drafters extend this speedup by drafting a whole block in one forward pass. However, it remains unclear whether their released systems (stock) attain the full speedup that parallel drafting permits. We identify three challenges. First, with one request, each step accepts few tokens but reads every target weight. Second, with batching, per-request verification work roughly halves the speedup over autoregressive (AR) decoding. Third, speculative decoding is deployment-specific, and no universal optimization fits every serving regime, drafter, target model and GPU. To address these challenges, we present SpecPilot, an autonomous agentic loop that discovers algorithms and systems optimizations for each deployment. In each round, a cost model locates the largest gaps between the current system and its ceiling. Parallel agents explore directions and integrate the successful ones. Token forcing checks every output token against stock to detect reward hacking. A structured memory carries validated mechanisms to new rounds and deployments. SpecPilot discovered a general lossless 12-bit weight format, tree verification for hybrid recurrent targets, two-level verification and three batching mechanisms. We evaluate it across four target models, three drafters, two GPU platforms and five benchmarks. Without training or quality loss, it raises the speedup over AR from stock's 4.46$\times$ to 10.87$\times$ with one request, and from 1.94$\times$ to 3.93$\times$ with batching.
- Abstract（参考訳）: 投機的復号化は軽量な起草器でメモリバウンドなLCM復号化を加速し、並列な起草器は1つの前方パスでブロック全体を起草することでこの高速化を拡大する。
しかし、彼らのリリースしたシステム(ストック)が、パラレルドラフトが許容する完全なスピードアップを達成したかどうかは不明だ。
私たちは3つの課題を特定します。
まず、1つのリクエストで、各ステップはトークンをほとんど受け入れないが、すべてのターゲット重みを読み取る。
第二に、バッチ処理により、要求毎の検証作業は、オートレグレッシブ(AR)デコーディングのスピードアップをほぼ半分にします。
第3に、投機的復号化はデプロイメント固有のものであり、すべてのサービスレギュレーション、ドラフト、ターゲットモデル、GPUに統一的な最適化は適合しない。
これらの課題に対処するために、デプロイ毎にアルゴリズムとシステムの最適化を検出する、自律的なエージェントループであるSpecPilotを紹介します。
各ラウンドにおいて、コストモデルは、現在のシステムと天井の間の最大のギャップを特定する。
並列エージェントは方向を探索し、成功したエージェントを統合する。
トークン強制は、すべての出力トークンをストックに対してチェックし、報酬のハッキングを検出する。
構造化メモリは、検証済みのメカニズムを新しいラウンドやデプロイメントに持ってくる。
SpecPilotは、一般的な損失のない12ビットの重み形式、ハイブリッドリカレントターゲットのツリー検証、2レベル検証、3つのバッチ機構を発見した。
対象モデルを4つ,ドラフト3つ,GPUプラットフォーム2つ,ベンチマーク5つで評価しています。
トレーニングや品質の損失がなければ、株価の4.46$\times$から10.87$\times$へ、バッチ処理で1.94$\times$から3.93$\times$へ、ARよりもスピードアップする。
関連論文リスト
- HPCAgent-Bench: A Framework for Sound Benchmarking of Code-Optimizing Agents, Harnesses, and Skills [41.895790132512154]
コーディングエージェントは、コードの最適化にますます使われています。
既存のベンチマークでは,ひとつのアクセラレータやプログラミングモデル,あるいはハーネスが修正されているため,各コンポーネントのコントリビューションを分離することはできない。
ループレベルの最適化課題,HPCコードから抽出したカーネル,マシンラーニングモデルという,689のカーネルを3トラックにまとめたHPCAgent-Benchを提案する。
論文 参考訳（メタデータ） (2026-10-14T13:22:48Z) - ASPIRE: Asynchronous Batched Self-Speculative Decoding for Long-Context LLM Inference [27.500701363213253]
本稿では,3つのコンポーネント上に構築された非同期バッチ型自己投機的復号化フレームワークを提案する。
ASPIREは自動回帰ベースラインよりも1.70$-4.58times$スピードアップを達成している。
最強の自己投機ベースラインよりも平均的なスピードアップを約27%向上させる。
論文 参考訳（メタデータ） (2026-09-16T00:04:13Z) - Codebook Agent: Amortized Topology Design for LLM Multi-Agent Systems [67.04448659688579]
クエリ非依存の16エントリのコードブックを開発し、上位のデコード候補を1回のバッチフォワードパスでランク付けする。
反復検索がなく、テスト時にメッセージパッシングがないため、Codebook Agentは6つのベンチマークでもっとも正確な方法である。
論文 参考訳（メタデータ） (2026-09-02T08:10:22Z) - Ripple-Pivot Search: Active Parallel Decoding for Diffusion Large Language Models [66.32132912853372]
Diffusion Large Language Models (dLLMs) は自己回帰型言語モデルの競合代替として登場した。
本研究では,中間エントロピー位置を有望な候補ピボットとして求める訓練自由復号法であるRipple-Pivot Search (RPS)を提案する。
RPSは、生成品質を維持しながら標準デコーダの4-10$times$wall-clockスピードアップを実現し、以前のルックアヘッドベースラインの精度を最大5.49%向上させる。
論文 参考訳（メタデータ） (2026-08-12T07:32:29Z) - Lossless but Not Free: An Empirical Anatomy of Speculative Decoding on Consumer Hardware [0.0]
大規模言語モデルのシングルストリーム自動回帰復号化は、メモリ帯域幅によって制限される。
小さなドラフトモデルは、自動回帰的に$K$トークンを提案し、ターゲットモデルは、これらすべてを1回のバッチパスでスコアする。
本稿では、CUDA/MPS/CPUの実装と、5つのドラフト/ターゲットバックエンド構成に関する実証的研究を紹介する。
論文 参考訳（メタデータ） (2026-07-19T15:01:35Z) - Hybrid Verified Decoding: Learning to Allocate Verification in Speculative Decoding [8.297861366384156]
Hybrid Verified Decodingは、検証前にキャッシュドラフトが受け入れられた長さを予測する。
分析の結果,キャッシュの素早い生成方法,高利得キャッシュのドラフトがドラフトスペースのごく一部に集中する方法,およびペイオフ誘導選択がドラフト選択の逐次的削除を減らしたことを示す。
論文 参考訳（メタデータ） (2026-05-31T05:22:40Z) - Pipeline Parallelism is All You Need for Optimized Early-Exit Based Self-Speculative Decoding [73.67253077506672]
大規模言語モデル(LLM)は、優れた生成品質を提供するが、非常に高い推論コストをもたらす。
早期排他的自己投機的復号法(EESD)がこのコストを軽減するために登場した。
ドラフトと検証作業を完全にパイプライン化するパイプライン・パラレル自己スペクティブ・デコーディング(PPSD)を提案する。
論文 参考訳（メタデータ） (2025-09-19T04:51:41Z) - Hardware-Aware Parallel Prompt Decoding for Memory-Efficient Acceleration of LLM Inference [23.633481089469836]
LLM(Large Language Models)の自動回帰デコーディングは、ハードウェアの性能に大きなオーバーヘッドをもたらす。
トレーニング可能なパラメータを0.0002$%しか必要とせず,A100-40GBのGPUをたった16時間で効率的にトレーニングできる並列プロンプトデコーディングを提案する。
我々のアプローチでは、最大2.49$times$ スピードアップを示し、最小のメモリオーバーヘッドは0.0004$%である。
論文 参考訳（メタデータ） (2024-05-28T22:19:30Z) - Speculative Decoding: Exploiting Speculative Execution for Accelerating
Seq2seq Generation [80.2267931231335]
本稿では,自己回帰(AR)デコーディングを高速化する投機的実行のアイデアを活用するための投機的デコーディング(SpecDec)を提案する。
SpecDecには2つのイノベーションがある。Spec-Drafter - 効率的なドラフトのために特別に最適化された独立モデル、Spec-Verification - ドラフトされたトークンを効率的に検証するための信頼性の高い方法である。
論文 参考訳（メタデータ） (2022-03-30T17:27:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。