論文の概要: Spexis: Speculative Lookahead Scheduling for LLM Inference
- arxiv url: http://arxiv.org/abs/2609.34370v1
- Date: Mon, 28 Sep 2026 05:46:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-03 21:28:05.760262
- Title: Spexis: Speculative Lookahead Scheduling for LLM Inference
- Title（参考訳）: Spexis: LLM推論のための投機的ルックアヘッドスケジューリング
- Abstract要約: Spexisは通常の実行と並行して推測を実行する。
無駄な憶測、KV-cacheの排除、再計算の削減。
投機品質と将来のメモリプレッシャーを予測するために、ルックアヘッドスケジューリングを使用する。
- 参考スコア（独自算出の注目度）: 6.6027346944792304
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Spexis is a multi-GPU LLM inference framework that improves the efficiency of pipeline and tensor parallelism through speculative parallelism. Rather than using speculative decoding only to accelerate token generation, Spexis runs speculation in parallel with normal execution, introducing a new parallelism axis without increasing KV-cache memory usage. This improves memory efficiency and helps mitigate the bottlenecks of multi-GPU inference. Spexis further uses lookahead scheduling to predict speculation quality and future memory pressure, allowing it to reduce wasted speculation, KV-cache eviction, and recomputation. Built on top of vLLM, Spexis largely improves serving performance across a range of GPU configurations, achieving speedups of up to 34% over a baseline that uses the optimal combination of pipeline and tensor parallelism. Spexis's source code is publicly available at https://github.com/mlsys-seo/spexis.
- Abstract（参考訳）: SpexisはマルチGPU LLM推論フレームワークで、投機的並列性を通じてパイプラインとテンソル並列性の効率を改善する。
トークン生成を高速化するためだけに投機的デコードを使用するのではなく、Spexisは通常の実行と並行して投機を実行し、KVキャッシュメモリの使用量を増やすことなく新たな並列化軸を導入する。
これによりメモリ効率が向上し、マルチGPU推論のボトルネックを軽減することができる。
Spexisはさらに、投機品質と将来のメモリプレッシャーを予測するためにルックアヘッドスケジューリングを使用して、無駄な投機、KVキャッシュの消去、再計算を削減している。
vLLM上に構築されたSpexisは、さまざまなGPU構成でのサービスパフォーマンスを大幅に改善し、パイプラインとテンソル並列性を最適に組み合わせたベースライン上で最大34%のスピードアップを実現している。
Spexisのソースコードはhttps://github.com/mlsys-seo/spexis.comで公開されている。
関連論文リスト
- Accelerating GPU Inference of Large Language Models with Moderately Unstructured Sparse Weight Matrices [18.428868416628017]
本稿では,中程度間隔の大規模言語モデル(LLM)に対する効率的な推論手法を提案する。
SpInferで最大1.64倍のスピードアップを実現し、FlashLLMで最大1.41倍のエンドツーエンドスピードアップを実現している。
論文 参考訳（メタデータ） (2026-06-13T13:38:27Z) - LongLive-2.0: An NVFP4 Parallel Infrastructure for Long Video Generation [84.86814271505109]
LongLive-2.0は、長いビデオ生成の完全なトレーニングと推論ワークフロー全体を通じて、NVFP4ベースの並列インフラストラクチャである。
トレーニングには,quence-parallel autoregressive (AR) トレーニングを導入する。
実験ではトレーニングで2.15倍、推論で1.84倍のスピードアップを示す。
論文 参考訳（メタデータ） (2026-05-18T17:57:03Z) - Spava: Accelerating Long-Video Understanding via Sequence-Parallelism-aware Approximate Attention [63.69228529380251]
Spavaはシーケンス並列フレームワークで、ロングビデオ推論に最適化されている。
Spavaは、FlashAttn、ZigZagRing、APBで12.72x、1.70x、1.18xのスピードアップを提供する。
論文 参考訳（メタデータ） (2026-01-29T09:23:13Z) - Minute-Long Videos with Dual Parallelisms [57.22737565366549]
Diffusion Transformer (DiT)ベースのビデオ拡散モデルは、大規模に高品質なビデオを生成するが、長いビデオの処理遅延とメモリコストは禁じられている。
我々はDualParalと呼ばれる新しい分散推論戦略を提案する。
1つのGPUでビデオ全体を生成する代わりに、時間フレームとモデルレイヤの両方をGPU間で並列化します。
論文 参考訳（メタデータ） (2025-05-27T11:55:22Z) - SpecOffload: Unlocking Latent GPU Capacity for LLM Inference on Resource-Constrained Devices [16.407669822378487]
SpecOffloadは投機的デコーディングをオフロードに埋め込む。
最高のベースラインと比較して、SpecOffloadはGPUコアの利用率を4.49倍改善し、推論スループットを2.54倍向上させた。
論文 参考訳（メタデータ） (2025-05-15T13:10:31Z) - Hardware-Aware Parallel Prompt Decoding for Memory-Efficient Acceleration of LLM Inference [23.633481089469836]
LLM(Large Language Models)の自動回帰デコーディングは、ハードウェアの性能に大きなオーバーヘッドをもたらす。
トレーニング可能なパラメータを0.0002$%しか必要とせず,A100-40GBのGPUをたった16時間で効率的にトレーニングできる並列プロンプトデコーディングを提案する。
我々のアプローチでは、最大2.49$times$ スピードアップを示し、最小のメモリオーバーヘッドは0.0004$%である。
論文 参考訳（メタデータ） (2024-05-28T22:19:30Z) - Pipette: Automatic Fine-grained Large Language Model Training Configurator for Real-World Clusters [5.190794062263327]
大規模言語モデル(LLM)の訓練は、膨大な計算能力とメモリ容量の要求のために困難であることが知られている。
本稿では,実世界のクラスタを対象としたLLM自動微粒化トレーニングであるPipetteを提案する。
論文 参考訳（メタデータ） (2024-05-28T11:59:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。