論文の概要: DualPace: Decoupled Scheduling and Cooperative GPU--CPU Decoding for LLM Serving

• arxiv url: http://arxiv.org/abs/2610.33501v1
• Date: Sat, 24 Oct 2026 07:10:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.346509
• Title: DualPace: Decoupled Scheduling and Cooperative GPU--CPU Decoding for LLM Serving
• Title（参考訳）: DualPace: スケジューリングの分離とGPU--LLM実行のためのCPUデコード
• Abstract要約: 大規模言語モデル(LLM)は推論に依存するが、キー値キャッシュはシーケンス長と制限とともに増大する。 CPU依存の要求は、スケジューラが適切な機会を公開する場合にのみ進行する。 我々は、ホストを独立してスケジュールされたデコードエンジンに変えるLLMサービスであるDualPaceを紹介する。
• 参考スコア（独自算出の注目度）: 1.8618812685775554
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language model (LLM) serving relies on batching to improve inference throughput, but the key-value (KV) cache grows with sequence length and limits GPU-resident concurrency. CPU offloading can expand KV capacity using host memory, yet existing systems remain largely GPU-gated: CPU-resident requests make progress only when the GPU scheduler exposes suitable overlap opportunities. As a result, host memory and CPU compute cannot act as an independent serving resource, leading to bursty CPU-side progress and inflated tail inter-token latency (ITL) under load. We present DualPace, an LLM serving runtime that turns the host into an independently scheduled decode engine. DualPace separates scheduling authority across two engines: the GPU engine executes prefills and GPU-resident decodes, while an AMX-enabled CPU engine independently batches and advances CPU-resident decodes. The engines are decoupled in scheduling but cooperative in execution: the CPU can execute a complete decode iteration locally or selectively invoke GPU Dense Assist for dense stages, while offline profiles guide hardware-specific batching and routing. Our evaluations show that, in decode-oriented scenarios, DualPace improves serving throughput by 6.9--43.2\% over NEO, a state-of-the-art open-source CPU-offloading system, and by 11.5--90.6\% over vLLM, a widely used GPU serving system, while maintaining the same level of latency. DualPace also preserves NEO's P99 time-to-first-token (TTFT) advantage over vLLM while sustaining 7.3--50.5\% higher request rates than NEO at the same level of P99 ITL.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、推論スループットを改善するためにバッチ処理に依存するが、キー値(KV)キャッシュはシーケンス長とともに増加し、GPU-レジデント同時実行が制限される。 CPUオフロードはホストメモリを使用してKV容量を拡大するが、既存のシステムは大部分がGPUで処理されている: CPU常駐要求はGPUスケジューラが適切な重複する機会を公開する場合にのみ進行する。 結果として、ホストメモリとCPUコンピュートは独立したサービスリソースとして振る舞うことができず、バースト的なCPUサイドの進展と、負荷下でのテールインタートークンレイテンシ(ITL)が膨らみます。 我々は、ホストを独立してスケジュールされたデコードエンジンに変えるLLMサービスランタイムであるDualPaceを紹介する。 GPUエンジンはプリフィルとGPU常駐のデコードを実行するが、AMX対応のCPUエンジンは独立してバッチ処理を行い、CPU常駐のデコードを進める。 CPUはローカルで完全なデコードを繰り返したり、GPU Dense Assistを選択的に呼び出すことができ、オフラインプロファイルはハードウェア固有のバッチとルーティングをガイドする。 我々の評価では、デコード指向のシナリオでは、DualPaceは、最先端のオープンソースCPUオフロードシステムであるNEOで6.9-43.2\%、広く使用されているGPUサービスシステムであるvLLMで11.5-90.6\%、同じレイテンシを維持しながら、サービススループットを6.9-43.2\%改善している。 DualPaceはまた、NEOのP99-to-first-token(TTFT)によるvLLMに対する優位性を保ちつつ、P99 ITLと同じレベルのNEOよりも7.3--50.5\%高い要求レートを維持している。

関連論文リスト

• Spava: Accelerating Long-Video Understanding via Sequence-Parallelism-aware Approximate Attention [63.69228529380251]
  Spavaはシーケンス並列フレームワークで、ロングビデオ推論に最適化されている。 Spavaは、FlashAttn、ZigZagRing、APBで12.72x、1.70x、1.18xのスピードアップを提供する。
  論文  参考訳（メタデータ） (2026-01-29T09:23:13Z)
• Revati: Transparent GPU-Free Time-Warp Emulation for LLM Serving [1.4573878379102423]
  Revatiはリアルタイムシステムコードをシミュレーションライクな速度で直接実行することで、パフォーマンスモデリングを可能にするタイムワープエミュレータである。 Revatiは、実際のGPU実行よりも5～17倍高速で実行しながら、複数のモデルと構成で5%未満の予測エラーを達成する。
  論文  参考訳（メタデータ） (2026-01-01T17:19:58Z)
• KVPR: Efficient LLM Inference with I/O-Aware KV Cache Partial Recomputation [7.204881999658682]
  キーバリューキャッシュは、大きな言語モデルの中間アクティベーションを格納するために使用される。 KVキャッシュに必要なメモリは急速に増加し、しばしばGPUメモリの容量を超える。 既存の方法は、GPU計算をI/Oで重複させたり、CPU-GPUの不均一な実行を採用することで、これらの問題に対処しようとする。 本稿では,CPUが最初にアクティベーションの部分集合を転送する,効率的なI/O対応LPM推論手法であるKVPRを紹介する。 KVPRは、最先端のアプローチと比較して最大で35.8%のレイテンシと46.2%のスループットを実現している。
  論文  参考訳（メタデータ） (2024-11-26T04:03:14Z)
• POD-Attention: Unlocking Full Prefill-Decode Overlap for Faster LLM Inference [9.164093249308419]
  我々は、ハイブリッドバッチの注意を効率的に計算する最初のGPUカーネルであるPOD-Attentionを紹介する。 POD-Attentionは、GPUのリソースを慎重に割り当てることで、計算帯域とメモリ帯域の両方の利用を最大化することを目的としている。
  論文  参考訳（メタデータ） (2024-10-23T17:06:56Z)
• vTensor: Flexible Virtual Tensor Management for Efficient LLM Serving [53.972175896814505]
  大規模言語モデル(LLM)は様々なドメインで広く使われ、数百万の日次要求を処理する。 大規模言語モデル(LLM)は様々なドメインで広く使われ、数百万の日次要求を処理する。
  論文  参考訳（メタデータ） (2024-07-22T14:37:58Z)
• Hardware-Aware Parallel Prompt Decoding for Memory-Efficient Acceleration of LLM Inference [23.633481089469836]
  LLM(Large Language Models)の自動回帰デコーディングは、ハードウェアの性能に大きなオーバーヘッドをもたらす。 トレーニング可能なパラメータを0.0002$%しか必要とせず,A100-40GBのGPUをたった16時間で効率的にトレーニングできる並列プロンプトデコーディングを提案する。 我々のアプローチでは、最大2.49$times$ スピードアップを示し、最小のメモリオーバーヘッドは0.0004$%である。
  論文  参考訳（メタデータ） (2024-05-28T22:19:30Z)
• Harnessing Deep Learning and HPC Kernels via High-Level Loop and Tensor Abstractions on CPU Architectures [67.47328776279204]
  この研究は、効率的でポータブルなDeep LearningとHigh Performance Computingカーネルを開発するためのフレームワークを導入している。 1)プロセッシングプリミティブ(TPP)を用いた計算コアの表現と,2)高レベルな宣言的手法でTPPのまわりの論理ループの表現の2つのステップでカーネルの開発を分解する。 我々は、スタンドアロンカーネルと、さまざまなCPUプラットフォームにおける最先端実装よりも優れたエンドツーエンドワークロードを使用して、このアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2023-04-25T05:04:44Z)
• PLSSVM: A (multi-)GPGPU-accelerated Least Squares Support Vector Machine [68.8204255655161]
  Support Vector Machines (SVM) は機械学習で広く使われている。 しかし、現代的で最適化された実装でさえ、最先端ハードウェア上の大きな非自明な高密度データセットにはうまくスケールしない。 PLSSVMはLVMのドロップイン代替として使用できる。
  論文  参考訳（メタデータ） (2022-02-25T13:24:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。