論文の概要: Physically Partitioned KVCache Format for CPU--GPU Load Balancing in MoE Inference
- arxiv url: http://arxiv.org/abs/2609.14507v1
- Date: Sun, 13 Sep 2026 13:33:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 07:15:05.831465
- Title: Physically Partitioned KVCache Format for CPU--GPU Load Balancing in MoE Inference
- Title（参考訳）: MoE推論におけるCPU-GPU負荷分散のための物理分割KVキャッシュフォーマット
- Abstract要約: Mixture-of-Experts(MoE)モデルを用いたシングルGPUのロングコンテキスト推論では、キー値キャッシュ(KVCache)をCPUメモリに流出させる必要がある。
既存のKVCache抽象化は、単一の物理的状態のモノリシックオブジェクト上のストレージセマンティクスのみを提供する。
InplaceKVCache は KVCache の最初の抽象化であり,書き込み時に各バイトの物理的常駐を形式的に固定する。
- 参考スコア（独自算出の注目度）: 10.117126683546028
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Single-GPU long-context inference with Mixture-of-Experts (MoE) models requires spilling the key-value cache (KVCache) to CPU memory. The spilled KV serves two complementary purposes---transferring to the GPU for attention computation, or computing in-place on the CPU---which demand opposing physical states. The optimal split between them varies with workload, yet existing KVCache abstractions offer only storage semantics over a monolithic object of a single physical state, and cannot express dynamic load balancing. We propose InplaceKVCache, the first KVCache abstraction whose format fixes each byte's physical residency at write time, so that the CPU--GPU load balance can be adjusted without moving data after placement. It realizes this as a four-region layout along two dimensions---device affinity and access pattern---turning load balancing into pure scheduling. Built on this abstraction, WriteScope splits CPU--GPU shares along the sequence dimension, and a portable roofline performance model determines the optimal CPU share as sequence length evolves, with online feedback tracking CPU cost drift. On three MoE models (DeepSeek-V2-Lite, Qwen3-30B-A3B, Mixtral-8$\times$7B) with a 32~GB VRAM budget, WriteScope supports end-to-end inference at the 1M-token aggregate scale. In the long-context regime ($\ge$8K), it achieves geometric-mean speedups of $1.5\times$--$2.5\times$ on A100 and $1.4\times$--$1.7\times$ on V100 over four reproduced baselines, while vLLM, SGLang, and KTransformers fail even with a doubled KV budget. A DeepSeek-V4-Flash case study validates composition with native sparse attention.
- Abstract（参考訳）: Mixture-of-Experts(MoE)モデルを用いたシングルGPUのロングコンテキスト推論では、キー値キャッシュ(KVCache)をCPUメモリに流出させる必要がある。
流出したKVは、2つの補完的な目的 - 注意計算のためにGPUに転送する、またはCPU上のインプレースを計算する - 物理状態に逆らうように要求する。両者の最適分割はワークロードによって異なるが、既存のKVCacheの抽象化は、単一の物理的状態のモノリシックオブジェクト上のストレージセマンティクスのみを提供し、動的ロードバランシングを表現できない。我々は、最初のKVCacheの抽象化であるInplaceKVCacheを提案する。この抽象化は、書き込み時に各バイトの物理的常在性を修正することで、CPUとGPUのロードバランシングを、配置後のデータを移動することなく調整できる。
これは、デバイス親和性とアクセスパターンという2つの次元に沿った4つの領域のレイアウトとして実現し、ロードバランシングを純粋なスケジューリングに変換する。
この抽象化に基づいてWriteScopeは、シークエンス次元に沿ってCPU-GPUのシェアを分割し、ポータブルなルーフラインパフォーマンスモデルは、シークエンスの長さが進化するにつれて最適なCPUシェアを決定する。
3つのMoEモデル(DeepSeek-V2-Lite、Qwen3-30B-A3B、Mixtral-8$\times$7B)では、WriteScopeは1Mの集約スケールでエンドツーエンドの推論をサポートする。
長文のレジーム($8K)では、A100では1.5\times$--$2.5\times$、V100では4つの再現ベースラインで1.7\times$、vLLM、SGLang、KTransformersは2倍のKV予算で失敗する。
DeepSeek-V4-Flashケーススタディは、ネイティブスパースアテンションでコンポジションを検証する。
関連論文リスト
- Towards a Dynamic and Fixed-budget Memory Bank for Efficient Streaming Video Understanding [56.17043150838547]
CausalMemは動的ビジュアルメモリ更新機構の構築に特化している。
視覚トークンの冗長性を推定し、オンラインセマンティックベースでメモリバンクを更新する。
textbf20$times$ visual token compression ratioを達成し、textbf82 MBストレージのみを占有する。
論文 参考訳（メタデータ） (2026-06-24T10:11:08Z) - FlashMemory-DeepSeek-V4: Lightning Index Ultra-Long Context via Lookahead Sparse Attention [77.12062766962815]
Lookahead Sparse Attention (LSA)は、DeepSeek-V4アーキテクチャ上に構築されたNeural Memory Indexerを利用している。
このアーキテクチャをバックボーンフリーの非結合なトレーニング戦略でインスタンス化する。
FM-DS-V4は、物理KVキャッシュのフットプリントを、フルコンテキストベースラインのわずか13.5%まで圧縮することを示した。
論文 参考訳（メタデータ） (2026-06-08T06:25:54Z) - A Controlled Study of Memory Hierarchy Transitions in Quantum Circuit Simulation on Apple M4 Pro Unified Memory Architecture [0.0]
状態ベクトル量子回路シミュレーションはメモリ帯域境界である。
Apple M4 Pro Unified Memory Architectureを使ってこの問題に対処する。
ピークストリーミング帯域幅は、連続しないメモリアクセスパターンのシミュレーションスピードアップを予測できないことを示す。
論文 参考訳（メタデータ） (2026-05-09T08:22:55Z) - Compiler-First State Space Duality and Portable $O(1)$ Autoregressive Caching for Inference [0.0]
Mamba-2のステートスペース双対性アルゴリズムは、XLAの融合とタイリングが実際に最適化したものにきれいにマッピングする。
我々は,XLA の標準プリミティブとして,完全な推論パス (プリフィル,キャッシュされた自己回帰復号化) を実装した。
この実装は、単一のJAXソースからCPU、NVIDIA GPU、Google Cloud TPUで無修正で実行される。
論文 参考訳（メタデータ） (2026-03-10T12:03:00Z) - PackCache: A Training-Free Acceleration Method for Unified Autoregressive Video Generation via Compact KV-Cache [61.57938553036056]
トレーニング不要なKVキャッシュ管理手法であるPackCacheを導入し,KVキャッシュを3つの協調機構でコンパクト化する。
効率の面では、PackCacheは48フレームの長いシーケンスで1.7-2.2倍のエンドツーエンド生成を高速化する。
論文 参考訳（メタデータ） (2026-01-07T19:51:06Z) - KVPR: Efficient LLM Inference with I/O-Aware KV Cache Partial Recomputation [7.204881999658682]
キーバリューキャッシュは、大きな言語モデルの中間アクティベーションを格納するために使用される。
KVキャッシュに必要なメモリは急速に増加し、しばしばGPUメモリの容量を超える。
既存の方法は、GPU計算をI/Oで重複させたり、CPU-GPUの不均一な実行を採用することで、これらの問題に対処しようとする。
本稿では,CPUが最初にアクティベーションの部分集合を転送する,効率的なI/O対応LPM推論手法であるKVPRを紹介する。
KVPRは、最先端のアプローチと比較して最大で35.8%のレイテンシと46.2%のスループットを実現している。
論文 参考訳（メタデータ） (2024-11-26T04:03:14Z) - vTensor: Flexible Virtual Tensor Management for Efficient LLM Serving [53.972175896814505]
大規模言語モデル(LLM)は様々なドメインで広く使われ、数百万の日次要求を処理する。
大規模言語モデル(LLM)は様々なドメインで広く使われ、数百万の日次要求を処理する。
論文 参考訳（メタデータ） (2024-07-22T14:37:58Z) - MiniCache: KV Cache Compression in Depth Dimension for Large Language Models [48.03117580340151]
キーバリュー(KV)キャッシュは、以前に生成されたトークンのキー値状態を格納する。
KVキャッシュのサイズはシーケンス長とともに線形に増加し、長いコンテキスト入力と広範囲なシーケンス生成を必要とするアプリケーションの課題を提起する。
レイヤ間のKVキャッシュを,新しい奥行きの観点から圧縮する,MiniCacheという,シンプルで効果的なアプローチを提案する。
論文 参考訳（メタデータ） (2024-05-23T09:43:52Z) - KIVI: A Tuning-Free Asymmetric 2bit Quantization for KV Cache [67.9776980972508]
我々はKIVIというチューニング不要な2ビットKVキャッシュ量子化アルゴリズムを開発した。
KIVI は Llama, Falcon, Mistral のモデルを $mathbf2.6times$ less peak memory を使用しながらほぼ同じ品質を維持することができる。
論文 参考訳（メタデータ） (2024-02-05T06:06:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。