論文の概要: When the KV Cache Is Slower Than the GPU: Scaling Remote KV Tiers for Context-Parallel Prefill

• arxiv url: http://arxiv.org/abs/2610.21500v1
• Date: Thu, 15 Oct 2026 08:37:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 19:13:16.280391
• Title: When the KV Cache Is Slower Than the GPU: Scaling Remote KV Tiers for Context-Parallel Prefill
• Title（参考訳）: KVキャッシュがGPUより遅いとき:コンテキスト並列プリフィルのためのリモートKVティアのスケーリング
• Abstract要約: リクエスト間での注意KVキャッシュの再利用は、ロングコンテキストサービスにおけるプリフィルコストを削減する標準的な方法である。 本研究では,8xB300ノード上でのGLM-5.3の分散配置において,事前のコンテクスト並列処理を行う場合のそのような階層について検討する。
• 参考スコア（独自算出の注目度）: 1.2894104422808244
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reusing the attention KV cache across requests is a standard way to cut prefill cost in long-context LLM serving, and production systems increasingly back the per-engine cache with a remote tier shared by every engine. We study such a tier in a disaggregated deployment of GLM-5.3, an FP8 mixture-of-experts model with multi-head latent attention (MLA), on 8xB300 nodes running prefill context parallelism (PCP8). Enabling the remote tier (LMCache with a Valkey store) left median time-to-first-token unchanged but raised the 16k-token p99 from 3.96 s to 17.3 s. Replaying a production request stream on an isolated engine, we find that a remote hit took 0.88 s against 0.31 s to recompute the prompt, and that synchronous loading turned a hit-heavy stream into an unstable queue: p99 83.32 s with the GPUs 7% busy. A two-term cost model explains both: a hit pays off only if the tier delivers more than B* = sR (2.53 GB/s for this model and GPU), and a fixed per-hit engine cost (T0 ~ 0.33 s) means that hits on prompts shorter than about 17k tokens cannot beat recompute at any bandwidth. Guided by the model, we (i) shard the MLA KV store across PCP ranks, with a proof that the existing minimum-over-ranks lookup returns the longest cached prefix and a load protocol that can never desynchronize collectives; (ii) partition the remote tier by rank, one server instance per rank with no coordination, which raises GET bandwidth 6.3x to 10.76 GB/s; (iii) add asynchronous loading to the sharded store; and (iv) fix three client bugs that caused unbounded stalls. On the hit-heavy stream, with 98.5% of prompt tokens served from the remote tier, p99 falls from 83.32 s to 0.67 s. The sharded store raises prefill throughput by 14%, and by 34% together with an upstream kernel fix. All changes are submitted upstream to LMCache.
• Abstract（参考訳）: リクエスト間での注意KVキャッシュの再利用は、ロングコンテキストのLLMサービスにおけるプリフィルコストを削減するための標準的な方法であり、プロダクションシステムはエンジンごとのキャッシュを、各エンジンが共有するリモート層でバックするようになっている。 プリフィル・コンテクスト・並列性(PCP8)を実行する8xB300ノード上で,MLA(Multi-head Latent attention)を持つFP8混合実験モデルであるGLM-5.3の非凝集配置において,そのような層について検討した。 リモート層(LMCacheをValkeyストアと組み合わせる)は、中央値の時間から第一値のp99を3.96秒から17.3秒に引き上げた。 分離されたエンジン上で本番要求ストリームを再生すると、プロンプトを再計算するためにリモートヒットが0.88秒から0.31秒、同期読み込みがヒット重大ストリームを不安定なキューに:p99 83.32秒とGPUが7%忙しくした。 B* = sR(このモデルとGPUで2.53GB/s)を超えるとヒットするが、固定されたエンジンコスト(T0 ~ 0.33 s)は、任意の帯域幅で17kトークンよりも短いプロンプトのヒットが再計算できないことを意味する。 モデルによってガイドされています。 i) MLA KVストアをPCPランクでシャーディングし、既存の最小オーバーランクのルックアップが、最も長いキャッシュされたプレフィックスと、集団を非同期化できないロードプロトコルを返すことを証明します。 (ii) リモート層をランクごとに分割し、調整なしのランクごとに1つのサーバインスタンスを割り当て、GET 帯域幅 6.3x を 10.76 GB/s にする。 (iii) シャードストアに非同期読み込みを追加し、 (iv) 無制限のストールを引き起こした3つのクライアントバグを修正します。 打たれやすい流れでは、98.5%のプロンプトトークンがリモート層から供給され、p99は83.32秒から0.67秒に低下する。 シャードストアはプリフィルスループットを14%、アップストリームカーネル修正とともに34%向上させる。 すべての変更はLMCacheにアップストリームで送信される。

関連論文リスト

• SparPR: Runtime KV-Cache Recovery for Resource-Constrained LLM Inference on Consumer Hardware [1.8037873691445556]
  SparPRは、モデルウェイトを変更せず、オフライントレーニングを必要としないKV-cacheリカバリメカニズムである。 エンドツーエンドのレイテンシを31%,52%,63%,1k,2k,4kの各プロンプトトークンで削減し,スループットは1.4x-2.7倍になった。 8k-tokenのワークロードを44分で完了し、FlexGenのベースラインがタイムアウトする。
  論文  参考訳（メタデータ） (2026-10-13T10:47:05Z)
• RaReCache: Bridging the Gap in Cross-Model KV Cache Reuse via Rank disagreement-based Selective Recomputation [17.413769482487933]
  クロスモデル KV-cache の再利用は現代の LLM サービスにおいて重要な課題である。 最近の研究によると、閉形式線形写像は同じ家系のモデル間でKVキャッシュを変換できるが、モデルサイズのギャップが広がるにつれて転送精度は低下する。 より小さなソースでプリフィルされたキャッシュから、大きなターゲットモデルを正確にデコードできるフレームワークであるRaReCacheを紹介します。
  論文  参考訳（メタデータ） (2026-10-08T06:49:28Z)
• SCX Router: Streaming Zero-Shot Model Selection with a Decoder-KV Classifier and a Real-World Task Ontology [47.16406021922537]
  本稿では,GLiClassをベースとした軽量ルータであるルータを紹介し,自動生成なしで各推論時間モデルラベルに適合点を割り当てる。 タスク生成には、23のファミリー、115のタスクタイプ、345のルータブルなサブタイプ、1,173の合成例と30のドメインの軸を持つタスク構造を構築する。 次に、これらのタスクでQwen3デコーダをトレーニングし、学習された要求予測を、適格性、コスト、キャッシュ再利用、安全性、主権といった属性に対するタスクごとのポリシーから明確に分離します。
  論文  参考訳（メタデータ） (2026-09-02T08:40:07Z)
• CacheBridge: Efficient Cross-Model KV Cache Transfer [12.058564378845373]
  フルヘッドマッピングは、ターゲットのKVヘッドを各ソースのKVヘッドから選択したレイヤにマッピングすることで、アーキテクチャ上の違いに敏感な転送品質を実現する。 CacheBridgeは、アーキテクチャインデクシングされたマッパーサポート、アテンションアラインなキャリブレーション、バウンダリされたマッパー構築を共同設計する。 Qwen3 $14mathrmBto32mathrmB$では、マッパーストレージを8times$に減らし、アプリケーションを3.0times$に加速し、キャリブレーションデータの10分の1とフルヘッドにマッチし、500シークエンス構築を92.63から8に短縮する。
  論文  参考訳（メタデータ） (2026-09-01T08:20:35Z)
• CacheRoute: Planned Prefix-Affinity Routing for Large-Scale LLM Serving [0.0]
  CacheRouteは、3.5sのp99 SLOで176 +/-11 QPSを保ち、2.3倍は5つのベースラインで最強である。 60 H100 GPU上のfp8のLlama-3.3-70Bでは、CacheRouteは3.5 s p99 SLOで176 +/-11 QPSを維持できる。
  論文  参考訳（メタデータ） (2026-08-20T06:12:47Z)
• Cacheable by Design? Training Mixture-of-Experts Routers for Locality Against the Edge Memory-Bandwidth Wall: A Pre-Registered Negative Result with a Systems Measurement Study [0.0]
  Qwen3-235B(Q4_K_M, 134 GB)の帯域幅の壁の定量化 ゼロサージリールータテレメトリーツールである llamamoe-trace を構築し,Q3-30B のルーティングを測定した。 補助的な局所性とドメインルータ損失を有する137M MoE言語モデルの事前登録訓練を行う。
  論文  参考訳（メタデータ） (2026-08-18T19:23:32Z)
• The Recall Trap: A Recall-Maximizing Retriever Configuration Reduces Issue Resolution in Fixed-Budget Code Context [45.88028371034407]
  コード修復における制御ケーススタディを報告し,新しい現象ではない。 私たちは、同じスタック上の1つのフラグ(1チャンク毎の重複)を切り替えます。 BM25(3.2pp、重要なパラダイム間相互作用)を逆転させる。 厳格な固定予算では、ファイルごとのハードダイドプリケートや、タスクに対するA/Bパッケージングポリシは、メトリックフラグを調整しないことが示されます。
  論文  参考訳（メタデータ） (2026-08-14T19:22:50Z)
• VisualClaw: A Real-Time, Personalized Agent for the Physical World [76.89211120690028]
  2つの原則に基づいて構築された自己進化型マルチモーダルエージェントであるVisualClawを紹介する。 第一に、ハイブリッド符号化は、情報の少ないストリーミングフレームをカスケードゲートでフィルタリングすることにより、デプロイメントコストを低減する。 第二に、スキルの進化により、エージェントは失敗から学び、将来の質問に役立つスキルバンク更新を生成する。
  論文  参考訳（メタデータ） (2026-06-15T06:58:22Z)
• TPLA: Tensor Parallel Latent Attention for Efficient Disaggregated Prefill and Decode Inference [48.40143137402824]
  MLA(Multi-Head Latent Attention)は、キー値の状態を低ランクの潜在ベクトルに圧縮し、このベクトルだけをキャッシュしてメモリを減少させる。 しかし、テンソル並列性(TP)では、アテンションヘッドは複数のデバイスにまたがって計算され、各デバイスはフルキャッシュをロードしなければならない。 本稿では,潜在表現と各頭部の入力次元をデバイス間で分割し,シャード毎に独立して注目を行い,結果を全再現と組み合わせる方式であるTPLAを提案する。
  論文  参考訳（メタデータ） (2025-08-21T15:25:40Z)
• TriForce: Lossless Acceleration of Long Sequence Generation with Hierarchical Speculative Decoding [43.28712253351293]
  キーバリュー(KV)キャッシュは、効率的なロングシーケンスサポートのボトルネックとして浮上している。 TriForceは階層的な投機的復号化システムであり、長いシーケンス生成にスケーラブルである。 トリフォースの頑丈さは、様々な温度で一貫して卓越した性能で強調されている。
  論文  参考訳（メタデータ） (2024-04-18T05:25:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。