論文の概要: Shared KV Caching for Replicated 27B Inference: Correctness Failures and Performance Boundaries

• arxiv url: http://arxiv.org/abs/2609.15021v1
• Date: Mon, 14 Sep 2026 04:37:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 07:15:06.073231
• Title: Shared KV Caching for Replicated 27B Inference: Correctness Failures and Performance Boundaries
• Title（参考訳）: 重複27B推論のための共有KVキャッシング:正確性障害と性能境界
• Abstract要約: 256 GiB LMCacheプールを共有する2つのシングルGPU 27B vLLMレプリカについて検討した。 複製を交互に行う6ターン合成セッションは、32kと128kの初期文脈で約35%と45%改善した。
• 参考スコア（独自算出の注目度）: 6.185334606321749
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Shared host-memory caching can avoid repeated prefill when a request moves between inference replicas. Its usefulness depends on both correct state transfer and lost prefix locality. We study two single-GPU 27B vLLM replicas sharing a 256 GiB LMCache pool. After adopting an existing packed-page patch, we isolate a raw-pointer fallback that omits the dependency on the current CUDA stream. Controlled byte tests fail under an imposed delay and pass when the dependency is restored; the existing mixed allocator provides a working deployment path. Full-pool allocation checks and service regression complete the validation. A four-block OFF-ON-ON-OFF comparison contains 768 measured requests within two block pairs. Median cross-replica time to first content token falls from 31.715 to 0.605 seconds at 128k input and from 92.047 to 0.790 seconds at 256k. Six-turn synthetic sessions alternating replicas improve by approximately 35% and 45% at initial contexts of 32k and 128k, while fixed placement shows little benefit. This engineering case study identifies practical validation steps and the locality conditions in which shared caching pays off.
• Abstract（参考訳）: 共有ホストメモリキャッシュは、リクエストが推論レプリカ間を移動するとき、繰り返しプリフィルを避けることができる。 その有用性は、正しい状態移動と失われたプレフィックスの局所性の両方に依存する。 256 GiB LMCacheプールを共有する2つのシングルGPU 27B vLLMレプリカについて検討した。 既存のページパッチを採用すると、現在のCUDAストリームへの依存性を省略する生のポインターフォールバックを分離する。 制御されたバイトコードテストは、強制された遅延の下で失敗し、依存関係が復元されたときにパスする。 フルプールのアロケーションチェックとサービスのレグレッションがバリデーションを完了します。 4ブロックのOF-ON-ON-OFF比較は、2つのブロックペア内で768の要求を計測する。 128k入力では31.715秒から0.605秒、256kでは92.047秒から0.790秒となる。 6ターンの合成セッションは、32kと128kの初期文脈で約35%と45%改善するが、固定配置はほとんど利益が得られない。 このエンジニアリングケーススタディは、共有キャッシュが支払う実践的検証ステップと局所性条件を識別する。

関連論文リスト

• Validating Hybrid-State Cache Recovery for GLM-5.3-Flash with vLLM and LMCache [6.185334606321749]
  ハイブリッド言語モデルが一貫性のない状態から再開している間、外部キャッシュ転送が成功する。 既存のチェックポイントアライメント原理を45層GLM-5.3-Flashモデルに適用する。
  論文  参考訳（メタデータ） (2026-09-14T04:46:09Z)
• Same Request, Different Answer: Quantization Amplifies Cache-Induced Divergence in LLM Serving [0.0]
  サービスエンジンがリクエスト間で共有プロンプトプレフィックスのキーと値テンソルを再利用するプリフィックスキャッシュは、主要なオープンソーススタックでデフォルトで有効になっている。 キャッシュを有効にし、2つのエンジンと4つの重み付けフォーマットで無効にする。 繰り返し実行はすべての構成においてビット識別され、800回中0回であり、他の非決定性源を0.5%に制限している。
  論文  参考訳（メタデータ） (2026-09-04T05:27:34Z)
• Governing the KV Cache: Preventing Timing Side-Channel Leakage in Multi-Tenant LLM Inference [0.0]
  キーバリュー(KV)キャッシュは、現代の大言語モデル(LLM)推論における主要なスループット最適化である。 3つの攻撃がそれを悪用し、保護されていないvLLMとSGに対する攻撃の成功率が最大100%に達する。 我々は3つの攻撃ファミリーのプレフィックスキャッシュパスに対処するガバナンス層であるKVGovを紹介する。
  論文  参考訳（メタデータ） (2026-08-10T07:47:57Z)
• Stage-Replay Divergence Follows the KV Cache: Fixed-Prefix Precision Controls and Bidirectional Cache Transplantation [51.56484100374058]
  Stage-replayは中間トークンプレフィックスを再構築し、プレフィックスに最初に到達したデコーダ状態からの継続として、新しいプリフィル継続を処理する。 一致した200itemの実験では、保持されたライブキャッシュと同一の整数トークンのワンショットプリフィルを比較し、両側に正確なレプリカを配置する。
  論文  参考訳（メタデータ） (2026-07-30T16:41:40Z)
• Back from the Future: Key-Value Cache Management by Counter-Causal Surprise [67.1056509495879]
  近年,キーバリュー(KV)キャッシュ管理が重要な研究方向として注目されている。 より最近のトークンからよく予測できる過去のトークンは冗長である,という洞察に動機づけられた,単純かつ効果的なKV消去スキームを提案する。 我々は,他の最先端手法と比較して,競争力や性能向上を示す各種オープンソースLCMとベンチマークデータセットについて,我々の戦略を評価した。
  論文  参考訳（メタデータ） (2026-07-30T02:42:51Z)
• Semantic-Aware Adaptive Visual Memory for Streaming Video Understanding [55.7992006853979]
  SAVEMemは、セマンティックな認識をメモリ生成にもたらすフレームワークで、クエリ毎に検索スコープを適応させる。 SAVEMemは、メモリ生成にセマンティックな認識をもたらし、クエリ毎に検索範囲を適応させる、トレーニングフリーのデュアルステージフレームワークである。
  論文  参考訳（メタデータ） (2026-05-08T15:40:40Z)
• StepCache: Step-Level Reuse with Lightweight Verification and Selective Patching for LLM Serving [0.0]
  StepCacheはバックエンドに依存しないステップレベルの再利用レイヤで、出力を順序付けられたステップに分割します。 StepCacheは、選択的パッチによって失敗したリージョンのみを再生する。 平均レイテンシは2.13秒から0.67秒、中央レイテンシは2.42秒から0.01秒、p95レイテンシは3.38秒から3.30秒に減少する。
  論文  参考訳（メタデータ） (2026-03-24T17:19:26Z)
• dParallel: Learnable Parallel Decoding for dLLMs [77.24184219948337]
  拡散大言語モデル(dLLM)は並列トークン予測と低推論遅延を提供する。 既存のオープンソースモデルは、パフォーマンスを確保するためにトークン長のデコードステップをほとんど必要としています。 高速サンプリングのためにdLLMs固有の並列性を解き放つシンプルで効果的な方法であるdParallelを導入する。
  論文  参考訳（メタデータ） (2025-09-30T16:32:52Z)
• vCache: Verified Semantic Prompt Caching [95.16654660556975]
  本稿では,ユーザ定義エラー率保証を備えた最初の検証済みセマンティックキャッシュであるvCacheを提案する。 オンライン学習アルゴリズムを使用して、キャッシュされたプロンプト毎に最適な閾値を推定し、追加のトレーニングなしで信頼性の高いキャッシュ応答を可能にする。 我々の実験によると、vCacheは特定のエラー境界を一貫して満たし、最先端の静的な閾値と微調整された埋め込みベースラインより優れています。
  論文  参考訳（メタデータ） (2025-02-06T04:16:20Z)
• Accelerating Deep Learning Classification with Error-controlled Approximate-key Caching [72.50506500576746]
  我々は、近似キーキャッシングと名付けた新しいキャッシングパラダイムを提案する。 近似キャッシュはDL推論の負荷を軽減し、システムのスループットを向上するが、近似誤差を導入する。 我々は古典的なLRUと理想的なキャッシュのキャッシュシステム性能を解析的にモデル化し、期待される性能のトレース駆動評価を行い、提案手法の利点を最先端の類似キャッシュと比較した。
  論文  参考訳（メタデータ） (2021-12-13T13:49:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。