論文の概要: PEEK: Predictive Queue-Informed KV Cache Management for LLM Serving

• arxiv url: http://arxiv.org/abs/2607.02525v1
• Date: Sun, 10 May 2026 04:48:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-27 00:46:12.980258
• Title: PEEK: Predictive Queue-Informed KV Cache Management for LLM Serving
• Title（参考訳）: PEEK: LLMサービングのための予測キューインフォームドKVキャッシュ管理
• Abstract要約: PEEKは、オンライン(ストリーミング)とオフライン(バッチ)のLLMサービスのための軽量なスケジューリングおよび消去フレームワークである。 低オーバーヘッドのデュアルウォークは、エンジンのプレフィックスキャッシュと木をマッチさせ、待機要求毎に最長のマッチを発生させる。 PEEKは最大3.0$times$/2.6$times$キャッシュヒット、7.9$times$/7.1$times$TTFT、6.7$times$/5.5$times$E2E、3.6$times$/4.5$times$スループットが各エンジン最強のベースラインより向上する。
• 参考スコア（独自算出の注目度）: 4.9236508760671045
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present PEEK, a lightweight scheduling and eviction framework for both online (streaming) and offline (batch) LLM serving; this paper focuses on the online regime. PEEK maintains an incremental radix tree over the pending queue, exposing prefix-sharing clusters no existing engine surfaces. A low-overhead dual-walk matches the tree against the engine's prefix cache to yield longest-prefix-match for every waiting request; PEEK then admits cluster pioneers first so siblings inherit the freshly cached prefix, a co-designed eviction hook protects blocks ancestral to queued demand, and a multi-lane stride scheduler bounds starvation. On SGLang and vLLM across five workloads up to 4$\times$H100 (DP=2 over TP=2), PEEK delivers up to 3.0$\times$/2.6$\times$ cache hit, 7.9$\times$/7.1$\times$ TTFT, 6.7$\times$/5.5$\times$ E2E, and 3.6$\times$/4.5$\times$ throughput gains over each engine's strongest stock baseline (SGLang/vLLM), while matching baselines within noise on workloads with no exploitable prefix structure. Wins hold as KV-cache pressure and inference parallelism scale.
• Abstract（参考訳）: 本稿では、オンライン(ストリーミング)とオフライン(バッチ)のLLM配信のための軽量スケジューリングおよび消去フレームワークであるPEEKについて述べる。 PEEKは、待ち行列上にインクリメンタルなラディクスツリーを保持し、プレフィックス共有クラスタを公開し、既存のエンジンサーフェスを含まない。 低オーバーヘッドのデュアルウォークはエンジンのプレフィックスキャッシュと一致し、待機要求毎に最長のプレフィックスマッチを出力する。その後PEEKはクラスタの先駆者を認め、最初にキャッシュされたプレフィックスを継承する。 SGLangとvLLMは最大5つのワークロードで最大4$\times$H100 (DP=2 over TP=2)を提供するが、PEEKは最大3.0$\times$/2.6$\times$ cache hit, 7.9$\times$/7.1$\times$ TTFT, 6.7$\times$/5.5$\times$ E2E, 3.6$\times$/4.5$\times$ throughputは各エンジンの最強のストックベースライン(SGLang/vLLM)よりも高い。 勝利はKV-cache圧力と推論並列性尺度として成り立つ。

関連論文リスト

• ECHO: Early-layer Collaborative Hierarchical Orchestration with Bonus Logits in Speculative Decoding [60.34475274870224]
  ECHOは、LLM層間の機能的非対称性を利用する階層的なデュアルループフレームワークである。 インナーループ内では、アーリーレイヤのボーナスロジットは、最小限のコストで、高速で多段階のドラフトツリー探索を駆動する。 ECHOは平均的なトークンを著しく増加させ、2.4$times$2.9$times$スピードアップを達成する。
  論文  参考訳（メタデータ） (2026-09-15T14:21:33Z)
• GraniKV: Asymmetric Granularity KV-Cache Paging for Multi-Agent Systems with Long Shared Prefix [9.188178438603975]
  GraniKVは生産用ページドサービスエンジンのKVキャッシュに非対称なページング粒度を適用した最初のシステムである。 記憶層だけは 新聞を動機づける政権の勝利を 担っている
  論文  参考訳（メタデータ） (2026-08-16T07:19:49Z)
• ShortOPD: Recovering Pruned LLMs with Short-to-Long On-Policy Distillation [72.54604107217669]
  textscpass@$k$は圧縮後にほぼ消滅するが、textscpass@$k$は繰り返しサンプリングの下でほぼ回復する。 回復は、密集したトークンレベルの監督の下で、圧縮されたモデル自身のオン政治状態で訓練すべきである。 我々は,教師が確認した反復接尾辞を検知する短時間のOPDスケジュールであるtextbfshortopdを提案する。
  論文  参考訳（メタデータ） (2026-07-14T17:50:50Z)
• Stateful Inference for Low-Latency Multi-Agent Tool Calling [0.0]
  LLMベースのシステムでは,マルチエージェント・ツール・コールが主要なインタラクション・パターンになりつつある。 本稿では,従来のサービスにおける$O(n_t)=ターン当たりのコストを$O(_t)$デルタのみのコストに変換する,ステートフルな推論アーキテクチャを提案する。
  論文  参考訳（メタデータ） (2026-05-25T19:27:49Z)
• Tensor Cache: Eviction-conditioned Associative Memory for Transformers [20.67103891489219]
  キャッシュは、第1レベルのキャッシュ(L1)としてスライディングウインドウのソフトマックスの注意を、固定サイズの外積高速なメモリとして、ウィンドウから放出されるKVペアによって供給される第2レベルのキャッシュとする。 取り除かれたペアは、層ごとの行列に$A$に圧縮され、単一の行列乗算によって将来のクエリによって読み込まれる。
  論文  参考訳（メタデータ） (2026-05-21T00:21:51Z)
• Irminsul: MLA-Native Position-Independent Caching for Agentic LLM Serving [0.11099872871193028]
  本稿では,SG の radix キャッシュを拡張した Irminsul を提案する。 DeepSeek-V2-Lite (16B/2.4B)、Kimi Moonlight-16B-A3B、JoyAI-Flash (48B/3B)の3つのネイティブMLA-MoEデプロイメントを評価した。
  論文  参考訳（メタデータ） (2026-05-07T05:36:03Z)
• HybridKV: Hybrid KV Cache Compression for Efficient Multimodal Large Language Model Inference [23.016627145448467]
  MLLM(Multimodal Large Language Models)は、テキスト、画像、ビデオに対する高度な統一推論である。 各ビジュアル入力は数千のトークンに拡張され、キャッシュはコンテキスト長と線形にスケールする。 一般的な解決策は、固定された予算の下で異なる粒度でキャッシュを圧縮することである。 相補的戦略を3段階に統合したハイブリッドKVキャッシュ圧縮フレームワークであるHybridKVを提案する。
  論文  参考訳（メタデータ） (2026-04-07T13:51:07Z)
• PIO-FVLM: Rethinking Training-Free Visual Token Reduction for VLM Acceleration from an Inference-Objective Perspective [59.24570811503256]
  本稿では,視覚モデル(VLM)における冗長な視覚トークンを減らし,推論を高速化するPIO-FVLMを提案する。 提案されているPIO-FVLMは、トレーニングフリーで、FlashAttentionと互換性があり、実用的なアプリケーションやデプロイメントに親しみやすい。 LLaVA-Next-7Bでは、PIO-FVLMは視覚トークンの11.1%しか保持していないが、オリジナルのパフォーマンスの97.2%を維持している。
  論文  参考訳（メタデータ） (2026-02-04T15:33:10Z)
• StreamingTOM: Streaming Token Compression for Efficient Video Understanding [6.9203477336374775]
  既存のアプローチはLLM後のkv-cacheのみを規制し、コストのかかるLLM前のプリフィルは変わらない。 StreamingTOMは,LLM前とLLM後の両方のボトルネックに,予測可能なレイテンシで対処する,トレーニングフリーでプラグイン&プレイの2段階フレームワークです。 実験では, 従来のSOTAと比較して, 15.7 時間で kv-cache 圧縮, 12 時間で低ピークメモリ, 2 時間で速い TTFT 圧縮を実現している。
  論文  参考訳（メタデータ） (2025-10-21T03:39:41Z)
• ConServe: Fine-Grained GPU Harvesting for LLM Online and Offline Co-Serving [61.35068981176018]
  ConServeは、高いスループットと強力なオンラインレイテンシ保証を実現する大規模言語モデル(LLM)サービスシステムである。 我々は,ConServeが平均2.2$times$高スループットを実現し,オンラインサービステールのレイテンシを最先端システムと比較して平均2.9$times$削減することを示した。
  論文  参考訳（メタデータ） (2024-10-02T04:12:13Z)
• HiRE: High Recall Approximate Top-$k$ Estimation for Efficient LLM Inference [68.59839755875252]
  HiREは2つの新しいコンポーネントから構成される: (i) (i) (i) (i) (i) (i) (i) (i) (i) (i) (ii) DA-TOP-$k$: 効率的なマルチデバイス近似トップ-k$演算子) (i) (i) (i) (i) (i) (i) (i) DA-TOP-$k$演算子) 。 我々は、10億のパラメータモデルにおいて、HiREがソフトマックスとフィードフォワード層の両方に適用され、ほぼ一致した事前学習と下流の精度を実現し、1台のTPUv5eデバイスで1.47Times$の推論遅延を高速化することを示した。
  論文  参考訳（メタデータ） (2024-02-14T18:04:36Z)
• H$_2$O: Heavy-Hitter Oracle for Efficient Generative Inference of Large Language Models [110.06476624089679]
  メモリフットプリントを大幅に削減する新しいKVキャッシュの実装手法を提案する。 我々のアプローチは、トークンのごく一部が、注意点の計算において、ほとんどの価値に寄与する、という観察に基づいている。 我々は,最近のトークンとH$のバランスを動的に保持するKVキャッシュ消去ポリシーであるヘビーヒッター(H$O)を提案する。
  論文  参考訳（メタデータ） (2023-06-24T20:11:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。