論文の概要: GraniKV: Asymmetric Granularity KV-Cache Paging for Multi-Agent Systems with Long Shared Prefix
- arxiv url: http://arxiv.org/abs/2608.15584v2
- Date: Sun, 23 Aug 2026 16:29:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-25 18:24:36.87165
- Title: GraniKV: Asymmetric Granularity KV-Cache Paging for Multi-Agent Systems with Long Shared Prefix
- Title（参考訳）: GraniKV: 長い共有プレフィックス付きマルチエージェントシステムのための非対称粒度KVキャッシュページング
- Abstract要約: GraniKVは生産用ページドサービスエンジンのKVキャッシュに非対称なページング粒度を適用した最初のシステムである。
記憶層だけは 新聞を動機づける政権の勝利を 担っている
- 参考スコア（独自算出の注目度）: 9.188178438603975
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Production paged-serving engines apply uniform paging granularity to the KV cache, even though the two regions of a multi-agent workload have opposite storage requirements: a long shared prefix demands contiguity, while the per-request suffix demands fine-grained allocation. We present \textbf{GraniKV}, a KV-cache layer that allocates the shared prefix in a contiguous HOT pool and the suffix in a token-level COLD pool, combined with a per-step dispatcher which selects the appropriate backend among dual backends for each regime (compute-, memory-, or communication-bound). To the best of our knowledge, GraniKV is the first system to apply asymmetric paging granularity to the KV cache of a production paged-serving engine. At $L_p{=}16$\,K shared tokens GraniKV reaches $\mathbf{2.16\times}$, $\mathbf{1.98\times}$, and $\mathbf{1.57\times}$ output-token throughput over the production baseline on Llama-3.1-8B/TP=1, Qwen-2.5-14B/TP=2, and Qwen-2.5-32B/TP=4. The gain decomposes: cascade attention integration contributes the majority at saturation; the asymmetric storage layer adds $1.05$--$1.15\times$ end-to-end while being what makes the batched-GEMM prefix backend possible at all. Under heterogeneous multi-agent serving with \emph{distinct} prompts of different lengths, the attribution inverts: GraniKV sustains $\mathbf{1.95\times}$ while batch-global cascade collapses to parity --- the storage layer alone carries the win in the regime that motivates the paper.
- Abstract（参考訳）: プロダクションページ保存エンジンはKVキャッシュに均一にページング粒度を適用するが、マルチエージェントのワークロードの2つの領域は反対のストレージ要件を持つ:長い共有プレフィックスは連続性を要求する。
本稿では, トークン単位のCOLDプール内のHOTプールと接頭辞の共有プレフィックスを割り当てるKV-cache層である \textbf{GraniKV} と, 各レシスタンス(コンピュテート, メモリ, 通信バウンド)の両バックエンドの中から適切なバックエンドを選択するステップ単位のディスパッチを併用する。
我々の知る限りでは、GraniKVはプロダクションページ処理エンジンのKVキャッシュに非対称ページング粒度を適用した最初のシステムである。
L_p{=}16$\,K共有トークン GraniKV は$\mathbf{2.16\times}$, $\mathbf{1.98\times}$, $\mathbf{1.57\times}$ Llama-3.1-8B/TP=1, Qwen-2.5-14B/TP=2, Qwen-2.5-32B/TP=4に達する。
非対称ストレージ層には1.05$--$1.15\times$ end-to-endが加わり、バッチ化されたGEMMプレフィックスバックエンドをまったく可能にしている。
GraniKVは$\mathbf{1.95\times}$を保ち、バッチ・グロバルカスケードはパリティに崩壊する。
関連論文リスト
- Compact-Memory LLM Agents via Online Max-Member Clustering and Atom-Aware Packing [10.952145049465424]
我々は、強力な品質のParetoポイントのために設計されたオンラインクラスタ化されたメモリパイプラインであるbfRSM-fullを紹介する。
主要なコンパクトメモリベンチマークであるAMA-Benchでは、RSM-fullがフルコンテキスト品質の83%ドル、トークンコストの32%を4ドルという予算で達成しています。
厳格な予算の下では、コンパクトメモリのパフォーマンスは、主にストリーミングメモリのマージ方法と、検索されたコンテンツの組み立て方法によって駆動されます。
論文 参考訳（メタデータ） (2026-09-04T09:19:00Z) - Omni2LoRA: Coherence-Preserving Parametric Memory for Efficient Omni Language Models [65.49950267695267]
我々はコヒーレンス保存コンテクスト蒸留によるパラメトリックメモリの効率的な圧縮フレームワークであるOmni2LoRAを紹介する。
本手法は,マルチモーダルメモリを固定予算で再利用可能なパラメータ状態に変換することにより,応答時間のマルチモーダルトーケン負荷をゼロにする。
論文 参考訳（メタデータ） (2026-08-10T07:49:10Z) - GRKV: Global Regression for Training-Free KV Cache Compression in Long-Context LLMs [97.36238579001544]
コンテキスト長が拡張された大規模言語モデル(LLM)は、キー値(KV)キャッシュに依存して、以前のトークンに対する注意をサポートする。
KVキャッシュを維持することは、KVキャッシュ圧縮メソッドを動機付け、かなりのメモリオーバーヘッドを引き起こす。
GRKVは,圧縮キャッシュとフルキャッシュのアテンション出力の差を直接最小化する,トレーニング不要なKV-cacheマージ手法である。
論文 参考訳（メタデータ） (2026-05-29T10:16:30Z) - DualKV: Shared-Prompt Flash Attention for Efficient RL Training with Large Rollouts and Long Contexts [32.57334288518084]
GRPOやDAPOのような現代のRLポストトレーニングメソッドは、共有プロンプトからサンプリングされた$R$トークンの$N$レスポンスシーケンスでトレーニングする。
標準FlashAttentionは、すべての$P$プロンプトトークンを前方と後方の両方で$N回複製する。
トレーニング中に共有プロンプトレプリケーションを排除した最初のFlashカーネルである textDualAttention を提案する。
論文 参考訳（メタデータ） (2026-05-14T21:11:32Z) - PEEK: Predictive Queue-Informed KV Cache Management for LLM Serving [4.9236508760671045]
PEEKは、オンライン(ストリーミング)とオフライン(バッチ)のLLMサービスのための軽量なスケジューリングおよび消去フレームワークである。
低オーバーヘッドのデュアルウォークは、エンジンのプレフィックスキャッシュと木をマッチさせ、待機要求毎に最長のマッチを発生させる。
PEEKは最大3.0$times$/2.6$times$キャッシュヒット、7.9$times$/7.1$times$TTFT、6.7$times$/5.5$times$E2E、3.6$times$/4.5$times$スループットが各エンジン最強のベースラインより向上する。
論文 参考訳（メタデータ） (2026-05-10T04:48:04Z) - Kwai Summary Attention Technical Report [69.40814939510126]
長文の能力は、次世代の大規模言語モデルの最も重要な方向性の1つになっている。
標準ソフトマックスアテンションは、シーケンスの長さに関して2次時間複雑性を示す。
歴史的文脈を圧縮することでシーケンスモデリングコストを削減する新しいアテンションメカニズムであるKwai Summary Attention (KSA)を提案する。
論文 参考訳（メタデータ） (2026-04-27T12:59:53Z) - HybridKV: Hybrid KV Cache Compression for Efficient Multimodal Large Language Model Inference [23.016627145448467]
MLLM(Multimodal Large Language Models)は、テキスト、画像、ビデオに対する高度な統一推論である。
各ビジュアル入力は数千のトークンに拡張され、キャッシュはコンテキスト長と線形にスケールする。
一般的な解決策は、固定された予算の下で異なる粒度でキャッシュを圧縮することである。
相補的戦略を3段階に統合したハイブリッドKVキャッシュ圧縮フレームワークであるHybridKVを提案する。
論文 参考訳（メタデータ） (2026-04-07T13:51:07Z) - Dynamic Large Concept Models: Latent Reasoning in an Adaptive Semantic Space [56.37266873329401]
大規模言語モデル (LLM) は、高度に一様でない情報密度を示す言語にもかかわらず、全てのトークンに一様計算を適用する。
我々は,潜在表現から意味境界を学習し,トークンから推論がより効率的である圧縮概念空間へ移行する階層型言語モデリングフレームワークである$textbfDynamic Large Concept Models (DLCM)$を提案する。
論文 参考訳（メタデータ） (2025-12-31T04:19:33Z) - ClusterKV: Manipulating LLM KV Cache in Semantic Space for Recallable Compression [10.003118268356017]
ロングコンテキストは推論効率に重大な課題をもたらす。
本稿では,意味クラスタの粒度でトークンをリコールするClusterKVを紹介する。
実験結果から、ClusterKVは32kのコンテキスト長を持つ様々なタスクにおいて、無視可能な精度の損失が得られることがわかった。
論文 参考訳（メタデータ） (2024-12-04T10:58:27Z) - KIVI: A Tuning-Free Asymmetric 2bit Quantization for KV Cache [67.9776980972508]
我々はKIVIというチューニング不要な2ビットKVキャッシュ量子化アルゴリズムを開発した。
KIVI は Llama, Falcon, Mistral のモデルを $mathbf2.6times$ less peak memory を使用しながらほぼ同じ品質を維持することができる。
論文 参考訳（メタデータ） (2024-02-05T06:06:47Z) - H$_2$O: Heavy-Hitter Oracle for Efficient Generative Inference of Large
Language Models [110.06476624089679]
メモリフットプリントを大幅に削減する新しいKVキャッシュの実装手法を提案する。
我々のアプローチは、トークンのごく一部が、注意点の計算において、ほとんどの価値に寄与する、という観察に基づいている。
我々は,最近のトークンとH$のバランスを動的に保持するKVキャッシュ消去ポリシーであるヘビーヒッター(H$O)を提案する。
論文 参考訳（メタデータ） (2023-06-24T20:11:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。