論文の概要: Multi-Segment Attention: Enabling Efficient KV-Cache Management for Faster Large Language Model Serving

• arxiv url: http://arxiv.org/abs/2606.02964v1
• Date: Mon, 01 Jun 2026 23:51:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-03 22:00:04.645901
• Title: Multi-Segment Attention: Enabling Efficient KV-Cache Management for Faster Large Language Model Serving
• Title（参考訳）: マルチセグメント注意:より高速な大規模言語モデル実行のための効率的なKVキャッシュ管理の実現
• Authors: Chunan Shi, Yilei Chen, Yilin Chen, Xupeng Miao, Bin Cui,
• Abstract要約: AsymCacheは、LLM(Large Language Model)推論のための計算対応のKVキャッシュ管理システムである。 AsymCacheはTTFTを最大1.90-2.03x、TPOT(time-per-latency-token)を1.62-1.71xまで下げることを示した。
• 参考スコア（独自算出の注目度）: 18.829614918483255
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Model (LLM) inference relies on key-value (KV) caches to avoid redundant attention computation. While approximate KV cache retention techniques reduce memory usage by sacrificing model accuracy, lossless approaches instead evict KV cache blocks from GPU memory and reconstruct them on demand to preserve exact outputs. Existing lossless KV cache management systems primarily base eviction decisions on access frequency or positional heuristics, without considering how different KV cache blocks affect the execution efficiency of GPU attention kernels. In this paper, we propose AsymCache, a computation-latency-aware KV cache management system for LLM inference that explicitly aligns cache residency decisions with GPU attention kernel performance, including three key components: Multi-Segment Attention (MSA) for efficient non-contiguous KV context processing, a cache eviction policy that jointly optimizes hit rate and position-aware recomputation cost, and an adaptive chunking scheduler for high hardware utilization. Experiments show that AsymCache reduces TTFT by up to 1.90-2.03x and time-per-output-token (TPOT) by 1.62-1.71x over latest baselines, confirming the effectiveness of the method in common workloads and validating its design goal of balancing computational efficiency with cache hit rate. Moreover, the low-level design of AsymCache allows seamless integration into agent serving systems such as Continuum, where it further reduces average job latency by up to 18.1%.
• Abstract（参考訳）: LLM(Large Language Model)推論はキー値(KV)キャッシュに依存し、冗長な注意計算を避ける。 近似的なKVキャッシュ保持技術は、モデル精度を犠牲にしてメモリ使用量を減らすが、損失のないアプローチは、GPUメモリからKVキャッシュブロックを排除し、要求に応じてそれらを再構築し、正確な出力を保存する。 既存のロスレスKVキャッシュ管理システムは、GPUアテンションカーネルの実行効率にどのように異なるKVキャッシュブロックが影響するかを考慮せずに、アクセス周波数や位置ヒューリスティックスに基づく退避決定を基本としている。 本稿では,LLM推論のための計算遅延対応KVキャッシュ管理システムであるAsymCacheとGPUアテンションカーネルのパフォーマンスを明示的に調整する,3つの重要なコンポーネントについて述べる。 実験の結果、AsymCacheはTTFTを最大1.90-2.03x、TPOTを1.62-1.71xまで削減し、一般的なワークロードにおけるメソッドの有効性を確認し、計算効率とキャッシュヒット率のバランスをとるという設計目標を検証した。 さらに、AsymCacheの低レベル設計により、Continuumのようなエージェントサービスシステムへのシームレスな統合が可能になり、平均ジョブレイテンシを最大18.1%削減する。

関連論文リスト

• IceCache: Memory-efficient KV-cache Management for Long-Sequence LLMs [12.353502602473695]
  キーバリュー(KV)キャッシュは、大規模言語モデルにおける推論の加速に重要な役割を果たす。 セマンティックトークンクラスタリングとPagedAttentionを統合した新しいKVキャッシュ管理戦略を提案する。 256の予算で、IceCacheは完全なKVキャッシュモデルによって達成された元の精度の99%を維持している。
  論文  参考訳（メタデータ） (2026-04-12T09:02:20Z)
• PackCache: A Training-Free Acceleration Method for Unified Autoregressive Video Generation via Compact KV-Cache [61.57938553036056]
  トレーニング不要なKVキャッシュ管理手法であるPackCacheを導入し,KVキャッシュを3つの協調機構でコンパクト化する。 効率の面では、PackCacheは48フレームの長いシーケンスで1.7-2.2倍のエンドツーエンド生成を高速化する。
  論文  参考訳（メタデータ） (2026-01-07T19:51:06Z)
• DBudgetKV: Dynamic Budget in KV Cache Compression for Ensuring Optimal Performance [125.81664663201282]
  我々はDBudgetKVと呼ばれる新しいKVキャッシュ圧縮手法を提案する。 残りのKVキャッシュがフルキャッシュのパフォーマンスにマッチしない場合、注意ベースのメトリクスが特徴である。 提案手法は, 平均圧縮率25%を超え, 無損失KVプルーニングを効果的かつ堅牢に実現している。
  論文  参考訳（メタデータ） (2025-02-24T06:33:39Z)
• MPCache: MPC-Friendly KV Cache Eviction for Efficient Private LLM Inference [15.460864137509654]
  LLM推論のためのMPCacheと呼ばれる,正確かつMPCに優しいKVキャッシュ消去フレームワークを提案する。 MPCacheは、異なる生成タスク間で、先進的なKVキャッシュ消去ベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2025-01-12T13:18:04Z)
• KVSharer: Efficient Inference via Layer-Wise Dissimilar KV Cache Sharing [58.29726147780976]
  我々は,層間をKVキャッシュで共有し,層間圧縮を実現する,textit KVSharerと呼ばれるプラグアンドプレイ方式を提案する。 実験の結果、textit KVSharerはKVキャッシュの計算を30%削減し、メモリ消費を削減できることがわかった。 我々は,textit KVSharerが既存の層内KVキャッシュ圧縮手法と互換性があることを検証する。
  論文  参考訳（メタデータ） (2024-10-24T08:06:41Z)
• Compute Or Load KV Cache? Why Not Both? [6.982874528357836]
  Cakeは計算資源とI/Oリソースを並列に最適に利用する新しいKVキャッシュローディングシステムである。 Cakeは、計算のみの手法やI/Oのみの手法と比較して、TTFT(Time to First Token)の平均2.6倍の削減を実現している。
  論文  参考訳（メタデータ） (2024-10-04T01:11:09Z)
• ThinK: Thinner Key Cache by Query-Driven Pruning [63.13363917871414]
  大規模言語モデル(LLM)は自然言語処理の分野に革命をもたらし、様々なアプリケーションで前例のない性能を達成した。 本稿では,KVキャッシュのメモリ消費の非効率性に対処する長文シナリオに焦点を当てた。 我々は,最小のチャネルを選択的に切断しながら,注目重量損失を最小限に抑える新しいクエリ依存型KVキャッシュプルーニング手法であるThinKを提案する。
  論文  参考訳（メタデータ） (2024-07-30T17:59:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。