論文の概要: Benchmarking KV-Cache Optimizations across Task Quality and System Performance for Long-Context Serving
- arxiv url: http://arxiv.org/abs/2607.05399v1
- Date: Sun, 03 May 2026 11:50:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-27 00:46:12.98397
- Title: Benchmarking KV-Cache Optimizations across Task Quality and System Performance for Long-Context Serving
- Title（参考訳）: 長期サービングにおけるタスク品質とシステム性能におけるKVキャッシュ最適化のベンチマーク
- Abstract要約: 本稿では,代表的KV-cache最適化機構のワークロード対応ベンチマークを提案する。
このベンチマークは、タスク品質、平均出力スループット、平均時間対1トーケン、圧縮比を計測する。
- 参考スコア（独自算出の注目度）: 3.3030145376284943
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language model serving is increasingly limited by KV-cache growth under long-context workloads, yet existing KV-cache compression techniques are difficult to compare because they were evaluated on different models, tasks, budgets, and serving stacks. This paper presents a workload-aware benchmark of representative KV-cache optimization mechanisms spanning quantization, pruning, and merging, including KIVI, TurboQuant, SnapKV, and CaM, evaluated on LongBench-style multi-document QA, single-document QA, few-shot learning, and summarization workloads using Llama-3.1-8B-Instruct and Mistral-7B-Instruct-v0.3. The benchmark measures task quality, mean output throughput, mean time-to-first-token, and realized compression ratio across context-length buckets. The results show that the compression ratio alone is a poor predictor of end-to-end performance. KIVI4 provides the most stable quality across models, SnapKV delivers the strongest long-context throughput, and CaM yields large gains on selected QA workloads but exhibits substantial workload sensitivity in both quality and realized compression ratio. These findings motivate workload-aware selection of KV-cache mechanisms rather than one-size-fits-all compression and provide deployment guidance for long-context serving systems.
- Abstract（参考訳）: 大きな言語モデルの提供は、長いコンテキストのワークロード下でのKV-cacheの成長によってますます制限されるが、既存のKV-cache圧縮技術は、異なるモデル、タスク、予算、サービススタックで評価されたため、比較が難しい。
Llama-3.1-8B-InstructとMistral-7B-Instruct-v0.3を用いて,LongBenchスタイルのマルチドキュメントQA,シングルドキュメントQA,シングルショット学習,要約ワークロードの評価を行った。
このベンチマークは、タスク品質、平均出力スループット、平均時間から第一トーケン、コンテキスト長バケット間の圧縮比を計測する。
その結果,圧縮比だけではエンドツーエンド性能の予測が不十分であることが示唆された。
KIVI4はモデル間で最も安定した品質を提供し、SnapKVは最強のロングコンテキストスループットを提供し、CaMは選択したQAワークロードに対して大きな利益をもたらすが、品質と圧縮率の両方においてかなりのワークロード感度を示す。
これらの知見は,KV-cache機構の作業負荷を考慮した選択を,一様圧縮よりも動機付け,長期提供システムへのデプロイメントガイダンスを提供する。
関連論文リスト
- SGD-KV: Summarization Guided KV Cache Compression [21.816110519918876]
大規模言語モデル(LLM)は、線形に増大するキー値(KV)キャッシュのため、長いコンテキスト推論において深刻なメモリボトルネックに直面している。
SGD-KVは,階層的情報集約に特有な注意ヘッドを体系的に識別し,優先するために,新しいチャンク要約診断タスクを活用する,頭部認識フレームワークである。
以上の結果から,KVキャッシュ予算を注目ヘッドの総和スコア分布に基づいて戦略的に割り当てることにより,長文推論における効率・精度のトレードオフが良好であることが示唆された。
論文 参考訳（メタデータ） (2026-09-03T00:31:11Z) - Benchmarking Composable Compression Techniques in Mixture-of-Experts LLMs [50.677556944160216]
MoEXBenchは、構成可能なMoE圧縮をエンドツーエンドのデプロイメントワークフローとして評価するための体系的なベンチマークである。
コンポーザブル圧縮品質、ワークロードとアーキテクチャ、プルーニング/量子化/KVキャッシュ感度、コモディティハードウェアへのデプロイメント効率を測定する。
論文 参考訳（メタデータ） (2026-08-22T00:01:18Z) - MuKV: Multi-Grained KV Cache Compression for Long Streaming Video Question-Answering [75.0394545769057]
KVキャッシュは、LLMプリフィルを介して歴史的なトークンのキーバリューを格納する。
MuKV は KV キャッシュ圧縮モジュールと半階層的検索手法を特徴とする手法である。
長時間ストリーミングのVideoQAベンチマークの実験では、MKVはメモリとオンラインQA効率を犠牲にすることなく、回答の正確性を大幅に向上することが示された。
論文 参考訳（メタデータ） (2026-05-21T10:13:03Z) - XQuant: Achieving Ultra-Low Bit KV Cache Quantization with Cross-Layer Compression [54.28208936996186]
大規模言語モデル(LLM)は、様々な自然言語処理タスクにまたがる顕著な機能を示している。
量子化は、歴史的情報を保持しながらメモリ消費を減らすための有望な解決策として現れてきた。
超低等価ビット幅KVキャッシュ量子化を実現するトレーニングフリーでプラグアンドプレイのフレームワークであるXQuantを提案する。
論文 参考訳（メタデータ） (2025-10-13T10:17:21Z) - KVComp: A High-Performance, LLM-Aware, Lossy Compression Framework for KV Cache [7.019967158501771]
長文生成に最適化された汎用的で効率的なKVキャッシュ管理フレームワークであるKVCompを提案する。
KVCompは、KVキャッシュデータ特性に特化して設計された新しい損失圧縮技術を採用している。
KVCompは,従来の手法に比べて最大83%のメモリ削減率で,平均47%,最大83%の高速化を実現している。
論文 参考訳（メタデータ） (2025-08-30T18:25:19Z) - DBudgetKV: Dynamic Budget in KV Cache Compression for Ensuring Optimal Performance [125.81664663201282]
我々はDBudgetKVと呼ばれる新しいKVキャッシュ圧縮手法を提案する。
残りのKVキャッシュがフルキャッシュのパフォーマンスにマッチしない場合、注意ベースのメトリクスが特徴である。
提案手法は, 平均圧縮率25%を超え, 無損失KVプルーニングを効果的かつ堅牢に実現している。
論文 参考訳（メタデータ） (2025-02-24T06:33:39Z) - More Tokens, Lower Precision: Towards the Optimal Token-Precision Trade-off in KV Cache Compression [71.42818367729573]
大規模言語モデル(LLM)では、KVキャッシュのメモリ使用量は推論において重大なボトルネックとなっている。
KVプルーニングやKV量子化を含む主流のKV圧縮法は、主にトークンまたは精度寸法を別々に扱う。
本稿では,KVキャッシュ圧縮におけるトークン精度トレードオフを包括的に検討する。
論文 参考訳（メタデータ） (2024-12-17T09:20:31Z) - ClusterKV: Manipulating LLM KV Cache in Semantic Space for Recallable Compression [10.003118268356017]
ロングコンテキストは推論効率に重大な課題をもたらす。
本稿では,意味クラスタの粒度でトークンをリコールするClusterKVを紹介する。
実験結果から、ClusterKVは32kのコンテキスト長を持つ様々なタスクにおいて、無視可能な精度の損失が得られることがわかった。
論文 参考訳（メタデータ） (2024-12-04T10:58:27Z) - Lossless KV Cache Compression to 2% [22.98828332096935]
この研究は、KVキャッシュを元のサイズの2%未満に圧縮することを目的とした、新しいアーキテクチャであるCLLA(Cross-Layer Latent Attention)を導入している。
CLLAは、アテンションヘッド/ディメンション低減、レイヤ共有、量子化技術を結合的なフレームワークに統合する。
論文 参考訳（メタデータ） (2024-10-20T02:17:35Z) - ThinK: Thinner Key Cache by Query-Driven Pruning [63.13363917871414]
大規模言語モデル(LLM)は自然言語処理の分野に革命をもたらし、様々なアプリケーションで前例のない性能を達成した。
本稿では,KVキャッシュのメモリ消費の非効率性に対処する長文シナリオに焦点を当てた。
我々は,最小のチャネルを選択的に切断しながら,注目重量損失を最小限に抑える新しいクエリ依存型KVキャッシュプルーニング手法であるThinKを提案する。
論文 参考訳（メタデータ） (2024-07-30T17:59:08Z) - QAQ: Quality Adaptive Quantization for LLM KV Cache [3.163526369095745]
モデルデプロイメントのボトルネックは、コンテキスト長のキーバリューキャッシュの線形拡張によって生じる。
KVキャッシュのための品質適応量子化スキームQAQを提案する。
論文 参考訳（メタデータ） (2024-03-07T16:42:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。