論文の概要: KV-Repurpose: A Testbed for Evaluating Non-Prefix KV-Cache Reuse

• arxiv url: http://arxiv.org/abs/2610.13060v1
• Date: Fri, 09 Oct 2026 06:17:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.422985
• Title: KV-Repurpose: A Testbed for Evaluating Non-Prefix KV-Cache Reuse
• Title（参考訳）: KV-Repurpose: KV-Cacheリユースを非修正で評価するためのテストベッド
• Abstract要約: KV-Repurposeは、セグメントワイドなKV-cache再利用を正確な接頭辞を超えて開発・評価するシステムである。 実験により, 単文書質問応答と要約の出力品質は, ナイーブセグメントの再利用によって保たれることがわかった。 KV-Repurposeは、同じ30GBのキャッシュ容量でプレフィックスキャッシュよりもトークンレベルのキャッシュヒット率を大幅に向上させる。
• 参考スコア（独自算出の注目度）: 2.381405202108335
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: KV-cache reuse in large language model serving is commonly limited to exact prompt prefixes, preventing reuse when the same retrieved document appears after different system prompts, conversation histories, or dynamic metadata. We present KV-Repurpose, an open-source, vLLM-based system for developing and evaluating segment-wise KV-cache reuse beyond exact prefixes. The system combines cache-aware segment scheduling, prompt construction, capacity management, workload generation, and runtime monitoring. Experiments on long-context benchmarks show that naive segment reuse largely preserves output quality for single-document question answering and summarization, while exposing clear limitations in cross-document reasoning. Under a Zipfian RAG-style workload in which 20% of requests share a fixed prefix, KV-Repurpose achieves a substantially higher token-level cache hit rate than prefix caching at the same 30 GB cache capacity, 63.9% versus 3.3%, resulting in lower TTFT. Even with 1 TB of cache capacity, prefix caching reaches only a 17.9% hit rate in this workload. Source code is available under the Apache-2.0 license at https://github.com/taiga333/eval-kv-repurpose.
• Abstract（参考訳）: 大規模言語モデルのサービスにおけるKV-cacheの再利用は、一般的に正確なプロンプトプレフィックスに限られており、異なるシステムプロンプト、会話履歴、動的メタデータの後に同じ検索されたドキュメントが現れるときの再利用を防止する。 提案するKV-Repurposeは, セグメントワイドなKV-cache再利用を, 正確な接頭辞を超えて開発・評価するための, vLLMベースのオープンソースシステムである。 このシステムはキャッシュ対応セグメントスケジューリング、プロンプト構成、キャパシティ管理、ワークロード生成、ランタイム監視を組み合わせる。 長文ベンチマークの実験では、単純セグメントの再利用は単一文書質問応答と要約の出力品質を保ちながら、クロスドキュメント推論の明確な制限を明らかにしている。 リクエストの20%が固定プレフィックスを共有するZipfian RAGスタイルのワークロードでは、KV-Reposeは同じ30GBのキャッシュ容量でプレフィックスキャッシュよりもかなり高いトークンレベルのキャッシュヒット率を達成する。 1TBのキャッシュ容量であっても、プレフィックスキャッシュはこのワークロードで17.9%しかヒットしない。 ソースコードはApache-2.0ライセンスでhttps://github.com/taiga333/eval-kv-repurposeで入手できる。

関連論文リスト

• Back from the Future: Key-Value Cache Management by Counter-Causal Surprise [67.1056509495879]
  近年,キーバリュー(KV)キャッシュ管理が重要な研究方向として注目されている。 より最近のトークンからよく予測できる過去のトークンは冗長である,という洞察に動機づけられた,単純かつ効果的なKV消去スキームを提案する。 我々は,他の最先端手法と比較して,競争力や性能向上を示す各種オープンソースLCMとベンチマークデータセットについて,我々の戦略を評価した。
  論文  参考訳（メタデータ） (2026-07-30T02:42:51Z)
• CompressKV: Semantic-Retrieval-Guided KV-Cache Compression for Resource-Efficient Long-Context LLM Inference [9.416125453771361]
  長文大言語モデル(LLM)推論は、メモリフットプリントとキー値キャッシュのデコードコストによって、ますます制限されている。 我々は、GQAベースのLLMのためのリソース効率の良いKV-cache圧縮フレームワークであるCompressKVを提案する。 LongBench と Needle-in-a-Haystack の実験により、CompressKV はメモリ予算全体で既存の KV-cache 消去手法を一貫して上回っていることが示された。
  論文  参考訳（メタデータ） (2026-06-23T11:59:46Z)
• Recency/Frequency Adaptive KV Caching for Large Language Model Serving [7.261125311665803]
  キーバリューキャッシング(KV)は,大規模言語モデルの推論と生成を高速化する強力な手法である。 推論ワークロードは巨大で多様であり、効果的にキャッシュするのが困難である。 我々は,最近発生したKVブロック間で動的にキャッシュ空間を割り当てる適応キャッシュを統合する。
  論文  参考訳（メタデータ） (2026-06-19T09:05:01Z)
• MuKV: Multi-Grained KV Cache Compression for Long Streaming Video Question-Answering [75.0394545769057]
  KVキャッシュは、LLMプリフィルを介して歴史的なトークンのキーバリューを格納する。 MuKV は KV キャッシュ圧縮モジュールと半階層的検索手法を特徴とする手法である。 長時間ストリーミングのVideoQAベンチマークの実験では、MKVはメモリとオンラインQA効率を犠牲にすることなく、回答の正確性を大幅に向上することが示された。
  論文  参考訳（メタデータ） (2026-05-21T10:13:03Z)
• KVzip: Query-Agnostic KV Cache Compression with Context Reconstruction [37.97434606840326]
  トランスフォーマーベースの大規模言語モデル(LLM)は、推論中にキー値(KV)ペアとしてキャッシュコンテキストを持つ。 コンテキストの長さが大きくなると、KVキャッシュのサイズが拡大し、メモリオーバーヘッドが大きくなり、注意の遅延が増大する。 本稿では,クエリに依存しないKVキャッシュ消去手法であるKVzipを紹介する。
  論文  参考訳（メタデータ） (2025-05-29T13:05:47Z)
• SCBench: A KV Cache-Centric Analysis of Long-Context Methods [61.025422435235456]
  KVキャッシュ中心の視点から長文の手法を評価するベンチマークであるSCBenchを紹介する。 我々は、Gated Linear RNNsやMamba-Attention Hybridsを含む8つのカテゴリの長期コンテキストソリューションについて、広範なKVキャッシュ中心の分析を行う。 本研究は,O(n)メモリとサブO(n2)プリフィルによるスパース符号化が堅牢に動作する一方で,サブO(n)メモリ手法がマルチターンシナリオに悩まされていることを示す。
  論文  参考訳（メタデータ） (2024-12-13T17:59:52Z)
• KVSharer: Efficient Inference via Layer-Wise Dissimilar KV Cache Sharing [58.29726147780976]
  我々は,層間をKVキャッシュで共有し,層間圧縮を実現する,textit KVSharerと呼ばれるプラグアンドプレイ方式を提案する。 実験の結果、textit KVSharerはKVキャッシュの計算を30%削減し、メモリ消費を削減できることがわかった。 我々は,textit KVSharerが既存の層内KVキャッシュ圧縮手法と互換性があることを検証する。
  論文  参考訳（メタデータ） (2024-10-24T08:06:41Z)
• Compute Or Load KV Cache? Why Not Both? [6.982874528357836]
  Cakeは計算資源とI/Oリソースを並列に最適に利用する新しいKVキャッシュローディングシステムである。 Cakeは、計算のみの手法やI/Oのみの手法と比較して、TTFT(Time to First Token)の平均2.6倍の削減を実現している。
  論文  参考訳（メタデータ） (2024-10-04T01:11:09Z)
• Get More with LESS: Synthesizing Recurrence with KV Cache Compression for Efficient LLM Inference [78.65321721142624]
  我々はキー値(KV)キャッシュによって課されるメモリボトルネックに焦点を当てる。 既存のKVキャッシュ手法は、比較的重要でないKVペアの大きなスワストを刈り取ったり、取り除いたりすることでこの問題に対処する。 本稿では,固定サイズキャッシュと退避型キャッシュを簡易に統合したLESSを提案する。
  論文  参考訳（メタデータ） (2024-02-14T18:54:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。