論文の概要: KVShareArena: KV-Cache Reuse Across Contexts and Model Checkpoints

• arxiv url: http://arxiv.org/abs/2609.10266v1
• Date: Wed, 09 Sep 2026 14:53:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:09.069127
• Title: KVShareArena: KV-Cache Reuse Across Contexts and Model Checkpoints
• Title（参考訳）: KVShareArena: コンテキストとモデルチェックポイント間のKVキャッシュ再利用
• Abstract要約: KVShare-cacheは、取得したチャンクとエージェントレポートのプロンプトコンテキストとモデルチェックポイントをまたいだ再利用を行う。 再計算を必要としない修正位置は、質問が一度に複数の情報源を必要とするまで十分である。 KVArena-cacheはキャッシュなしと完全再計算の間のギャップを割ってすべてのメソッドをスコアする。
• 参考スコア（独自算出の注目度）: 14.86076891340077
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLM serving systems already reuse KV caches, but only when the reused text sits at the very start of the prompt. Two growing workloads break this condition: a retrieval-augmented generation server assembles a different set of retrieved chunks for every query, and a multi-agent coordinator reads reports written by other agents. Reused inside a new prompt, a cache carries the wrong positions and never attended to the other sources. The cache may also have been written by a different checkpoint of the same model family, which changes the stored values. Repair methods for such caches have appeared in three separate communities, each measured on its own terms, and existing benchmarks test only exact-prefix reuse, where nothing is lost. KVShareArena benchmarks KV-cache reuse across prompt contexts and model checkpoints on retrieved chunks and agent reports. It scores every method by the fraction of the gap it recovers between no cache and full recomputation, and charges compute, memory, and per-request latency with the cache in hand, reporting the one-time cost of building a cache separately. We find that correcting positions, which needs no recomputation, is enough until a question needs several sources at once. There, only methods that pay, by re-encoding part of the cache or by training, recover half to two thirds of the gap; unrepaired caches can be worse than no cache. Cache-compression methods that are harmless on a single prompt fall significantly behind position correction on freshly written agent reports. These patterns hold across three model boards. When a different checkpoint wrote the cache, training-free methods are barely affected, while an adapter trained on one checkpoint's caches loses quality. Harness, frozen querysets, and cost accounting ship as a pip package with an automated submission workflow and a public leaderboard.
• Abstract（参考訳）: LLMサービスシステムは、既にKVキャッシュを再利用しているが、再利用されたテキストがプロンプトの開始時にのみ使用される。 検索拡張された生成サーバは、クエリ毎に検索されたチャンクの異なるセットを組み立て、マルチエージェントコーディネータは、他のエージェントによって書かれたレポートを読み取る。 新しいプロンプトの中で再利用され、キャッシュは間違った位置を持ち、他のソースに決して入らない。 キャッシュは、保存された値を変更する同じモデルファミリーの別のチェックポイントによって記述された場合もあります。 このようなキャッシュの修復方法は、3つの異なるコミュニティに現れており、それぞれ独自の用語で測定されている。 KVShareArenaは、取得したチャンクとエージェントレポートのプロンプトコンテキストとモデルチェックポイントをまたいだKV-cacheの再利用をベンチマークする。 キャッシュなしで回復するギャップと完全な再計算の間のギャップによって、すべてのメソッドをスコア付けし、計算、メモリ、リクエスト毎のレイテンシをキャッシュで手動で課金し、キャッシュを別々に構築する1回分のコストを報告します。 再計算を必要としない修正位置は、質問が一度に複数の情報源を必要とするまで十分である。 キャッシュの一部の再エンコーディングやトレーニングによって支払いを行うメソッドだけがギャップの半分から2分の2を回復する。 1つのプロンプトで無害なキャッシュ圧縮メソッドは、新しく書かれたエージェントレポートの位置修正に大きく遅れる。 これらのパターンは3つのモデルボードにまたがる。 別のチェックポイントがキャッシュを書いたとき、トレーニング不要のメソッドはほとんど影響を受けず、一方のチェックポイントのキャッシュでトレーニングされたアダプタは品質が低下する。 Harness、フリーズされたクエリセット、コスト会計は、自動提出ワークフローと公開リーダボードを備えたPipパッケージとして出荷される。

関連論文リスト

• ReCache: Efficient KV Cache Reuse and Compression for Tool-Augmented LLM Agents [7.368551130048085]
  textbfReCacheは、リソース表現を独立してキャッシュするためのフレームワークである。 7つの公開ツールとスキルユースデータセットから収集したベンチマークでReCacheを評価した。
  論文  参考訳（メタデータ） (2026-08-20T05:57:24Z)
• Back from the Future: Key-Value Cache Management by Counter-Causal Surprise [67.1056509495879]
  近年,キーバリュー(KV)キャッシュ管理が重要な研究方向として注目されている。 より最近のトークンからよく予測できる過去のトークンは冗長である,という洞察に動機づけられた,単純かつ効果的なKV消去スキームを提案する。 我々は,他の最先端手法と比較して,競争力や性能向上を示す各種オープンソースLCMとベンチマークデータセットについて,我々の戦略を評価した。
  論文  参考訳（メタデータ） (2026-07-30T02:42:51Z)
• Position Rebinding Cache Reuse: Replay-Free Visual Revisiting for Interleaved Multimodal Reasoning [51.563653495547335]
  マルチモーダル推論は、マルチステップ生成中に視覚的証拠を再考することによって、視覚的接地を改善する。 再生不要な視覚的再考のためのキャッシュレベルフレームワークであるPlace Rebinding Cache Reuse (PRCR)を提案する。 PRCRはリプレイレベルまたはパフォーマンスの向上を実現し、平均精度を5%向上し、視覚的再考を最大数万倍削減する。
  論文  参考訳（メタデータ） (2026-06-25T05:47:52Z)
• Probing the Prompt KV Cache: Where It Becomes Dispensable [9.529147118376464]
  以前のKVキャッシュ圧縮スキームは、プリミティブキャッシュがデコード、ドロップまたは要約時に部分的に冗長であり、精度の低下が少ないことを実証的に示していた。 どのレイヤ、何個のデコードステップ、どの形式のプロンプトがタスクを壊さずにKVキャッシュに置換できるのか。 制御されたスプライス介入が層切断と復号ステップを乗り越え、この冗長性は内容ではなく形(チャットテンプレートの足場)であることを示す。
  論文  参考訳（メタデータ） (2026-05-28T21:07:41Z)
• Grounded Cache Routing for Retrieval-Augmented Generation: When Is It Safe to Reuse an Answer? [0.0]
  我々は、4つの安価なゲートが同時に保持されている場合にのみキャッシュされた応答を許容するエビデンス検証キャッシュルータであるGroundedCacheを提案する。 我々は、ヒットレートだけでなく、キャッシュ安全性をストレステストする6段階のワークロードを構築し、オペレーター向けメトリックであるunsafe-served rate (USR)を導入する。 2つのデータセットと12,000の実LLM世代(Qwen2.5-7B-Instruct on vLLM with Automatic Prefix Caching)、GroundedCacheはUSRをすべてのHotpotQAシステムで0.0%、mtRAGドキュメントドリフトで1.5%まで駆動する。
  論文  参考訳（メタデータ） (2026-05-26T16:50:02Z)
• Make Each Token Count: Towards Improving Long-Context Performance with KV Cache Eviction [65.710271475739]
  我々は,各トークンの将来のユーティリティを統一メモリ予算の下で学習する,グローバルな保持に基づくKV消去手法を提案する。 提案手法は,フルキャッシュ推論に適合したり,超えたりしながら,KVメモリを大幅に削減することを示す。 これらの結果から,世界規模で校正されたKV消去は圧縮技術であるだけでなく,長文推論を改善するメカニズムでもあることが示唆された。
  論文  参考訳（メタデータ） (2026-05-10T16:47:50Z)
• Decouple and Cache: KV Cache Construction for Streaming Video Understanding [53.55135022958052]
  ストリーミングビデオ理解には、限られたメモリと計算量で無制限のビデオストリームを処理する必要がある。 トレーニング不要なキャッシュ構築機構であるDecoupled Streaming Cache(DSCache)を提案する。 Streaming Video QAベンチマークの実験では、DSCacheの最先端のパフォーマンスが実証され、従来の手法よりも平均2.5%精度が向上した。
  論文  参考訳（メタデータ） (2026-05-03T13:02:44Z)
• Sparse Prefix Caching for Hybrid and Recurrent LLM Serving [0.7284556903703034]
  重なり合う深さの分布の下で,スパースプレフィックスキャッシングをチェックポイント配置として定式化する。 リクエストが非自明なプレフィックスを共有する場合、実世界のデータ上で標準非対称性によって追跡されるフロンティアを一貫して改善することを示す。 正確な出力を保持し、リカレント計算自体を変更したり、新しいリカレント更新カーネルを必要としたりしない。
  論文  参考訳（メタデータ） (2026-04-17T09:24:58Z)
• vCache: Verified Semantic Prompt Caching [95.16654660556975]
  本稿では,ユーザ定義エラー率保証を備えた最初の検証済みセマンティックキャッシュであるvCacheを提案する。 オンライン学習アルゴリズムを使用して、キャッシュされたプロンプト毎に最適な閾値を推定し、追加のトレーニングなしで信頼性の高いキャッシュ応答を可能にする。 我々の実験によると、vCacheは特定のエラー境界を一貫して満たし、最先端の静的な閾値と微調整された埋め込みベースラインより優れています。
  論文  参考訳（メタデータ） (2025-02-06T04:16:20Z)
• Efficient Inference of Vision Instruction-Following Models with Elastic Cache [76.44955111634545]
  我々は,命令追従型大規模視覚言語モデルの効率的なデプロイのための新しい戦略であるElastic Cacheを紹介する。 本稿では,冗長キャッシュを具現化する重要なキャッシュマージ戦略を提案する。 命令符号化では,キャッシュの重要性を評価するために周波数を利用する。 様々なLVLMの結果は、Elastic Cacheが効率を向上するだけでなく、言語生成における既存のプルーニングメソッドよりも優れていることを示している。
  論文  参考訳（メタデータ） (2024-07-25T15:29:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。