論文の概要: Evaluating the accuracy of KV cache reuse techniques

• arxiv url: http://arxiv.org/abs/2609.31415v1
• Date: Fri, 25 Sep 2026 15:36:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 18:27:51.461578
• Title: Evaluating the accuracy of KV cache reuse techniques
• Title（参考訳）: KVキャッシュ再利用手法の精度評価
• Abstract要約: KVキャッシュの再利用は、プロンプトをまたいだチャンクレベルのキャッシュを再利用することで、検索強化生成のレイテンシを低減することを目的としている。 KVキャッシュ再利用手法の現在の評価は、再利用に起因する精度の損失を捉えることができず、しばしば人工的に膨らませる手法に依存していることを示す。
• 参考スコア（独自算出の注目度）: 7.645810951162343
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Position-independent KV cache reuse aims to reduce latency in retrieval-augmented generation by reusing chunk-level KV caches across prompts. We show that current evaluations of KV cache reuse techniques rely on measurements that fail to faithfully capture the loss of accuracy attributable to reuse, often artificially inflating the reported effectiveness. We also show that existing datasets do not exhibit the reuse dynamics needed to thoroughly evaluate such techniques. To address these issues, we propose an evaluation methodology that measures this accuracy loss without ambiguity and we introduce Boxoffice, a tool that programmatically generates evaluation datasets that exercise challenging KV cache reuse patterns.
• Abstract（参考訳）: 位置に依存しないKVキャッシュの再利用は、プロンプトをまたいだチャンクレベルのKVキャッシュを再利用することで、検索強化ジェネレーションのレイテンシを低減することを目的としている。 KVキャッシュ再利用手法の現在の評価は、再利用に起因する精度の損失を忠実に捉えられず、しばしば人工的にその効果を膨らませる測定に頼っていることを示す。 また、既存のデータセットは、そのような手法を徹底的に評価するのに必要な再利用のダイナミクスを示さないことを示す。 これらの問題に対処するため、曖昧さを伴わずにこの精度損失を測定する評価手法を提案し、KVキャッシュ再利用パターンに挑戦する評価データセットをプログラム的に生成するツールであるBoxofficeを紹介した。

関連論文リスト

• ProphetKV: User-Query-Driven Selective Recomputation for Efficient KV Cache Reuse in Retrieval-Augmented Generation [22.835149054167122]
  本稿では,RAGシナリオに対するユーザクエリ駆動型KVキャッシュ再利用手法であるProphet KVを提案する。 Prophet KVは、ユーザクエリに対するセマンティックな関連性に基づいてトークンを優先順位付けする。 以上の結果から, Prophet KVの完全補充精度は96%-101%であり,再計算率は20%に過ぎなかった。
  論文  参考訳（メタデータ） (2026-01-31T09:53:31Z)
• Judge Q: Trainable Queries for Optimized Information Retention in KV Cache Eviction [53.83828564664595]
  大規模言語モデル(LLM)は、キー値(KV)キャッシュを使用して、シーケンス処理中に履歴情報を格納する。 KVキャッシュ消去の現在の方法は、通常、プレフィルフェーズからの最後のウィンドウをクエリとして利用し、消去のためのKV重要度スコアを計算する。 ソフトトークンリストを組み込んだ新しいトレーニング手法であるジャッジQを提案する。
  論文  参考訳（メタデータ） (2025-09-13T03:34:12Z)
• No Token Left Behind: Reliable KV Cache Compression via Importance-Aware Mixed Precision Quantization [31.806112535762367]
  キーバリューキャッシングは、生成型大規模言語モデル(LLM)の推論速度とスループットを加速する重要な技術となっている。
  論文  参考訳（メタデータ） (2024-02-28T06:34:54Z)
• Weak Supervision Performance Evaluation via Partial Identification [46.73061437177238]
  Programmatic Weak Supervision (PWS) は、地上の真理ラベルに直接アクセスすることなく、教師付きモデルトレーニングを可能にする。 本稿では,モデル評価を部分的同定問題としてフレーミングすることで,この問題に対処する新しい手法を提案する。 提案手法は,従来の弱監督評価手法において,ラベル付きデータを必要とせず,重要な指標に信頼性のあるバウンダリを導出する。
  論文  参考訳（メタデータ） (2023-12-07T07:15:11Z)
• Self-Supervised Training with Autoencoders for Visual Anomaly Detection [61.62861063776813]
  我々は, 正規サンプルの分布を低次元多様体で支持する異常検出において, 特定のユースケースに焦点を当てた。 我々は、訓練中に識別情報を活用する自己指導型学習体制に適応するが、通常の例のサブ多様体に焦点をあてる。 製造領域における視覚異常検出のための挑戦的なベンチマークであるMVTec ADデータセットで、最先端の新たな結果を達成する。
  論文  参考訳（メタデータ） (2022-06-23T14:16:30Z)
• Semantic Perturbations with Normalizing Flows for Improved Generalization [62.998818375912506]
  我々は、非教師付きデータ拡張を定義するために、潜在空間における摂動が利用できることを示す。 トレーニングを通して分類器に適応する潜伏性対向性摂動が最も効果的であることが判明した。
  論文  参考訳（メタデータ） (2021-08-18T03:20:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。