論文の概要: CacheRepair: Learning to Repair Cross-Chunk Context in RAG for KV Cache Fusion

• arxiv url: http://arxiv.org/abs/2609.35139v1
• Date: Mon, 28 Sep 2026 13:26:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-02 16:41:04.55843
• Title: CacheRepair: Learning to Repair Cross-Chunk Context in RAG for KV Cache Fusion
• Title（参考訳）: CacheRepair: KVキャッシュ統合のためのRAGにおけるクロスチャンクコンテキストの修復を学ぶ
• Abstract要約: CacheRepairは、独立に計算されたKVキャッシュと、チャンクを一緒に処理することによって生成されるKVキャッシュの違いを学習する。 修復により, チャンク境界近傍とチャンク内部全体のKV誤差が低減されることを示す。
• 参考スコア（独自算出の注目度）: 4.63143469565065
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multi-document retrieval-augmented generation (RAG) requires a language model to process multiple retrieved text chunks before answering a question. Precomputing each chunk's KV cache independently and concatenating the caches when the chunks are retrieved can accelerate this step. However, the assembled cache lacks cross-chunk attention information, reducing answer quality. Selective recomputation methods recover the missing cross-chunk context by rerunning the target LLM on selected tokens, incurring substantial online computation. We introduce CacheRepair, a lightweight network that learns the difference between independently computed KV caches and those produced by processing the chunks together. The network combines compressed KV features with token embeddings and uses attention that is bidirectional within each chunk and flows from earlier to later chunks. Each repair block receives the compressed cache features, and the predicted residual is added to every document token's cache. Each repair network is trained for a specific frozen target LLM on a generic retrieval corpus and reused across downstream datasets. Our analysis shows that repair reduces KV errors both near chunk boundaries and throughout chunk interiors. Evaluation across three target LLMs and four downstream datasets places CacheRepair on the measured answer-quality-latency Pareto frontier in eleven of twelve model-dataset combinations. Reported time to first token (TTFT) includes online cache transfer and repair. Across all twelve combinations, the largest repairers achieve 1.69-4.61$\times$ speedups in median TTFT over full prefill and improve mean F1 by 2.1-26.1 percentage points over direct cache reuse.
• Abstract（参考訳）: マルチドキュメント検索拡張生成(RAG)は、質問に答える前に複数の検索されたテキストチャンクを処理する言語モデルを必要とする。 各チャンクのKVキャッシュを独立してプリコンパイルし、チャンクが取得された時にキャッシュを連結することで、このステップを加速することができる。 しかし、組み込まれたキャッシュには、クロスチャンクの注意情報がなく、回答の品質が低下する。 選択的再計算手法は、選択したトークン上でターゲットLSMを再実行することで、欠落したクロスチャンクコンテキストを回復し、実質的なオンライン計算を行う。 我々は、独立に計算されたKVキャッシュとチャンクを一緒に処理することによって生成されるKVキャッシュの違いを学習する軽量ネットワークであるCacheRepairを紹介した。 ネットワークは圧縮されたKV機能とトークンの埋め込みを結合し、各チャンク内で双方向に注目し、早期から後期のチャンクを流れる。 各修復ブロックは圧縮されたキャッシュ機能を受け取り、予測された残余はすべてのドキュメントトークンのキャッシュに追加される。 各修復ネットワークは、一般的な検索コーパス上で特定の凍結目標LLMに対してトレーニングされ、下流データセット間で再利用される。 解析の結果, 修復により, KV誤差は, チャンク境界近傍とチャンク内部全体の両方で減少することがわかった。 3つのLLMと4つのダウンストリームデータセットで評価すると、CacheRepairは12のモデル-データセットの組み合わせのうち11の回答-品質-レイテンシ-Paretoフロンティアに配置される。 報告された最初のトークン(TTFT)には、オンラインキャッシュ転送と修復が含まれている。 12つの組み合わせの合計で、最大の修理工は1.69-4.61$\times$ speedups in Central TTFT over full prefillと平均F1を2.1-26.1%改善した。

関連論文リスト

• KVShareArena: KV-Cache Reuse Across Contexts and Model Checkpoints [14.86076891340077]
  KVShare-cacheは、取得したチャンクとエージェントレポートのプロンプトコンテキストとモデルチェックポイントをまたいだ再利用を行う。 再計算を必要としない修正位置は、質問が一度に複数の情報源を必要とするまで十分である。 KVArena-cacheはキャッシュなしと完全再計算の間のギャップを割ってすべてのメソッドをスコアする。
  論文  参考訳（メタデータ） (2026-09-09T14:53:45Z)
• Back from the Future: Key-Value Cache Management by Counter-Causal Surprise [67.1056509495879]
  近年,キーバリュー(KV)キャッシュ管理が重要な研究方向として注目されている。 より最近のトークンからよく予測できる過去のトークンは冗長である,という洞察に動機づけられた,単純かつ効果的なKV消去スキームを提案する。 我々は,他の最先端手法と比較して,競争力や性能向上を示す各種オープンソースLCMとベンチマークデータセットについて,我々の戦略を評価した。
  論文  参考訳（メタデータ） (2026-07-30T02:42:51Z)
• Kamera: Unified Position-Invariant Multimodal KV Cache for Training-Free Reuse [1.081571058570587]
  マルチモーダルエージェントは、同じビデオフレーム、UIスクリーンショット、アーティファクトをコンテキストウィンドウスライドとして再検査する。 この再計算は回避可能であることを示すとともに,KV再利用が損なうものを特定する。 したがって、ブラインドはシングルホップのリコールをそのまま残し、マルチホップの精度を半減させる。 トレーニング不要な低ランク条件パッチを各位置のないチャンクに格納して修復する。
  論文  参考訳（メタデータ） (2026-06-22T16:47:00Z)
• MuKV: Multi-Grained KV Cache Compression for Long Streaming Video Question-Answering [75.0394545769057]
  KVキャッシュは、LLMプリフィルを介して歴史的なトークンのキーバリューを格納する。 MuKV は KV キャッシュ圧縮モジュールと半階層的検索手法を特徴とする手法である。 長時間ストリーミングのVideoQAベンチマークの実験では、MKVはメモリとオンラインQA効率を犠牲にすることなく、回答の正確性を大幅に向上することが示された。
  論文  参考訳（メタデータ） (2026-05-21T10:13:03Z)
• Make Each Token Count: Towards Improving Long-Context Performance with KV Cache Eviction [65.710271475739]
  我々は,各トークンの将来のユーティリティを統一メモリ予算の下で学習する,グローバルな保持に基づくKV消去手法を提案する。 提案手法は,フルキャッシュ推論に適合したり,超えたりしながら,KVメモリを大幅に削減することを示す。 これらの結果から,世界規模で校正されたKV消去は圧縮技術であるだけでなく,長文推論を改善するメカニズムでもあることが示唆された。
  論文  参考訳（メタデータ） (2026-05-10T16:47:50Z)
• KVLink: Accelerating Large Language Models via Efficient KV Cache Reuse [30.48395228595732]
  KVLinkは、大規模言語モデル(LLM)における効率的なキー値(KV)キャッシュ再利用のためのアプローチである。 KVLinkは、連結後のグローバルな位置と一致するように、推論時にKVキャッシュの位置埋め込みを調整することと、自己注意を回復するためにトレーニング可能な特別なトークンを使用することである。 7つのデータセットにわたる実験によると、KVLinkは最先端の手法よりも平均4%の精度で質問応答を改善する。
  論文  参考訳（メタデータ） (2025-02-21T23:34:29Z)
• Cache-Craft: Managing Chunk-Caches for Efficient Retrieval-Augmented Generation [14.842469293627271]
  CacheCraftは、テキストチャンクに対応する計算済みKVの再利用を管理するシステムである。 再利用可能なチャンクキャッシュの特定方法、キャッシュの修正に少数の再計算を効率的に行う方法、ハードウェアにチャンクキャッシュを効率よく保存・削除する方法を示す。
  論文  参考訳（メタデータ） (2025-02-05T14:12:33Z)
• CacheBlend: Fast Large Language Model Serving for RAG with Cached Knowledge Fusion [15.344568214955688]
  大規模な言語モデル(LLM)は、必要なコンテキストを提供するために、入力に複数のテキストチャンクを組み込むことが多い。 長いLLM入力のプリフィルを高速化するため、別のLLM入力のプレフィックスとしてコンテキストが再利用された場合、テキストのKVキャッシュをプリコンプリートし、KVキャッシュを再使用することができる。 本稿では,KVキャッシュを高速に組み合わせて,高価なプリフィルと同世代の品質を実現する方法を提案する。
  論文  参考訳（メタデータ） (2024-05-26T06:00:17Z)
• Get More with LESS: Synthesizing Recurrence with KV Cache Compression for Efficient LLM Inference [78.65321721142624]
  我々はキー値(KV)キャッシュによって課されるメモリボトルネックに焦点を当てる。 既存のKVキャッシュ手法は、比較的重要でないKVペアの大きなスワストを刈り取ったり、取り除いたりすることでこの問題に対処する。 本稿では,固定サイズキャッシュと退避型キャッシュを簡易に統合したLESSを提案する。
  論文  参考訳（メタデータ） (2024-02-14T18:54:56Z)
• KIVI: A Tuning-Free Asymmetric 2bit Quantization for KV Cache [67.9776980972508]
  我々はKIVIというチューニング不要な2ビットKVキャッシュ量子化アルゴリズムを開発した。 KIVI は Llama, Falcon, Mistral のモデルを $mathbf2.6times$ less peak memory を使用しながらほぼ同じ品質を維持することができる。
  論文  参考訳（メタデータ） (2024-02-05T06:06:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。