論文の概要: CacheGraft: Enhancing Retrieval-Augmented Generation via Latent-Space Document Enrichment

• arxiv url: http://arxiv.org/abs/2611.07393v1
• Date: Thu, 05 Nov 2026 03:43:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 21:50:50.503056
• Title: CacheGraft: Enhancing Retrieval-Augmented Generation via Latent-Space Document Enrichment
• Title（参考訳）: CacheGraft: 遅延スペースドキュメントのリッチ化による検索拡張ジェネレーションの強化
• Abstract要約: CacheGraftは、各コーパスをオフラインで融合KVキャッシュ表現にエンコードする。 CacheGraftはテキストのみのレシーバベースラインに対して,30件中29件で回答品質を向上することを示す。 これらの結果から,潜時空間文書の充実はRAGシステムの性能向上に有望な道である可能性が示唆された。
• 参考スコア（独自算出の注目度）: 6.151387587561573
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent work in machine learning has demonstrated that transformer-based language model agents can communicate state not only through text, but also directly in latent space via key-value (KV) caches. In this paper, we argue that such cache-to-cache translation can provide utility beyond the original motivating application of real-time agent communication and can instead be utilized for retrieval-augmented generation (RAG). Building on the Cache-to-Cache (C2C) fusion framework, our proposed system CacheGraft encodes each corpus passage offline into a fused KV cache representation between a larger sharer model (4B parameters in our experiments) and a smaller receiver model (0.6B parameters) such that this cache can be injected into the receiver at query time with no need for the larger model. Across five QA benchmarks and two independent locally-run judges, CacheGraft improves answer quality over the text-only receiver baseline in 29 out of 30 comparisons, of which 17 of the 30 are statistically significant. Notably, these gains are zero-shot with respect to the fuser, which was never trained on retrieval data. These initial results suggest that latent-space document enrichment may be a promising avenue for enhancing the performance of RAG systems, particularly in compute-constrained settings where it is only feasible to deploy a small model at inference time.
• Abstract（参考訳）: 機械学習における最近の研究は、トランスフォーマーベースの言語モデルエージェントが、テキストを介してだけでなく、キー値(KV)キャッシュを介して遅延空間内で直接、状態を通信できることを実証している。 本稿では,このようなキャッシュ・ツー・キャッシュ変換が,リアルタイムエージェント通信の本来のモチベーション・アプリケーションを超えて,その代わりに検索強化世代(RAG)に利用することができることを論じる。 キャッシュ・ツー・キャッシュ(C2C)の融合フレームワークをベースとして,提案システムであるCacheGraftは,各コーパスをオフラインで,より大きな共有モデル(実験では4Bパラメータ)とより小さな受信モデル(0.6Bパラメータ)の融合KVキャッシュ表現にエンコードする。 CacheGraftは、5つのQAベンチマークと2つの独立したローカルランジャッジで、30のベンチマークのうち29のテキストのみの受信者ベースラインで回答品質を改善し、そのうち17の30は統計的に有意である。 特に、これらのゲインは、検索データでトレーニングされたことのないフィーザーに対してゼロショットである。 これらの結果から,RAGシステム,特に推論時に小さなモデルをデプロイすることしか不可能な計算制約のある環境では,遅延スペースドキュメントの充実が,RAGシステムの性能向上に有望な道である可能性が示唆された。

関連論文リスト

• KV-Repurpose: A Testbed for Evaluating Non-Prefix KV-Cache Reuse [2.381405202108335]
  KV-Repurposeは、セグメントワイドなKV-cache再利用を正確な接頭辞を超えて開発・評価するシステムである。 実験により, 単文書質問応答と要約の出力品質は, ナイーブセグメントの再利用によって保たれることがわかった。 KV-Repurposeは、同じ30GBのキャッシュ容量でプレフィックスキャッシュよりもトークンレベルのキャッシュヒット率を大幅に向上させる。
  論文  参考訳（メタデータ） (2026-10-09T06:17:10Z)
• PReCache: Efficient KV Cache Sharing for Multi-LoRA Agents via Low-Rank Precomputation and Neutral Reconstruction [9.162948089580143]
  マルチLORAエージェントシステムは、共通のバックボーンモデルを共有することで、効率的なロール計算を可能にする。 既存のKVキャッシュ共有メソッドは、この繰り返しプリフィルを減らすが、追加のトレーニングやアーキテクチャ上の制約が必要になる。 PReCacheはトレーニング不要のKVキャッシュ共有フレームワークで、PreLRSharedとReBaseSharedという2つの設計がある。
  論文  参考訳（メタデータ） (2026-09-28T00:24:14Z)
• Back from the Future: Key-Value Cache Management by Counter-Causal Surprise [67.1056509495879]
  近年,キーバリュー(KV)キャッシュ管理が重要な研究方向として注目されている。 より最近のトークンからよく予測できる過去のトークンは冗長である,という洞察に動機づけられた,単純かつ効果的なKV消去スキームを提案する。 我々は,他の最先端手法と比較して,競争力や性能向上を示す各種オープンソースLCMとベンチマークデータセットについて,我々の戦略を評価した。
  論文  参考訳（メタデータ） (2026-07-30T02:42:51Z)
• CSR:Achieving 1 Bit Key-Value Cache via Sparse Representation [63.65323577445951]
  キャッシュスパース表現(CSR)と呼ばれる新しい手法を提案する。 CSRは、密度の高いKey-Valueキャッシュテンソルをスパースインデックスとウェイトに変換し、LLM推論中によりメモリ効率のよい表現を提供する。 我々の実験は、CSRが最先端KVキャッシュ量子化アルゴリズムに匹敵する性能を達成することを示した。
  論文  参考訳（メタデータ） (2024-12-16T13:01:53Z)
• EPIC: Efficient Position-Independent Caching for Serving Large Language Models [19.510078997414606]
  キャッシングは、リクエスト間でキーバリューベクトルを再利用することで、パフォーマンスを向上させる。 既存のコンテキストキャッシュでは、リクエストにまたがる正確なプレフィックスが必要である。 位置独立キャッシング (PIC) を導入し, プレフィックスによらず KV ベクトルのモジュラー再利用を可能にする。 また、新しいLegoLinkアルゴリズムを取り入れたサービスシステムEPICも導入しています。
  論文  参考訳（メタデータ） (2024-10-20T08:42:29Z)
• Efficient Inference of Vision Instruction-Following Models with Elastic Cache [76.44955111634545]
  我々は,命令追従型大規模視覚言語モデルの効率的なデプロイのための新しい戦略であるElastic Cacheを紹介する。 本稿では,冗長キャッシュを具現化する重要なキャッシュマージ戦略を提案する。 命令符号化では,キャッシュの重要性を評価するために周波数を利用する。 様々なLVLMの結果は、Elastic Cacheが効率を向上するだけでなく、言語生成における既存のプルーニングメソッドよりも優れていることを示している。
  論文  参考訳（メタデータ） (2024-07-25T15:29:05Z)
• Training-Free Exponential Context Extension via Cascading KV Cache [49.608367376911694]
  カスケードサブキャッシュバッファを利用して,最も関連性の高いトークンを選択的に保持する機構を導入する。 本手法は,1Mトークンのフラッシュアテンションと比較して,プリフィルステージ遅延を6.8倍削減する。
  論文  参考訳（メタデータ） (2024-06-24T03:59:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。