論文の概要: ATTUNER: Recomputation-Free KV Cache Reuse via Query-Side Adaptation

• arxiv url: http://arxiv.org/abs/2609.36722v1
• Date: Tue, 29 Sep 2026 05:00:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.196742
• Title: ATTUNER: Recomputation-Free KV Cache Reuse via Query-Side Adaptation
• Title（参考訳）: ATTUNER: Query-Side Adaptationによる再計算不要なKVキャッシュ再利用
• Abstract要約: 大規模言語モデル(LLM)エージェントは、再利用可能なコンテンツを現在のコンテキストに繰り返しロードする。 位置独立キャッシング(PIC)は、フルコンテキストのプリフィルに比べて品質が低下する。 凍結したアーティファクトキャッシュを読み取るためのクエリ側適応手法であるtextscAttunerを提案する。
• 参考スコア（独自算出の注目度）: 39.350115407978656
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language model (LLM) agents repeatedly load reusable content, such as skills, documents, and memory entries, into the current context. Re-encoding this content for every request wastes computation. Position-independent caching (PIC) alleviates this by encoding each artifact independently and reusing its key-value (KV) states at arbitrary positions, but it incurs a quality loss relative to full-context prefill. Existing methods repair this loss by restoring global position IDs or recomputing selected tokens. In this work, we isolate the source of the loss, finding that the positional mismatch has minor effect, and independently cached artifacts retain faithful representations: reading a provided artifact stays largely accurate, and performance degrades only when the model must select among multiple artifacts. Moreover, replacing PIC's attention scores with full-prefill scores recovers performance with the cached KV unchanged, localizing the failure to the attention rather than KV recomputation. Motivated by this, we propose \textsc{Attuner}, a query-side adaptation method that learns to read a frozen artifact cache. \textsc{Attuner} inserts low-rank adapters into the query projections and is trained by distilling full-prefill distribution into the student. It trains fewer than 0.05\% of the model parameters and, at inference, requires neither cache recomputation nor a full-context reference. On Qwen3-4B and Qwen3-8B across seven benchmarks covering skills, documents, memory, and code, \textsc{Attuner} substantially outperforms prior PIC baselines in both in-domain and out-of-domain settings, matches full-context prefill quality while providing up to $3.73\times$ speedup.
• Abstract（参考訳）: 大規模言語モデル(LLM)エージェントは、スキル、ドキュメント、メモリエントリなどの再利用可能なコンテンツを現在のコンテキストに繰り返しロードする。 このコンテンツをリクエスト毎に再エンコードすることは、計算を無駄にする。 位置独立キャッシング(PIC)は、各アーティファクトを独立してエンコードし、キー値(KV)状態を任意の位置に再利用することでこれを緩和するが、フルコンテキストプリフィルと比較して品質損失を引き起こす。 既存の方法では、グローバルな位置IDを復元したり、選択したトークンを再計算することで、この損失を修復する。 本研究では,その損失源を分離し,位置ミスマッチが小さいこと,および独立にキャッシュされたアーティファクトが忠実な表現を保持すること,すなわち,提供されたアーティファクトの読み出しは大部分が正確であり,モデルが複数のアーティファクトの中から選択しなければならない場合にのみ性能が劣化する,といったことを確認した。 さらに、PICのアテンションスコアをフルプリフィルスコアに置き換えることで、キャッシュされたKVを変更せずにパフォーマンスを回復し、KV再計算よりもアテンションにローカライズする。 そこで我々は,凍結したアーティファクトキャッシュを読み取るのを学習するクエリ側適応法である‘textsc{Attuner} を提案する。 \textsc{Attuner} はクエリプロジェクションに低ランクのアダプタを挿入し、学生に完全なプリフィル分布を蒸留することで訓練する。 モデルパラメータの0.05\%未満をトレーニングし、推論時にはキャッシュ再計算もフルコンテキスト参照も必要としない。 Qwen3-4BとQwen3-8Bは7つのベンチマークで、スキル、ドキュメント、メモリ、コードをカバーする。

関連論文リスト

• RelaxKV: Recomputation Guided by the Query with Sparse Context Attention for Efficient KV Cache Reuse [11.49301528421843]
  クロスリクエストKVキャッシングはレトリーバル拡張ジェネレーション(RAG)のプリフィルコストを低減させる RelaxKVは、修復目標と再計算コンテキストに対する共同割り当て問題として選択的なキャッシュ修復を定式化する。
  論文  参考訳（メタデータ） (2026-09-27T12:12:00Z)
• ReCache: Efficient KV Cache Reuse and Compression for Tool-Augmented LLM Agents [7.368551130048085]
  textbfReCacheは、リソース表現を独立してキャッシュするためのフレームワークである。 7つの公開ツールとスキルユースデータセットから収集したベンチマークでReCacheを評価した。
  論文  参考訳（メタデータ） (2026-08-20T05:57:24Z)
• Back from the Future: Key-Value Cache Management by Counter-Causal Surprise [67.1056509495879]
  近年,キーバリュー(KV)キャッシュ管理が重要な研究方向として注目されている。 より最近のトークンからよく予測できる過去のトークンは冗長である,という洞察に動機づけられた,単純かつ効果的なKV消去スキームを提案する。 我々は,他の最先端手法と比較して,競争力や性能向上を示す各種オープンソースLCMとベンチマークデータセットについて,我々の戦略を評価した。
  論文  参考訳（メタデータ） (2026-07-30T02:42:51Z)
• Judge Q: Trainable Queries for Optimized Information Retention in KV Cache Eviction [53.83828564664595]
  大規模言語モデル(LLM)は、キー値(KV)キャッシュを使用して、シーケンス処理中に履歴情報を格納する。 KVキャッシュ消去の現在の方法は、通常、プレフィルフェーズからの最後のウィンドウをクエリとして利用し、消去のためのKV重要度スコアを計算する。 ソフトトークンリストを組み込んだ新しいトレーニング手法であるジャッジQを提案する。
  論文  参考訳（メタデータ） (2025-09-13T03:34:12Z)
• KVLink: Accelerating Large Language Models via Efficient KV Cache Reuse [30.48395228595732]
  KVLinkは、大規模言語モデル(LLM)における効率的なキー値(KV)キャッシュ再利用のためのアプローチである。 KVLinkは、連結後のグローバルな位置と一致するように、推論時にKVキャッシュの位置埋め込みを調整することと、自己注意を回復するためにトレーニング可能な特別なトークンを使用することである。 7つのデータセットにわたる実験によると、KVLinkは最先端の手法よりも平均4%の精度で質問応答を改善する。
  論文  参考訳（メタデータ） (2025-02-21T23:34:29Z)
• PrefixKV: Adaptive Prefix KV Cache is What Vision Instruction-Following Models Need for Efficient Generation [97.41972925670508]
  大規模視覚言語モデル(LVLM)は、推論中に重要な計算とメモリオーバーヘッドを引き起こす。 ここでは、PrefixKVについて述べる。ここでは、Prefixは、元のシーケンスの位置ではなく、重要度に基づいて、上位ランクのKVを意味する。 本手法は他の手法と比較して最先端の性能を実現する。
  論文  参考訳（メタデータ） (2024-12-04T15:48:59Z)
• Model Tells You What to Discard: Adaptive KV Cache Compression for LLMs [82.08922896531618]
  大規模言語モデル(LLM)における生成推論のメモリフットプリントを削減するプラグイン・アンド・プレイ方式である適応KVキャッシュ圧縮を導入する。 我々は,アテンションモジュールの本質的な構造を明らかにするために,ターゲットプロファイリングを行う。 認識された構造に基づいて、我々はKVキャッシュを適応的に構築する: 注意頭上の長距離コンテキストを排除し、局所的なコンテキストを強調し、特別なトークンを中心とした注意頭上の特別なトークンを排除し、すべてのトークンに広く参加する注目頭に対して標準のKVキャッシュのみを使用する。
  論文  参考訳（メタデータ） (2023-10-03T05:17:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。