論文の概要: Fine-Tuning a KV Cache Concatenation-Aware Model or Recomputing KV Caches? Why Not Both?

• arxiv url: http://arxiv.org/abs/2609.09768v1
• Date: Wed, 09 Sep 2026 06:12:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:08.914463
• Title: Fine-Tuning a KV Cache Concatenation-Aware Model or Recomputing KV Caches? Why Not Both?
• Title（参考訳）: KVキャッシュのファインチューニング - 結合型モデルか、あるいはKVキャッシュの再計算か?
• Abstract要約: Retrieval-Augmented Generation (RAG)システムでは、多数の取得したチャンクを検索して入力コンテキストを形成する。 その結果、入力コンテキストの長さが大幅に増加し、プリフィル作業量が大きくなる。 KVキャッシュ結合を考慮に入れ、KVキャッシュのサブセットを選択的に再計算しながらモデルを微調整する組み合わせアプローチを提案する。
• 参考スコア（独自算出の注目度）: 2.381405202108335
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In Retrieval-Augmented Generation (RAG) systems, a large number of retrieved chunks are concatenated to form the input context so that users can receive high-quality responses based on external knowledge. As a result, the input context length increases substantially, leading to a larger prefill workload and, in turn, a longer time to first token (TTFT). While previous works that reuse precomputed key-value (KV) caches effectively reduce TTFT for long-context inputs, it remains unclear whether response quality is preserved when the input context becomes very long. In this paper, we propose a combined approach that (i) fine-tunes the model while taking KV cache concatenation into account and (ii) selectively recomputes a subset of the KV caches. By applying both techniques, we demonstrate improved accuracy for long-context inputs. Experiments on the RULER benchmark show that, for a 124k-token input, our method improves the RULER score by 9.7 point over the baseline that recomputes KV caches only. Moreover, TTFT is reduced by 80% compared with full attention.
• Abstract（参考訳）: Retrieval-Augmented Generation (RAG)システムでは、検索したチャンクを多数連結して入力コンテキストを形成し、ユーザが外部知識に基づいて高品質な応答を受信できるようにする。 その結果、入力コンテキストの長さは大幅に増加し、プリフィル作業量が大きくなり、第1トークン(TTFT)よりも長い時間になる。 事前計算されたキー値(KV)キャッシュを再利用する以前の研究は、長文入力のTTFTを効果的に削減するが、入力コンテキストが非常に長くなると応答品質が保存されるかどうかは不明である。 本稿では,組み合わせたアプローチを提案する。 (i)KVキャッシュ結合を考慮に入れながらモデルを微調整し、 (ii) KVキャッシュのサブセットを選択的に再計算する。 両手法を応用し,長文入力の精度向上を実証した。 RULERベンチマーク実験により,124kの入力に対して,KVキャッシュのみを再計算するベースライン上で,RULERのスコアを9.7ポイント向上することを確認した。 さらに、TTFTは注意力と比較して80%削減される。

関連論文リスト

• CateKV: On Sequential Consistency for Long-Context LLM Inference Acceleration [67.17709877327232]
  ケイトKVは、一貫したヘッドに対して重要なトークン情報のみを保持するハイブリッドKVキャッシュ方式である。 Cate KV はメモリ使用量を最大$2.72 times$に減らし、シングルサンプル入力で$2.18times$に減らした。
  論文  参考訳（メタデータ） (2026-08-31T06:02:37Z)
• MuKV: Multi-Grained KV Cache Compression for Long Streaming Video Question-Answering [75.0394545769057]
  KVキャッシュは、LLMプリフィルを介して歴史的なトークンのキーバリューを格納する。 MuKV は KV キャッシュ圧縮モジュールと半階層的検索手法を特徴とする手法である。 長時間ストリーミングのVideoQAベンチマークの実験では、MKVはメモリとオンラインQA効率を犠牲にすることなく、回答の正確性を大幅に向上することが示された。
  論文  参考訳（メタデータ） (2026-05-21T10:13:03Z)
• RDKV: Rate-Distortion Bit Allocation for Joint Eviction and Quantization of the KV Cache [28.54642982960947]
  大規模言語モデル(LLM)は様々なタスクにまたがって高い性能を示すが、長い入力コンテキストでの推論はメモリサイズと帯域幅によってボトルネックとなる。 既存のメソッドは、消去または量子化によってキャッシュを減らすが、通常は2つを分離して扱う。 本稿では、KVキャッシュ圧縮をレート歪み問題とみなし、同じビット割り当て方式の2つの端点の消去と量子化を行う。
  論文  参考訳（メタデータ） (2026-05-08T15:15:06Z)
• ProphetKV: User-Query-Driven Selective Recomputation for Efficient KV Cache Reuse in Retrieval-Augmented Generation [22.835149054167122]
  本稿では,RAGシナリオに対するユーザクエリ駆動型KVキャッシュ再利用手法であるProphet KVを提案する。 Prophet KVは、ユーザクエリに対するセマンティックな関連性に基づいてトークンを優先順位付けする。 以上の結果から, Prophet KVの完全補充精度は96%-101%であり,再計算率は20%に過ぎなかった。
  論文  参考訳（メタデータ） (2026-01-31T09:53:31Z)
• Judge Q: Trainable Queries for Optimized Information Retention in KV Cache Eviction [53.83828564664595]
  大規模言語モデル(LLM)は、キー値(KV)キャッシュを使用して、シーケンス処理中に履歴情報を格納する。 KVキャッシュ消去の現在の方法は、通常、プレフィルフェーズからの最後のウィンドウをクエリとして利用し、消去のためのKV重要度スコアを計算する。 ソフトトークンリストを組み込んだ新しいトレーニング手法であるジャッジQを提案する。
  論文  参考訳（メタデータ） (2025-09-13T03:34:12Z)
• Sparse Attention across Multiple-context KV Cache [8.236266965773465]
  推論効率を改善するために、履歴キーバリュー(KV)キャッシュを再利用することは、主流のアプローチとなっている。 近年の進歩は、KVキャッシュを選択できるスパースアテンション機構によってスループットをさらに向上させる。 本論文では,マルチコンテキストKVキャッシュにおける注意スペーシフィケーションの最初の調査であるSamKVについて述べる。
  論文  参考訳（メタデータ） (2025-08-06T02:53:14Z)
• FAEDKV: Infinite-Window Fourier Transform for Unbiased KV Cache Compression [18.12657364501536]
  FAEDKVは、トレーニング不要のKVキャッシュ圧縮フレームワークである。 初期の情報と最近の情報の両方を保存している。 LongBenchベンチマークの実験では、FAEDKVは既存のメソッドよりも最大22%優れていた。
  論文  参考訳（メタデータ） (2025-07-26T18:20:25Z)
• KV-Latent: Dimensional-level KV Cache Reduction with Frequency-aware Rotary Positional Embedding [72.12756830560217]
  Transformer Decodersをベースとした大規模言語モデル(LLM)が、会話生成AIの選択肢として好まれている。 デコーダアーキテクチャの全体的な優位性にもかかわらず、推論中にキーバリューキャッシュが徐々に増加し、主要な効率ボトルネックとなっている。 キーバリューベクトル次元を潜在空間にダウンサンプリングすることで、KVキャッシュのフットプリントを大幅に削減し、推論速度を向上させることができる。
  論文  参考訳（メタデータ） (2025-07-15T12:52:12Z)
• Cache Me If You Can: How Many KVs Do You Need for Effective Long-Context LMs? [79.58770714228983]
  言語モデルは、書籍要約のようなタスクに対して、ますます長いコンテキストを扱う。 これによりキーバリュー(KV)キャッシュのメモリコストが増大する。 以前の多くの研究でKVをメモリから外す方法が提案されているが、そのアプローチは好ましい設定に適合している。 KVフットプリント*は、記憶中のKVエントリの量と寿命の両方を考慮し、統一された計量として提案する。
  論文  参考訳（メタデータ） (2025-06-20T16:21:12Z)
• More Tokens, Lower Precision: Towards the Optimal Token-Precision Trade-off in KV Cache Compression [71.42818367729573]
  大規模言語モデル(LLM)では、KVキャッシュのメモリ使用量は推論において重大なボトルネックとなっている。 KVプルーニングやKV量子化を含む主流のKV圧縮法は、主にトークンまたは精度寸法を別々に扱う。 本稿では,KVキャッシュ圧縮におけるトークン精度トレードオフを包括的に検討する。
  論文  参考訳（メタデータ） (2024-12-17T09:20:31Z)
• SCBench: A KV Cache-Centric Analysis of Long-Context Methods [61.025422435235456]
  KVキャッシュ中心の視点から長文の手法を評価するベンチマークであるSCBenchを紹介する。 我々は、Gated Linear RNNsやMamba-Attention Hybridsを含む8つのカテゴリの長期コンテキストソリューションについて、広範なKVキャッシュ中心の分析を行う。 本研究は,O(n)メモリとサブO(n2)プリフィルによるスパース符号化が堅牢に動作する一方で,サブO(n)メモリ手法がマルチターンシナリオに悩まされていることを示す。
  論文  参考訳（メタデータ） (2024-12-13T17:59:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。