論文の概要: Cartridges++: KV Cache Compression without Off-Context Derailment

• arxiv url: http://arxiv.org/abs/2609.35621v1
• Date: Mon, 28 Sep 2026 16:57:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 20:17:27.764158
• Title: Cartridges++: KV Cache Compression without Off-Context Derailment
• Title（参考訳）: Cartridges++: オフコンテキストの脱線のないKVキャッシュ圧縮
• Abstract要約: 圧縮されたKV表現はドキュメントのキャッシュを模倣し、典型的には推論時間の前に1回、または何回も計算される。 カートリッジは、関連するQ/A対の蒸留を通してコンパクトなKV表現を学習する主要な圧縮方法として登場した。 Cartridgesはオンコンテクストクエリでは優れているが、変種は元のLLMのオフコンテクスト操作能力を向上する。 そこで我々はCartridges++を提案する。このカートリッジは、文脈外の性能を小さく、あるいは無視できるコストで維持する。
• 参考スコア（独自算出の注目度）: 31.23648286550559
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Serving long documents to a Large Language Model (LLM) repeatedly is expensive: computations grow with context length, and the memory footprint of the key-value (KV) cache balloons. Compressed KV (CKV) representations aim to mimic the cache of a document and are typically computed once and for all, ahead of inference time. Methods to obtain CKVs range from drop mechanisms that reduce their number of columns, to learned approaches. Among the latter, Cartridges have emerged as a leading compression method, learning compact KV representations through distillation on relevant Q/A pairs. While existing evaluations focus primarily on whether Cartridges and other CKVs yield approximately similar responses to document-related, on-context queries, we investigate the crucial deployment question of whether they can handle off-context queries, something the native KV representation is particularly good at, thanks to the mechanics of attention. We observe a fundamental trade-off: while Cartridges perform better for on-context queries, heuristic-variants preserve better the original LLM's ability to operate off-context. We measure this through their capability to avoid context contamination in their response, retain general knowledge, and follow instructions. We propose Cartridges++, simple modifications to cartridges that retain off-context abilities at small or negligible cost. The router variant decides at inference time whether the query should use the learned long-context memory, while the data-mixing variant allocates a small fraction of training Q/As to queries outside the reference long document. Our study shows that assessing CKVs on document utility alone can mask substantial degradation in broader model capabilities, yet those issues can be fixed with benign changes to CKV inference or training.
• Abstract（参考訳）: 長いドキュメントをLLM(Large Language Model)に繰り返し送信することはコストがかかる: 計算はコンテキスト長とともに増加し、キー値(KV)キャッシュバルーンのメモリフットプリントが増加する。 圧縮されたKV(CKV)表現は、ドキュメントのキャッシュを模倣することを目的としており、典型的には推論時間よりも先に1度だけ計算される。 CKVを得る方法は、カラム数を減らすドロップ機構から学習アプローチまで様々である。 後者のうち、カートリッジは、関連するQ/A対の蒸留を通してコンパクトなKV表現を学習する主要な圧縮方法として登場した。 既存の評価では、Cartridgesや他のCKVがドキュメント関連のオンコンテキストクエリとほぼ同様の応答を得られるかどうかに重点を置いているが、注意の仕組みのおかげで、ネイティブなKV表現が特に得意な、オフコンテキストクエリを処理できるかどうかという重要なデプロイメント問題について検討する。 Cartridgesはオンコンテクストクエリでは優れているが、ヒューリスティック変種は元のLLMのオフコンテクスト操作能力を向上する。 我々は, 文脈汚染を回避し, 一般知識を維持し, 指示に従う能力を通じてこれを測定する。 そこで我々はCartridges++を提案する。このカートリッジは、文脈外の性能を小さく、あるいは無視できるコストで維持する。 ルータの変種は、クエリが学習したロングコンテキストメモリを使用するべきかを推論時に決定し、データ混合変種は、参照ロングドキュメント外のクエリに対して、トレーニングQ/Aのごく一部を割り当てる。 本研究は,文書ユーティリティのみによるCKVの評価は,より広範なモデル能力の低下を隠蔽する可能性があるが,CKV推論やトレーニングの良質な変更により,これらの問題は修正可能であることを示唆する。

関連論文リスト

• BeaconKV: Key-Value Cache Compression Guided by Beacon Queries for Efficient Large Reasoning Model Inference [20.58039191111583]
  大型共振モデル (LRM) は拡張型チェイン・オブ・ソート (CoT) 生成により優れた問題解決を実現する。 その結果、キー値(KV)キャッシュはシーケンス長とともに線形に成長し、深刻なメモリボトルネックを発生させる。 本研究では,各グローバルなクエリクラスタに対して,Beaconクエリ,コンパクトな表現を格納する,トレーニング不要なKVキャッシュ圧縮手法であるBeaconKVを提案する。
  論文  参考訳（メタデータ） (2026-09-04T10:23:16Z)
• Make Each Token Count: Towards Improving Long-Context Performance with KV Cache Eviction [65.710271475739]
  我々は,各トークンの将来のユーティリティを統一メモリ予算の下で学習する,グローバルな保持に基づくKV消去手法を提案する。 提案手法は,フルキャッシュ推論に適合したり,超えたりしながら,KVメモリを大幅に削減することを示す。 これらの結果から,世界規模で校正されたKV消去は圧縮技術であるだけでなく,長文推論を改善するメカニズムでもあることが示唆された。
  論文  参考訳（メタデータ） (2026-05-10T16:47:50Z)
• G-KV: Decoding-Time KV Cache Eviction with Global Attention [57.47409249054187]
  大規模言語モデル(LLM)は複雑なタスクに優れるが、長いシーケンス長のため、計算とメモリの重大な課題に遭遇する。 KVキャッシュ圧縮は推論の効率を大幅に向上させる効果的な手法として登場した。 本稿では,グローバルスコアリング機構を用いたKVキャッシュ消去手法であるG-KVを提案する。
  論文  参考訳（メタデータ） (2025-11-29T14:21:33Z)
• Sparse Attention across Multiple-context KV Cache [8.236266965773465]
  推論効率を改善するために、履歴キーバリュー(KV)キャッシュを再利用することは、主流のアプローチとなっている。 近年の進歩は、KVキャッシュを選択できるスパースアテンション機構によってスループットをさらに向上させる。 本論文では,マルチコンテキストKVキャッシュにおける注意スペーシフィケーションの最初の調査であるSamKVについて述べる。
  論文  参考訳（メタデータ） (2025-08-06T02:53:14Z)
• KVzip: Query-Agnostic KV Cache Compression with Context Reconstruction [37.97434606840326]
  トランスフォーマーベースの大規模言語モデル(LLM)は、推論中にキー値(KV)ペアとしてキャッシュコンテキストを持つ。 コンテキストの長さが大きくなると、KVキャッシュのサイズが拡大し、メモリオーバーヘッドが大きくなり、注意の遅延が増大する。 本稿では,クエリに依存しないKVキャッシュ消去手法であるKVzipを紹介する。
  論文  参考訳（メタデータ） (2025-05-29T13:05:47Z)
• More Tokens, Lower Precision: Towards the Optimal Token-Precision Trade-off in KV Cache Compression [71.42818367729573]
  大規模言語モデル(LLM)では、KVキャッシュのメモリ使用量は推論において重大なボトルネックとなっている。 KVプルーニングやKV量子化を含む主流のKV圧縮法は、主にトークンまたは精度寸法を別々に扱う。 本稿では,KVキャッシュ圧縮におけるトークン精度トレードオフを包括的に検討する。
  論文  参考訳（メタデータ） (2024-12-17T09:20:31Z)
• SCBench: A KV Cache-Centric Analysis of Long-Context Methods [61.025422435235456]
  KVキャッシュ中心の視点から長文の手法を評価するベンチマークであるSCBenchを紹介する。 我々は、Gated Linear RNNsやMamba-Attention Hybridsを含む8つのカテゴリの長期コンテキストソリューションについて、広範なKVキャッシュ中心の分析を行う。 本研究は,O(n)メモリとサブO(n2)プリフィルによるスパース符号化が堅牢に動作する一方で,サブO(n)メモリ手法がマルチターンシナリオに悩まされていることを示す。
  論文  参考訳（メタデータ） (2024-12-13T17:59:52Z)
• No Token Left Behind: Reliable KV Cache Compression via Importance-Aware Mixed Precision Quantization [31.806112535762367]
  キーバリューキャッシングは、生成型大規模言語モデル(LLM)の推論速度とスループットを加速する重要な技術となっている。
  論文  参考訳（メタデータ） (2024-02-28T06:34:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。