論文の概要: Who Should Score the Cache? Mid-Depth Layers Are the Best Judges of KV-Cache Eviction

• arxiv url: http://arxiv.org/abs/2611.02230v1
• Date: Sun, 01 Nov 2026 21:46:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-04 23:36:30.538568
• Title: Who Should Score the Cache? Mid-Depth Layers Are the Best Judges of KV-Cache Eviction
• Title（参考訳）: キャッシュのスコアを決めるには? 中間層がKVキャッシュの正しい判断
• Abstract要約: キーバリュー(KV)キャッシュ消去メソッドは、トークンをアテンションスコアでランク付けし、各レイヤが独自のキャッシュをスコア付けする。 我々は21モデルにわたって、スコアリング層の深さが消去品質を左右することがわかった。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Key-value (KV) cache eviction methods rank tokens by attention scores, and each layer scores its own cache. To our knowledge, no eviction method asks which layer should score. We find, across twenty-one models, that the depth of the scoring layer governs eviction quality. On the eighteen models with per-layer caches, spanning 0.5B to 109B, long-context retrieval accuracy collapses at shallow layers, peaks between 0.4 and 0.75 of depth, and degrades at the last layer. The curve arises because a layer judges tokens well only once it has used the question to find the answer, which takes several layers. Modeling eviction as a top-$k$ cut, we compute answer survival probability from prefill attention and reproduce the measured curves. This approach selects the scoring layer using calibration prompts with known answers, and the selected layer is the best layer measured on most models and never significantly below it. It improves on the own-layer default on sixteen of the eighteen models, with significant gains on seven, all at 14B or below, while on larger models the default is already close to the best mid-depth layer. Scoring every cache from the selected layer while keeping one set of tokens for all heads also beats per-head SnapKV by 18 to 43 points on five models up to 14B under tight budgets. This gain carries over to financial filings at 32K context, all at the same memory budget, with no extra forward pass. The same curve explains a penalty in shared-cache models, where several layers read one cache and the layer that writes it scores by default. On Gemma-4-E2B the writer is shallow and loses 28 points to a mid-depth reader at a 10% budget. We also find that in open-book question answering (LongBench) no mid-depth layer beats the own-layer default.
• Abstract（参考訳）: キーバリュー(KV)キャッシュ消去メソッドは、トークンをアテンションスコアでランク付けし、各レイヤが独自のキャッシュをスコア付けする。 我々の知る限りでは、どの層にスコアを付けるべきかを判断する方法は存在しない。 我々は21モデルにわたって、スコアリング層の深さが消去品質を左右することがわかった。 0.5Bから109Bの層間キャッシュを持つ18のモデルでは、浅い層では長文検索精度が崩壊し、深さは0.4から0.75まで、最終層では劣化する。 この曲線は、ある層が質問に答えを見つけるのに1度だけトークンをうまく判断するので生じます。 最上位のk$カットとしてエクリエーションをモデル化し、事前の注意から解答生存確率を計算し、測定された曲線を再現する。 このアプローチは、既知の答えを持つキャリブレーションプロンプトを用いてスコアリング層を選択し、選択された層は、ほとんどのモデルで測定された最良の層であり、その下にあるものはない。 デフォルトは18モデル中16モデルで改善されており、いずれも14B以下の7層で大幅に改善されている。 選択されたレイヤからすべてのキャッシュをスコア付けし、すべてのヘッドに1セットのトークンを保持しながら、厳しい予算の下で5つのモデルでSnapKVを18～43ポイント上回る。 この利益は32Kコンテキストでの財務書類に続き、すべて同じメモリ予算で、追加のフォワードパスはない。 同じ曲線は共有キャッシュモデルでペナルティを説明し、複数のレイヤが1つのキャッシュを読み、それをデフォルトで書き込むレイヤがスコアする。 Gemma-4-E2Bでは、ライターは浅く、10%の予算で奥行きの読者に28ポイント負けている。 また、オープンブックの質問応答(LongBench)では、中間層がデフォルト層に勝っていないことも分かりました。

関連論文リスト

• BellowsKV: One Latent for Many Layers, Expanded on Demand [14.027871382093018]
  BellowsKVは、n個の隣接層の隠れた状態をトークンごとに1つの共有潜在子にマッピングする、トレーニング不要の方法である。 圧縮3.6倍の精度で99%、13-14倍の97-98%を保ち、最強のクロス層法は16倍の84%である。
  論文  参考訳（メタデータ） (2026-10-26T08:35:59Z)
• MOSAIC: Multi-Objective Search for Allocating Inference Cache Across LLM Decoder Layers [0.6875312133832079]
  MOSAICは、任意の消去方法のための層ごとのKVキャッシュ予算を学習する。 RULERでは+48点、LongBenchでは+11.9点となる。 検索スペースは1040倍で、評価は4倍、予算あたりのGPU時間は18%少なく、スコアは6つ中5つだ。
  論文  参考訳（メタデータ） (2026-10-18T17:51:14Z)
• GateSight: Recurrent Memory Anticipates Attention Memory for Query-Agnostic KV Eviction in Hybrid LLMs [12.04455190856202]
  ハイブリッド言語モデルはGated DeltaNet(GDN)層をインターリーブする。 本稿では,これらの信号を読み取る軽量なヘッド当たり多層パーセプトロンを用いて学習するGateSightを提案する。 GateSightは、4つのモデルベンチマークペアのうち3つで5つのクエリ非依存の手法の中で最も正確であり、KVzipを4つすべてで9.5から47.2ポイントリードする。
  論文  参考訳（メタデータ） (2026-10-10T09:19:05Z)
• Random Attention: Rethinking KV Cache Eviction for Efficient Reasoning [78.75986976062454]
  大規模言語モデルは、拡張推論を必要とするタスクにおいて優れたパフォーマンスを達成する。 既存のKVキャッシュ圧縮メソッドは、1つのパラダイムを共有している。 選択信号はほとんど役に立たないことを示す。ランダム注意は各アテンションヘッド内でプロンプトと退避者をランダムに保ち、スコアを全く計算しない。
  論文  参考訳（メタデータ） (2026-09-03T06:38:38Z)
• Make Each Token Count: Towards Improving Long-Context Performance with KV Cache Eviction [65.710271475739]
  我々は,各トークンの将来のユーティリティを統一メモリ予算の下で学習する,グローバルな保持に基づくKV消去手法を提案する。 提案手法は,フルキャッシュ推論に適合したり,超えたりしながら,KVメモリを大幅に削減することを示す。 これらの結果から,世界規模で校正されたKV消去は圧縮技術であるだけでなく,長文推論を改善するメカニズムでもあることが示唆された。
  論文  参考訳（メタデータ） (2026-05-10T16:47:50Z)
• MoE-nD: Per-Layer Mixture-of-Experts Routing for Multi-Axis KV Cache Compression [7.208745673318648]
  既存の圧縮法は、それぞれ4次元KVテンソルの1軸に作用する。 それぞれの圧縮操作に対して異なる層が非常に異なる応答を示す。 そこで我々は,各レイヤを個別にルーティングするMix-of-expertsフレームワークであるMoE-nDを提案する。
  論文  参考訳（メタデータ） (2026-04-20T01:20:26Z)
• IndexCache: Accelerating Sparse Attention via Cross-Layer Index Reuse [68.18308357205586]
  Longcontext Agenticは、大規模言語モデルの定義ユースケースとして登場した。 Sparseは、この課題を効果的に解決し、DeepSeek Sparse Attention(DSA)は、代表的なプロダクショングレードソリューションである。 我々は、レイヤを独自のインデクサを実行するフルレイヤの小さなセットと、最も近いフルレイヤのトップkインデックスを単純に再利用する共有レイヤの大多数に分割することで、層間の冗長性を利用するIndexCacheを紹介します。
  論文  参考訳（メタデータ） (2026-03-12T17:27:21Z)
• Llama SLayer 8B: Shallow Layers Hold the Key to Knowledge Injection [73.06596715100859]
  知識注入のための最適層範囲の探索における各層の重要性について検討する。 本研究では,浅層を選択的に強化し,有効でない深層を刈り取るための事前学習戦略であるS戦略を提案する。 この戦略に基づき,Llama Slayer-8BとLlama Slayer-8B-Instructを導入する。
  論文  参考訳（メタデータ） (2024-10-03T09:28:59Z)
• FinerCut: Finer-grained Interpretable Layer Pruning for Large Language Models [54.787308652357794]
  FinerCutは変圧器ネットワークのための微細な層プルーニングの新たな形式である。 Llama3-8Bは25%の層を除去し,Llama3-70Bは95%の層を除去した。
  論文  参考訳（メタデータ） (2024-05-28T14:21:15Z)
• The Unreasonable Ineffectiveness of the Deeper Layers [5.984361440126354]
  一般的な質問応答ベンチマークでは, あるレイヤを削除してもモデル性能には影響しないことがわかった。 驚くべきことに、この方法では、少数の層が取り除かれるまで、パフォーマンスの最小限の劣化が見られます。 科学的見地からすると、これらのLCMの堅牢性からレイヤの削除は、現在の事前学習手法がネットワークの深い層におけるパラメータを適切に活用していない、あるいは浅い層が知識を保存する上で重要な役割を担っていることを示唆している。
  論文  参考訳（メタデータ） (2024-03-26T17:20:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。