論文の概要: Protection Is (Nearly) All You Need: Structural Protection Dominates Scoring in Globally Capped KV Eviction

• arxiv url: http://arxiv.org/abs/2605.18053v1
• Date: Mon, 18 May 2026 08:41:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-19 17:57:49.192257
• Title: Protection Is (Nearly) All You Need: Structural Protection Dominates Scoring in Globally Capped KV Eviction
• Title（参考訳）: 構造的保護は、地球に閉じ込められたKV(KV)のエミッションで優位に立つ
• Authors: Gabriel Garcia,
• Abstract要約: 我々は、グローバルにカプセル化されたデコード時間ハーネスの共有下で、KVキャッシュの消去について検討する。 構造的保護がなければ、ほぼゼロに近い品質に崩壊する。 保護により、単純なスコアアイソレーションの変種は、$K=32$でLRUと同値である。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study KV cache eviction under a shared globally capped decode-time harness. Seven policies (LRU, H2O, SnapKV, StreamingLLM, Ada-KV, QUEST, Random) share a prompt-boundary vulnerability: without structural protection, they collapse to near-zero quality on six pure-transformer models (F1$\leq$0.064). Reserving 10\% of cache at each boundary recovers 69--90\% of the $C{=}2{,}048$ reference-ceiling quality on seven LongBench models at $C{=}256$ (13\% retention); a ten-model panel spans 68--98\%. An attention-mass pilot (Qwen2.5-3B, $N{=}30$) suggests why: the position-0 sink holds ${\sim}75\%$ of prefix mass, while other boundary tokens sit near ${\sim}0.41{\times}$ uniform expectation, so attention scorers retain the sink but still drop structurally critical tokens. With protection, simplified score-isolation variants are TOST-equivalent to LRU at $K{=}32$ ($Δ{=}0.02$); at $K{=}8$, attention policies pairwise converge yet beat LRU by 0.011--0.021 F1 across $C{=}256$ and $C{=}512$. Faithful Ada-KV/QUEST add ${\sim}0.03$--$0.04$ F1 on Mistral-7B and Phi-3.5 beyond simplified variants. A NIAH-32K regime-transfer pilot on Qwen3-4B (decode vs.\ prefill, $C{\in}\{512,2048\}$) shows near-identical protection lifts (ratio 0.99--1.00). At 64K, protection helps but recovery is modest; faithful per-head scoring matches full-cache ceiling on Gemma-3-4B at 6.3\% retention only when the model already supports strong 64K retrieval without eviction. Overall: protection dominates; scoring differences are secondary once boundaries are guarded; per-head allocation gives a further modest gain.
• Abstract（参考訳）: 我々は、グローバルにカプセル化されたデコード時間ハーネスの共有下で、KVキャッシュの消去について検討する。 7つのポリシー(LRU、H2O、SnapKV、StreamingLLM、Ada-KV、QUEST、Random)は、迅速なバウンダリ脆弱性を共有している。 C{=}2{,}048$ $C{=}256$ (13\% 保持)で7つのLongBenchモデルの参照シーリング品質の69--90\%を回復する。 注意質量パイロット(Qwen2.5-3B, $N{=}30$)はなぜこう示唆する: 位置0シンクはプレフィックス質量の${\sim}75\%$を持ち、他の境界トークンは${\sim}0.41{\times}$均一な期待値の近くにあるため、注意スコアはシンクを保持するが、それでも構造的に重要なトークンを落とす。 K{=}32$$$Δ{=}0.02$; at $K{=}8$, attention policy pairwise converge yet to LRU by 0.011--0.021 F1 across $C{=}256$ and $C{=}512$。 Faithful Ada-KV/QUEST add ${\sim}0.03$--$0.04$ F1 on Mistral-7B and Phi-3.5 beyond simplevariants。 Qwen3-4B (decode vs。 C{\in}\{512,2048\}$) は、ほぼ同一の保護リフト(比 0.99--1.00)を示す。 64Kでは、保護は助けるが回復は控えめであり、忠実な頭当たりスコアはGemma-3-4Bのフルキャッシュの天井と6.3\%の保持で一致している。 全体としては、保護が支配的であり、境界が守られるとスコアの違いが二次的になる。

関連論文リスト

• Minimal-Intervention KV Retention via Set-Conditioned Diversity [7.208745673318648]
  小さな予算でのKVキャッシュ圧縮は、キャッシュ表現、ヘッドワイドルーティング、圧縮ケイデンス、デコード動作、予算内スコアリングにまたがる複雑な設計空間である。 本稿では,TriAttentioncitemao2026triattention Retention scorerの1機能的変更を提案する。 事前登録されたプロトコルは、凍結した開発スプリットで$をチューニングし、非結合のホールトアウトスプリットで$ = 0.5$、$$$は4つのうち2つでBonferroniをクリアする。
  論文  参考訳（メタデータ） (2026-05-14T02:50:20Z)
• Procedural-skill SFT across capacity tiers: A W-Shaped pre-SFT Trajectory and Regime-Asymmetric Mechanism on 0.8B-4B Qwen3.5 Models [0.0]
  我々は3つのQwen3.5高密度スケールにおける手続きスキルSFTの寄与を測定した。 SFT対応のプロシージャ$$リフトは、大まかに一様である。
  論文  参考訳（メタデータ） (2026-05-12T10:19:33Z)
• What Do EEG Foundation Models Capture from Human Brain Signals? [64.48249643001402]
  現代の脳波基礎モデルは、自己教師付き事前訓練を通じて生信号から直接学習する。 我々は3つのサブクエストに分解する: モデルが何を学習するか、モデルを何に使用するのか、そしてどのように説明できるのか。 3つの基礎モデル(CSBrain, CBraMod, LaBraM),5つの臨床タスク(MDD, Stress, ISRUC-Sleep, TUSL, Siena)と6ファミリー63機能レキシコンを含む。
  論文  参考訳（メタデータ） (2026-05-12T01:57:53Z)
• When Quantization Is Free: An int4 KV Cache That Outruns fp16 on Apple Silicon [0.0]
  KVキャッシュ量子化は、品質-レイテンシトレードオフとしてフレーム化される。 Apple Siliconの統一メモリにインセンティブを与えています。
  論文  参考訳（メタデータ） (2026-05-07T05:44:39Z)
• ZenBrain: A Neuroscience-Inspired 7-Layer Memory Architecture for Autonomous AI Systems [51.56484100374058]
  LongMemEval-500では、ZenBrainは長いコンテキストのオラクルのバイナリ・ジャッジの精度を4.5pp以内と一致させる。 ZenBrainは7層の神経科学にインスパイアされたメモリアーキテクチャである。
  論文  参考訳（メタデータ） (2026-04-26T20:39:19Z)
• Transactional Attention: Semantic Sponsorship for KV-Cache Retention [0.0]
  K=16トークン(4Kコンテキストの0.4%)では、既存のKV-cache圧縮法はすべてクレデンシャル検索の0%を達成する。 構造的アンカーパターンが隣接した値を持つトークンを排除から保護するスポンサー機構であるトランザクション注意(TA)を導入する。
  論文  参考訳（メタデータ） (2026-04-13T10:51:46Z)
• BountyBench: Dollar Impact of AI Agent Attackers and Defenders on Real-World Cybersecurity Systems [62.17474934536671]
  我々は、現実世界のシステムを進化させる際に、攻撃的かつ防御的なサイバー能力を捕獲する最初の枠組みを紹介する。 脆弱性ライフサイクルを捉えるために、3つのタスクタイプを定義します。検出(新たな脆弱性の検出)、エクスプロイト(特定の脆弱性の探索)、パッチ(特定の脆弱性のパッチ)。 Claude Code,OpenAI Codex CLI with o3-high and o4-mini,カスタムエージェント with o3-high, GPT-4.1, Gemini 2.5 Pro Preview, Claude 3.7 Sonnet Thinking, DeepSeek-R1。
  論文  参考訳（メタデータ） (2025-05-21T07:44:52Z)
• Stochastic Linear Bandits with Protected Subspace [51.43660657268171]
  線形目的関数を最適化するが、報酬は未知の部分空間にのみ得られる線形帯域問題の変種について検討する。 特に、各ラウンドでは、学習者は、目的または保護されたサブスペースを、アクションの選択とともにクエリするかどうかを選択する必要がある。 提案アルゴリズムはOFULの原理から導かれるもので,保護された空間を推定するためにクエリのいくつかを利用する。
  論文  参考訳（メタデータ） (2020-11-02T14:59:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。