論文の概要: Rehearse Everything, Remember Nothing: Attic-KV Rehearses What Will Be Read

• arxiv url: http://arxiv.org/abs/2610.12133v1
• Date: Thu, 08 Oct 2026 15:22:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:54.115486
• Title: Rehearse Everything, Remember Nothing: Attic-KV Rehearses What Will Be Read
• Title（参考訳）: 全てをリハーサルし、何も覚えていない: Attic-KVが読みたいものをリハーサルする
• Abstract要約: キーバリューキャッシュは、何が要求されるかを知る前に圧縮される。 一般的なアプローチは、リハーサルによってKVエントリをスコア付けする。 我々はこの前提が厳格な予算で裏打ちされることを示します。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Many key-value (KV) caches are compressed before anyone knows what will be asked of them: a document cached for retrieval, a prompt prefix shared across requests, the memory of a long conversation. The prevailing approach scores KV entries by rehearsal: the model rereads the context and keeps the entries it attends to, assuming that the more completely a cache rehearses its context, the better it remembers it. We show that under tight budgets this assumption backfires: rehearse everything, remember nothing. At a 3% keep ratio, rereading the whole context keeps 31.5 of 96.5 points on RULER, and on LongBench's natural-text tasks it falls below methods that rehearse nothing at all. The cause is that a cache keeps what it rehearses: rereading spreads the budget across the whole context, so the answer's own entries survive at little more than chance. Like a student before an exam, a cache remembers more by testing itself than by rereading. Two principles follow: rehearse what will be read, and rehearse as much as there is. We instantiate them as Attic-KV (Attic for short), a training-free rehearsal in which the model quizzes itself with question-answer pairs that quote the context, alongside anchor tokens in a content-adaptive amount. Changing only the rehearsal lifts three hosts that score it in three different ways: Attic alone is the best training-free method in all eight settings we test on RULER and LongBench's natural-text tasks, and plugged into the gradient-based KVgrad and the trained RestoreKV+, it raises them by up to 17.1 and 28.1 points. Its advantage grows as the budget shrinks, reaching 41.9 points over full rereading at a 3% keep ratio, and it compresses faster than rereading the whole context.
• Abstract（参考訳）: 多くのキー値(KV)キャッシュは、何が要求されるかを知る前に圧縮される:検索のためにキャッシュされたドキュメント、リクエスト間で共有されるプロンプトプレフィックス、長い会話のメモリ。 キャッシュが完全にリハーサルされるほど、そのコンテキストを思い出すほど良くなると仮定して、モデルはコンテキストを読み取り、そのエントリを保存します。 厳格な予算の下では、この仮定の裏目には、すべてをリハーサルし、何も覚えていない、ということが示されます。 3%の保持率で、コンテキスト全体を読み込むと、RULERでは96.5ポイントの31.5が保持され、LongBenchの自然言語タスクでは、何もリハーサルしないメソッドに該当する。 リリーディングは、コンテキスト全体に予算を広げるので、答えのエントリは、偶然にしか生き残れません。 試験前の学生のように、キャッシュは再読み込みよりもテストによって記憶される。 読みたいものをリハーサルし、そのままリハーサルする、という2つの原則がある。 我々は、それらをAttic-KV(略してAttic)としてインスタンス化し、トレーニング不要のリハーサルとして、モデルがコンテキストを引用する質問応答ペアと、コンテンツ適応量でアンカートークンとを共用する。 AtticだけでRULERとLongBenchの自然言語タスクでテストした8つの設定の中で、最高のトレーニングフリーメソッドであり、勾配ベースのKVgradとトレーニングされたRestoreKV+にプラグインされ、最大17.1と28.1ポイント上昇します。 その利点は予算が縮小するにつれて増大し、全リリープで41.9ポイントを3%のキープ比で達成し、全体のリリープよりも高速に圧縮する。

関連論文リスト

• KV$^2$: A Self-Refining KV Cache [21.448796705555484]
  本稿では,クエリに依存しないKV-cache圧縮手法であるKV$2$を紹介する。 KV$2$は、まず軽量プロキシスコアラを使用して情報的インコンテキストトークンを識別し、次にこのサブセットのみを再処理して最終的な消去スコアを計算する。
  論文  参考訳（メタデータ） (2026-10-02T12:11:35Z)
• EchoPress: Query-Agnostic KV Cache Pruning via Virtual Context Reconstruction [6.652914234926738]
  EchoPressは、標準的なプリフィルからのクエリとキーを使用して、再構築の注意を近似する。 Qwen3-8BとLlama-3.1-8B-InstructによるLongBenchとRULERの実験は、EchoPressがKVzipと50%から90%の範囲でタスク精度で一致していることを示している。
  論文  参考訳（メタデータ） (2026-09-30T14:04:50Z)
• Fine-Tuning a KV Cache Concatenation-Aware Model or Recomputing KV Caches? Why Not Both? [2.381405202108335]
  Retrieval-Augmented Generation (RAG)システムでは、多数の取得したチャンクを検索して入力コンテキストを形成する。 その結果、入力コンテキストの長さが大幅に増加し、プリフィル作業量が大きくなる。 KVキャッシュ結合を考慮に入れ、KVキャッシュのサブセットを選択的に再計算しながらモデルを微調整する組み合わせアプローチを提案する。
  論文  参考訳（メタデータ） (2026-09-09T06:12:39Z)
• A Hippocampus for Linear Attention: An Exact Memory for What the Recurrent State Forgets [14.349344554516259]
  HOLA(Hippocampal Linear Attention)は、通常のデルタルール状態を圧縮メモリとして保持し、正確なKVキャッシュを追加する。 15B SlimPajamaトークンでトレーニングされた340万のパラメータで、HOLAはWikitextのパープレキシティを27.32から22.92(-16.1%)に下げる。 また、最高のリニアインコンテキスト検索を実現し、GDNやRULERのニードル・イン・ア・ヘイスタック上のHOLA+リカレンシキャッシュよりもずっと堅牢であり、32kトークン(トレーニング長の16倍)にリコールされる。
  論文  参考訳（メタデータ） (2026-07-02T15:19:49Z)
• KVEraser: Learning to Steer KV Cache for Efficient Localized Context Erasing [32.86656152626106]
  KVEraserは、効率的な局所的コンテキスト消去のための学習されたKV-cache編集方法である。 KVEraserは、ドメイン内タスクのアセスメント後のパフォーマンスにおいて、完全再計算とほぼ一致していることを示す。
  論文  参考訳（メタデータ） (2026-06-15T17:53:09Z)
• Make Each Token Count: Towards Improving Long-Context Performance with KV Cache Eviction [65.710271475739]
  我々は,各トークンの将来のユーティリティを統一メモリ予算の下で学習する,グローバルな保持に基づくKV消去手法を提案する。 提案手法は,フルキャッシュ推論に適合したり,超えたりしながら,KVメモリを大幅に削減することを示す。 これらの結果から,世界規模で校正されたKV消去は圧縮技術であるだけでなく,長文推論を改善するメカニズムでもあることが示唆された。
  論文  参考訳（メタデータ） (2026-05-10T16:47:50Z)
• StreamKV: Streaming Video Question-Answering with Segment-based KV Cache Retrieval and Compression [95.59657871147846]
  我々は,ビデオLLMと高度なKVキャッシュの検索と圧縮をシームレスに行うフレームワークである textbfStreamKV を提案する。 公開StreamingVQAベンチマークの実験では、StreamKVが既存のオンラインビデオ-LLMを著しく上回っていることが示されている。
  論文  参考訳（メタデータ） (2025-11-10T16:25:03Z)
• ChunkKV: Semantic-Preserving KV Cache Compression for Efficient Long-Context LLM Inference [61.412894960600205]
  大きな言語モデル(LLM)は、長いテキストを処理する際に大きなGPUメモリを必要とする。 ChunkKVは、セマンティックチャンクを基本的な圧縮単位として扱うことで、KVキャッシュ圧縮を再定義する。 結果: ChunkKVは最先端の手法を最大8.7%精度で上回る。
  論文  参考訳（メタデータ） (2025-02-01T03:49:47Z)
• SCBench: A KV Cache-Centric Analysis of Long-Context Methods [61.025422435235456]
  KVキャッシュ中心の視点から長文の手法を評価するベンチマークであるSCBenchを紹介する。 我々は、Gated Linear RNNsやMamba-Attention Hybridsを含む8つのカテゴリの長期コンテキストソリューションについて、広範なKVキャッシュ中心の分析を行う。 本研究は,O(n)メモリとサブO(n2)プリフィルによるスパース符号化が堅牢に動作する一方で,サブO(n)メモリ手法がマルチターンシナリオに悩まされていることを示す。
  論文  参考訳（メタデータ） (2024-12-13T17:59:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。