論文の概要: WakeKV: Reactive, Reversible KV Residency for Heads That Change Their Minds

• arxiv url: http://arxiv.org/abs/2610.02713v1
• Date: Fri, 02 Oct 2026 02:48:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 00:14:30.172089
• Title: WakeKV: Reactive, Reversible KV Residency for Heads That Change Their Minds
• Title（参考訳）: WakeKV: 心を変える頭のためのリアクティブで可逆的なKVレジデンシ
• Abstract要約: KV-cache圧縮メソッドは、オフラインまたはプリフィル中の注意ヘッドを一度に分類し、世代毎にこの分類を固定する。 4つのモデル・レジームの組み合わせで頭部の挙動を測定し、ほとんどの頭部は世代毎に少なくとも1回は読書行動を変化させる。 WakeKVは、冷却ヘッドを凍結あるいは永久に停止するのではなく、回復可能なCPU貯水池に移動させるリアクティブ常駐ポリシーである。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Most KV-cache compression methods classify attention heads once, either offline or during prefill, and keep this classification fixed throughout generation. Across three models (1.5B-8B) and three regimes (needle retrieval, long chain-of-thought, and multi-turn recall), we measure head behavior on four model-regime combinations and find that most heads change their reading behavior at least once during generation. We introduce WakeKV, a reactive residency policy that moves cooling heads to a recoverable CPU reservoir rather than freezing or permanently evicting their state. At matched memory or budget, WakeKV consistently improves miss rate over frozen classification and destructive eviction, evaluated across five model-regime combinations and over three cited baselines (SnapKV, uniform R-KV, and ReasonAlloc) across four eligible combinations. A FlexiCache/vLLM implementation on Mistral-7B confirms the benefit on real hardware, improving throughput while retaining LongBench quality.
• Abstract（参考訳）: ほとんどのKV-cache圧縮手法は、オフラインまたはプリフィル中の注意ヘッドを一度に分類し、世代毎にこの分類を固定する。 3つのモデル(1.5B-8B)と3つのレジーム(1つの検索、長いチェーン・オブ・シンク、複数ターンリコール)の合計で、4つのモデルとレジムの組み合わせで頭部の挙動を測定し、ほとんどのヘッドが少なくとも1回は読み出し行動を変えることを発見した。 WakeKVは、冷却ヘッドを凍結あるいは永久に停止するのではなく、回復可能なCPU貯水池に移動させるリアクティブ常駐ポリシーである。 一致したメモリや予算では、WakeKVは凍結した分類と破壊的な排除よりもミス率を一貫して改善し、5つのモデルとレジムの組み合わせで評価され、3つ以上のベースライン(SnapKV、均一なR-KV、ReasonAlloc)が4つの可能な組み合わせで評価される。 Mistral-7B上のFlexiCache/vLLM実装は、実際のハードウェアの利点を確認し、LongBenchの品質を維持しながらスループットを改善している。

関連論文リスト

• On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability [57.03393882933515]
  Qwen3.8-Flash-Nextは125Bパラメータ、トークンあたり6Bアクティベートされ、加速器から保持されるn-gram埋め込みテーブルの51Bパラメータを持つスパースミックス・オブ・エキスパートモデルである。 トレーニング前の14のベンチマークでは、このモデルは前モデルの397B-A17Bを8点、残りを少なくとも2.6ポイント、アクティベートされたパラメータが1/3、トレーニングトークンが1/3、トレーニング用FLOPが1/9であった。
  論文  参考訳（メタデータ） (2026-08-31T06:35:07Z)
• CateKV: On Sequential Consistency for Long-Context LLM Inference Acceleration [67.17709877327232]
  ケイトKVは、一貫したヘッドに対して重要なトークン情報のみを保持するハイブリッドKVキャッシュ方式である。 Cate KV はメモリ使用量を最大$2.72 times$に減らし、シングルサンプル入力で$2.18times$に減らした。
  論文  参考訳（メタデータ） (2026-08-31T06:02:37Z)
• TwinKV: A Composable Repair Pass for KV Cache Eviction via Pairwise Key Redundancy [32.29092613421357]
  ロングコンテキスト推論はキー値(KV)キャッシュのメモリフットプリントによってボトルネックとなる。 我々はTwinKVを紹介した。これはトレーニング不要で注意のない冗長性信号で、トークンのキーがコンテキスト内でほぼ重複しているかどうかを検出する。 我々はTwinKVを、LongBench、LooGLE、RULERの4つの最近の消去ポリシーと、圧縮比0.3,0.5,0.7$の短文MMLU-Proノハーム制御で構成する。
  論文  参考訳（メタデータ） (2026-08-27T13:43:30Z)
• AgentKVShift: Efficient KV Cache Reuse for Agentic Memory Systems [15.913507689262573]
  AgentKVShift(エージェントKVShift)は、検索したメモリ単位ごとに動作させる訓練不要のプローブ誘導残差補正手法である。 我々は,AgentKVShiftがキャッシュの10～30%をリフレッシュしながら,ほぼ完全な再計算性能を実現することを示す。 このほぼフルに近いパフォーマンスに達するには最大5倍の低い再計算が必要で、以前の再利用メソッドは45～55%のリフレッシュしか得られない。
  論文  参考訳（メタデータ） (2026-05-15T16:29:36Z)
• Linear Predictability of Attention Heads in Large Language Models [0.5833117322405447]
  事前学習したトランスフォーマーは,頭部間線形構造が広範に存在することを示す。 我々は、参照ヘッドKV状態のみをキャッシュし、残りのヘッドをオンザフライで再構築することでこれを活用します。
  論文  参考訳（メタデータ） (2026-03-04T09:04:03Z)
• ForesightKV: Optimizing KV Cache Eviction for Reasoning Models by Learning Long-Term Contribution [84.41751286055909]
  我々は、長文世代におけるどのKVペアを退避させるかを予測する訓練ベースのKVキャッシュ消去フレームワークを開発した。 我々は、マルコフ決定過程としてキャッシュ消去を定式化し、GRPOアルゴリズムを適用し、低エントロピートークンにおける言語モデリング損失の増加を緩和する。
  論文  参考訳（メタデータ） (2026-02-03T07:16:51Z)
• PackCache: A Training-Free Acceleration Method for Unified Autoregressive Video Generation via Compact KV-Cache [61.57938553036056]
  トレーニング不要なKVキャッシュ管理手法であるPackCacheを導入し,KVキャッシュを3つの協調機構でコンパクト化する。 効率の面では、PackCacheは48フレームの長いシーケンスで1.7-2.2倍のエンドツーエンド生成を高速化する。
  論文  参考訳（メタデータ） (2026-01-07T19:51:06Z)
• Krul: Efficient State Restoration for Multi-turn Conversations with Dynamic Cross-layer KV Sharing [41.792908098945766]
  我々は,KVキャッシュの正確かつ効率的な復元を可能にするマルチターンLDM推論システムであるKrulを提案する。 Krulは、レイヤペア間の注目類似性に基づいて圧縮戦略を選択し、再計算ローディングパイプラインを使用してKVキャッシュを復元する。 タイム・ツー・ファースト・トケン(TTFT)の1.5x-2.68倍の削減、KVキャッシュストレージの1.33x-2.35倍の削減を実現している。
  論文  参考訳（メタデータ） (2025-07-10T01:51:17Z)
• ReCalKV: Low-Rank KV Cache Compression via Head Reordering and Offline Calibration [69.57122277845293]
  ReCalKVは,キーと値の調整を施した低ランクKVキャッシュ圧縮手法である。 キーズでは、構造的に類似した頭部をグループにクラスタリングし、より正確な低ランク近似を可能にするSimisity aware Recontext (HSR)を提案する。 本稿では,オフラインヘッドワイド値(OVC)を提案する。これはトレーニングなしでキャリブレーションデータを用いて,効率的に値予測行列を校正する。
  論文  参考訳（メタデータ） (2025-05-30T08:49:27Z)
• A Universal Framework for Compressing Embeddings in CTR Prediction [68.27582084015044]
  本稿では,事前学習した埋め込みを定量化することにより,埋め込みテーブルを圧縮するモデル非依存型埋め込み圧縮(MEC)フレームワークを提案する。 まず、高頻度特徴と低周波特徴のバランスをとるために、人気重み付け正規化を適用します。 3つのデータセットの実験により,提案手法はメモリ使用量を50倍以上削減し,レコメンデーション性能を維持・改善する。
  論文  参考訳（メタデータ） (2025-02-21T10:12:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。