論文の概要: Page-EntroKV: Hardware-Aligned, Entropy-Weighted KV-Cache Eviction under Grouped-Query Attention
- arxiv url: http://arxiv.org/abs/2610.03135v1
- Date: Fri, 02 Oct 2026 11:01:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-06 00:14:30.338571
- Title: Page-EntroKV: Hardware-Aligned, Entropy-Weighted KV-Cache Eviction under Grouped-Query Attention
- Title（参考訳）: Page-EntroKV: グループクエリアテンション下でのハードウェアアライン、エントロピー重み付きKVキャッシュエミッション
- Abstract要約: Page-EntroKVは、長文自動回帰言語モデルの動的消去のためのフレームワークである。
各物理群の頭は、シンクアイソレート衝突(Renyi-2)エントロピーに由来する重みによってプールされる。
結合オーバヘッド比(UOR)とグループ内不一致を定式化し、各グループ比で両側境界と並んで2つのヘッド群をリンクする正確な同一性を証明する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Serving long-context autoregressive language models is constrained by the key-value (KV) cache. Most dynamic eviction methods score token importance per query head and choose tokens independently. This fits poorly with grouped-query attention (GQA), where several query heads share one physical KV buffer: divergent per-head selections force the serving engine to retain the union of their choices - inflating the cache by up to the group ratio r - while arithmetic mean pooling dilutes the specialized retrieval heads that carry factual recall. We introduce Page-EntroKV, a formal framework for KV-cache eviction operating at the granularity GQA serving actually allocates. Heads within each physical group are pooled by weights derived from sink-isolated collision (Renyi-2) entropy - one inner product per head, computed once at prefill with no calibration - so sink heads cannot masquerade as retrieval heads. Pooled scores are projected onto PagedAttention page frames, and eviction executes at the hardware tuple (layer, group, page). We formalize the union overhead ratio (UOR) and intra-group disagreement, prove an exact identity linking them for two-head groups alongside two-sided bounds at every group ratio, prove strict budget preservation and a finite-context needle-retention bound that arithmetic mean pooling provably violates, and give exact per-layer page accounting. On a pilot architecture (Qwen2.5-1.5B-Instruct, r=6), head-independent replay over 2,240 group measurements yields union overhead up to 4.75x at a 2% budget, while Page-EntroKV holds UOR exactly 1.000; sink isolation removes a 13x sink masquerade; needle recall is 100% versus 0% for mean pooling at a 20% budget; retained cardinality is exact for every page size; and QA and code tasks remain solvable at 20% retention.
- Abstract（参考訳）: 長いコンテキストの自動回帰言語モデルを実行することは、キー値(KV)キャッシュによって制約される。
ほとんどの動的消去手法は、クエリーヘッド当たりのトークンの重要性をスコアし、独立してトークンを選択する。
複数のクエリヘッドが1つの物理KVバッファを共有しているため、グループクエリアテンション(GQA)には不適合である。
そこで我々は,KV-cache消去のための公式なフレームワークであるPage-EntroKVを紹介した。
各物理群の頭は、シンクアイソレート衝突(Renyi-2)エントロピー(1頭当たり1つの内積)から導かれる重みによってプールされるため、キャリブレーションなしで1回のプリフィルで計算される。
プールされたスコアはPagedAttentionページフレームに投影され、ハードウェアタプル(レイヤ、グループ、ページ)でエビクションが実行される。
我々は,団頭オーバヘッド比 (UOR) とグループ内不一致を定式化し,各グループ比で両面境界に関連づける正確なアイデンティティを証明し,厳密な予算保存と算術平均プーリングが確実に違反する有限コンテキストニードル保持境界を証明し,層ごとの正確な説明を行う。
パイロットアーキテクチャ(Qwen2.5-1.5B-Instruct, r=6)では、2240以上の頭非依存のリプレイは2%の予算で最大4.75倍、Page-EntroKVはUORを正確に1.000、シンクアイソレーションは13xシンクマスクレードを除去し、ニードルリコールは20%の予算で平均プールで100%対0%、保持された濃度は全ページサイズで完全であり、QAとコードタスクは20%の保持で解決可能である。
関連論文リスト
- QueryFormer: Winning Solution for KDD Cup 2026 Tencent UniRec Challenge [7.822815722530024]
ポストクリック変換率(pCVR)予測は、機能相互作用とシーケンシャルなユーザの振る舞いを共同でモデル化する必要がある。
KDDカップ2026 Tencent UniRec Challengeは、両方に対処する統一アーキテクチャを求めている。
我々は、スタック可能な統一フィールド-シーケンスブロックを中心にしたQueryFormerを提案する。
論文 参考訳（メタデータ） (2026-09-15T02:46:27Z) - Runtime Observability for Heterogeneous Attention Memory [20.158719055939383]
3つの演算子を持つ4つのメモリクラスすべてをカバーするランタイムオブザーバビリティ契約を提供します。
ステージごとのスタックを実行可能な要求レベルのリスク台帳に構成する。
論文 参考訳（メタデータ） (2026-08-06T10:41:50Z) - ReasonAlloc: Hierarchical Decoding-Time KV Cache Budget Allocation for Reasoning Models [51.947287846779545]
ReasonAllocはデコード時のKV圧縮を階層的な予算配分問題として再キャストする。
オフラインのレイヤ単位の事前配置戦略は、アーキテクチャ駆動の需要パターンをキャプチャする。
オンラインのヘッドワイド戦略は、リアルタイムユーティリティに基づいた情報豊富なヘッドへのデコード中にリソースを再配置する。
論文 参考訳（メタデータ） (2026-06-09T17:44:23Z) - Make Each Token Count: Towards Improving Long-Context Performance with KV Cache Eviction [65.710271475739]
我々は,各トークンの将来のユーティリティを統一メモリ予算の下で学習する,グローバルな保持に基づくKV消去手法を提案する。
提案手法は,フルキャッシュ推論に適合したり,超えたりしながら,KVメモリを大幅に削減することを示す。
これらの結果から,世界規模で校正されたKV消去は圧縮技術であるだけでなく,長文推論を改善するメカニズムでもあることが示唆された。
論文 参考訳（メタデータ） (2026-05-10T16:47:50Z) - Reformulating KV Cache Eviction Problem for Long-Context LLM Inference [2.0590127484132523]
大きな言語モデル(LLM)は、長いコンテキスト推論をサポートするが、キーバリュー(KV)キャッシュの増大により、メモリとランタイムのオーバーヘッドが大幅に増大する。
既存のKVキャッシュ消去法は、値表現、出力プロジェクション、ヘッド間相互作用の影響を無視し、局所的な注意重みに依存している。
注意マップと投影された値状態の間の乗法的相互作用を明示的にモデル化する新しい消去戦略であるLaProxを紹介する。
論文 参考訳（メタデータ） (2026-05-08T04:37:22Z) - Latent-Condensed Transformer for Efficient Long Context Modeling [60.72493959155964]
大規模言語モデルに対するLCA(Latent-Condensed Attention)を提案する。
LCAはMLAの潜伏空間内のコンテキストを凝縮し、表現はセマンティック潜伏ベクトルと位置キーに切り離される。
LCAは、最大2.5$times$プリフィルスピードアップと128Kコンテキストでの90%のKVキャッシュ削減を実現している。
論文 参考訳（メタデータ） (2026-04-14T08:40:31Z) - Exact Federated Continual Unlearning for Ridge Heads on Frozen Foundation Models [9.98952145483793]
ファンデーションモデルは一般的に、フェデレートされた設定でプライベートなユーザ生成データに適応するために、小さな訓練可能なヘッドを持つフリーズ機能抽出器としてデプロイされる。
我々は,この問題を,リッジ-レグレッションヘッドを用いた凍結基礎モデルとして,実用的には関係があるが未探索の状態で研究する。
論文 参考訳（メタデータ） (2026-03-13T13:24:35Z) - Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。
Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。
SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
論文 参考訳（メタデータ） (2025-09-25T14:05:55Z) - S2-Attention: Hardware-Aware Context Sharding Among Attention Heads [49.1454481007861]
スパースアテンションは、コンテキスト内のトークンのサブセットに選択的に出席する。
スパース・アテンションが今日の大規模言語モデルでモデルの品質を維持することができるかどうかは不明だ。
本稿では,Sparsely-Sharded(S2) attention, a Triton library that provide kernel optimization for sparse attention for sparse attention to customizable per-head and per-context-range levels。
論文 参考訳（メタデータ） (2024-07-25T00:27:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。