論文の概要: GateSight: Recurrent Memory Anticipates Attention Memory for Query-Agnostic KV Eviction in Hybrid LLMs

• arxiv url: http://arxiv.org/abs/2610.14754v1
• Date: Sat, 10 Oct 2026 09:19:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.09957
• Title: GateSight: Recurrent Memory Anticipates Attention Memory for Query-Agnostic KV Eviction in Hybrid LLMs
• Title（参考訳）: GateSight: リカレントメモリは、ハイブリッドLLMにおけるクエリ非依存KV消去の注意記憶を期待する
• Abstract要約: ハイブリッド言語モデルはGated DeltaNet(GDN)層をインターリーブする。 本稿では,これらの信号を読み取る軽量なヘッド当たり多層パーセプトロンを用いて学習するGateSightを提案する。 GateSightは、4つのモデルベンチマークペアのうち3つで5つのクエリ非依存の手法の中で最も正確であり、KVzipを4つすべてで9.5から47.2ポイントリードする。
• 参考スコア（独自算出の注目度）: 12.04455190856202
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Hybrid language models interleave Gated DeltaNet (GDN) layers, whose recurrent memory has a fixed size, with full-attention layers, whose key-value (KV) cache grows with the context and dominates serving memory. In this paper, we ask whether the recurrent memory already knows what the attention memory will need. We first show that which GDN heads of Qwen3.8-27B keep long memories is fixed by the weights rather than by the document. Next, we define the future utility of a KV entry by how much removing it changes the attention output over the model's own continuations, and find that the write gate, decay and write magnitude that GDN layers emit during prefill anticipate this utility before any query is seen. Because the relation is spread across many GDN heads and layers, and a linear map recovers its trend but less of its high-utility tail than a nonlinear one, we propose GateSight, which learns it with lightweight per-head multilayer perceptrons that read these signals and no attention score. Their predicted utility decides which entries each attention layer keeps, and how much each layer keeps is set by the model's native attention output gate, whose mean differs by more than an order of magnitude across layers. Finally, at serving time, GateSight scores the cache once after prefill and physically releases discarded KV entries. Experimental results on SCBench and RULER-4096 with Qwen3.8-27B and, with the same recipe, the sparse-attention model Qwen3.8-Flash-Next, up to the 262K-token limit of the models, show that with a tenth of the attention KV cache, GateSight is the most accurate of five query-agnostic methods on three of the four model-benchmark pairs and leads KVzip on all four, by 9.5 to 47.2 points. Notably, it scores a full-length context with negligible overhead relative to prefill.
• Abstract（参考訳）: ハイブリッド言語モデルはGated DeltaNet(GDN)層をインターリーブする。メモリのリカレントサイズは一定であり、キー値(KV)キャッシュはコンテキストに応じて増加し、サービスメモリを支配している。 本稿では、リカレントメモリがアテンションメモリに何が必要なのかを既に知っているかどうかを問う。 まず、Qwen3.8-27BのGDNヘッドが長い記憶を維持しているかが、文書よりも重みによって固定されていることを示す。 次に、KVエントリの今後の実用性について、モデル自身の継続に対する注意出力をどの程度削除するかを定義し、GDNレイヤがプリフィル時に生成する書き込みゲート、減衰、書き込みサイズが、クエリを見る前にこのユーティリティを予測していることを確かめる。 この関係は多くのGDNの頭と層に広がっており、線形写像はその傾向を回復するが、その高ユーティリティの尾部は非線形のものよりも少ないため、これらの信号を読み取る軽量なヘッド当たりの多層パーセプトロンを用いて学習し、注意点を持たないGateSightを提案する。 彼らの予測ユーティリティは、各アテンション層が保持するエントリと、モデルのネイティブアテンション出力ゲートによってどのレイヤが保持されているかを決定する。 最後に、サービス時にGateSightはプリフィル後一度キャッシュをスコアし、破棄されたKVエントリを物理的にリリースする。 SCBench and RULER-4096 with Qwen3.8-27B, and with the same recipe, the sparse-attention model Qwen3.8-Flash-Next, to the 262K-token limit of the model, on 10th of the attention KV cache, showed that GateSight is the most accurate of five query-agnostic methods on three four model-benchmark pairs and led KVzip on all four, by 9.5 to 47.2 points. 特に、プリフィルに対するオーバーヘッドを無視してフル長のコンテキストをスコアする。

関連論文リスト

• Fractal KV-Cache Archives: Lossless Symbolic Storage with In-Place Retrieval for Long-Context LLM Inference [0.0]
  キー値(KV)キャッシュは、長文の自動回帰推論のメモリコストを支配している。 我々は、位置のKV状態がコードブックインデックスに量子化されると、結果のシンボルストリームを格納する方法を研究する。 記号列を低次元実ベクトルの列にシリアライズする縮約反復写像の族を再検討する。
  論文  参考訳（メタデータ） (2026-07-08T08:37:49Z)
• FlashMemory-DeepSeek-V4: Lightning Index Ultra-Long Context via Lookahead Sparse Attention [77.12062766962815]
  Lookahead Sparse Attention (LSA)は、DeepSeek-V4アーキテクチャ上に構築されたNeural Memory Indexerを利用している。 このアーキテクチャをバックボーンフリーの非結合なトレーニング戦略でインスタンス化する。 FM-DS-V4は、物理KVキャッシュのフットプリントを、フルコンテキストベースラインのわずか13.5%まで圧縮することを示した。
  論文  参考訳（メタデータ） (2026-06-08T06:25:54Z)
• Memory Grafting: Scaling Language Model Pre-training via Offline Conditional Memory [65.39827296429527]
  条件付きメモリのスケーリングは、言語モデルのキャパシティを向上する有望な方法である。 Engramのような既存の方法は、事前トレーニング中にスクラッチから大きなメモリテーブルを学習する。 本研究では, グラフトモデルから凍結した隠蔽状態を条件n-gramメモリとして利用する条件記憶スケーリング手法であるメモリグラフトを提案する。
  論文  参考訳（メタデータ） (2026-05-20T09:35:04Z)
• Make Each Token Count: Towards Improving Long-Context Performance with KV Cache Eviction [65.710271475739]
  我々は,各トークンの将来のユーティリティを統一メモリ予算の下で学習する,グローバルな保持に基づくKV消去手法を提案する。 提案手法は,フルキャッシュ推論に適合したり,超えたりしながら,KVメモリを大幅に削減することを示す。 これらの結果から,世界規模で校正されたKV消去は圧縮技術であるだけでなく,長文推論を改善するメカニズムでもあることが示唆された。
  論文  参考訳（メタデータ） (2026-05-10T16:47:50Z)
• Predictive Multi-Tier Memory Management for KV Cache in Large-Scale GPU Inference [0.0]
  キーバリュー(KV)キャッシュメモリ管理は、大規模GPU推論サービスにおける主要なボトルネックである。 現在のシステムは3つの複合的非効率性に悩まされている。 3つの問題すべてに対処する統一システムを提案する。
  論文  参考訳（メタデータ） (2026-04-19T21:34:09Z)
• HCAttention: Extreme KV Cache Compression via Heterogeneous Attention Computing for LLMs [13.013668526921778]
  既存のKVキャッシュ圧縮手法は、メモリが85%以上削減されたときに顕著な性能劣化を示す。 我々は、鍵量子化、値オフロード、動的KV消去を統合した異種アテンションフレームワークであるHCAttentionを提案する。 また,LongBenchベンチマークを用いて,KVキャッシュメモリのフットプリントを25%に縮めながら,本手法が完全アテンションモデルの精度を維持することを示した。
  論文  参考訳（メタデータ） (2025-07-26T06:43:14Z)
• CORM: Cache Optimization with Recent Message for Large Language Model Inference [57.109354287786154]
  メモリフットプリントを大幅に最小化するKVキャッシュを最適化する革新的な手法を提案する。 KVキャッシュ消去ポリシーであるCORMは、モデル微調整を必要とせずに、推論に必要なキーと値のペアを動的に保持する。 検証の結果,CORMはKVキャッシュの推論メモリ使用量を最大70%削減し,LongBenchの6つのタスクで性能劣化を無視できることがわかった。
  論文  参考訳（メタデータ） (2024-04-24T16:11:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。