論文の概要: EarlySelectKV: Anticipatory KV Selection via Cross-Layer Query Proxies

• arxiv url: http://arxiv.org/abs/2611.01715v1
• Date: Sun, 01 Nov 2026 09:03:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-04 23:36:30.493856
• Title: EarlySelectKV: Anticipatory KV Selection via Cross-Layer Query Proxies
• Title（参考訳）: EarlySelectKV:クロス層クエリプロキシによる予測KV選択
• Abstract要約: 我々は、初期隠れ状態からのクエリを使って選択したKVインデックスをプリ計算する、トレーニング不要な変換であるEarlySelectKVを紹介する。 RocketKV、Quest、Lokiによるテストでは、評価された設定全体で品質劣化の一貫性のあるパターンは示されていない。
• 参考スコア（独自算出の注目度）: 2.686595846512603
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Query-conditioned sparse KV selection reduces long-context inference cost by attending to a subset of historical KV entries at each decoding step. Existing selectors must wait for the target-layer query before scoring candidates and generating indices, placing routing on the immediate pre-attention path. We introduce EarlySelectKV, a training-free transformation that uses proxy queries from earlier hidden states to precompute selected KV indices while retaining the real target-layer query for final attention. Tests with RocketKV, Quest, and Loki show no consistent pattern of quality degradation across the evaluated settings. In the primary RocketKV evaluation, ES-RocketKV differs by +0.018 points on LongBench, approximately -0.01 points on RULER, and +0.25 percentage points on representative NIAH/Passkey settings. In a TensorRT-LLM deployment with CPU-offloaded routing, ES-RocketKV improves end-to-end output throughput by up to 12.4% and reduces GPU-resident memory by 11.1% of the combined KV/K-summary pool. This makes routing timing an explicit optimization target alongside KV subset selection in sparse long-context decoding. Code is available at https://github.com/sea-with-sakura/EarlySelectKV.
• Abstract（参考訳）: クエリ条件付きスパースKV選択は、各デコードステップで歴史的なKVエントリのサブセットに参加することで、長いコンテキスト推論コストを低減する。 既存のセレクタは、候補の評価とインデックス生成の前にターゲット層クエリを待たなければならない。 我々は、初期隠れ状態からのプロキシクエリを使用して、実際のターゲット層クエリを保持しながら、選択したKVインデックスをプリ計算する、トレーニング不要な変換であるEarlySelectKVを紹介した。 RocketKV、Quest、Lokiによるテストでは、評価された設定全体で品質劣化の一貫性のあるパターンは示されていない。 RocketKVの評価では、ES-RocketKVはLongBenchで+0.018点、RULERで約-0.01点、代表的NIAH/Passkey設定で+0.25点が異なる。 CPUオフロードルーティングを備えたTensorRT-LLMデプロイメントでは、ES-RocketKVは、エンドツーエンドの出力スループットを最大12.4%改善し、GPU常駐メモリをKV/Kサマリープールの11.1%削減する。 これにより、ルーティングタイミングは、スパース長文復号におけるKVサブセットの選択とともに、明示的な最適化ターゲットとなる。 コードはhttps://github.com/sea-with-sakura/EarlySelectKVで入手できる。

関連論文リスト

• RelaxKV: Recomputation Guided by the Query with Sparse Context Attention for Efficient KV Cache Reuse [11.49301528421843]
  クロスリクエストKVキャッシングはレトリーバル拡張ジェネレーション(RAG)のプリフィルコストを低減させる RelaxKVは、修復目標と再計算コンテキストに対する共同割り当て問題として選択的なキャッシュ修復を定式化する。
  論文  参考訳（メタデータ） (2026-09-27T12:12:00Z)
• DeltaKV: Residual-Based KV Cache Compression via Long-Range Similarity [50.52392445266824]
  そこで本稿では,KV表現における長距離間類似性と高共有遅延成分を動機とする残差ベースのKVキャッシュ圧縮フレームワークを提案する。 DeltaKVはトークンを捨てる代わりに、検索した履歴参照に対するセマンティックな残基をエンコードし、保存を著しく削減する。 実験によると、DeltaKVは、LongBench、SCBench、AIMEでほぼロスレスの精度を維持しながら、KVキャッシュメモリを元の29%に削減している。
  論文  参考訳（メタデータ） (2026-02-08T15:14:36Z)
• SpecAttn: Co-Designing Sparse Attention with Self-Speculative Decoding [3.47505166101801]
  SpecAttnは、検証誘導スパースアテンションを持つ自己投機的復号法である。 バニラ自動回帰復号法よりも2.81$times$高いスループットと、最先端のパリティベースの復号法よりも1.29$times$高いスループットを実現している。
  論文  参考訳（メタデータ） (2026-02-06T22:12:52Z)
• ProphetKV: User-Query-Driven Selective Recomputation for Efficient KV Cache Reuse in Retrieval-Augmented Generation [22.835149054167122]
  本稿では,RAGシナリオに対するユーザクエリ駆動型KVキャッシュ再利用手法であるProphet KVを提案する。 Prophet KVは、ユーザクエリに対するセマンティックな関連性に基づいてトークンを優先順位付けする。 以上の結果から, Prophet KVの完全補充精度は96%-101%であり,再計算率は20%に過ぎなかった。
  論文  参考訳（メタデータ） (2026-01-31T09:53:31Z)
• Judge Q: Trainable Queries for Optimized Information Retention in KV Cache Eviction [53.83828564664595]
  大規模言語モデル(LLM)は、キー値(KV)キャッシュを使用して、シーケンス処理中に履歴情報を格納する。 KVキャッシュ消去の現在の方法は、通常、プレフィルフェーズからの最後のウィンドウをクエリとして利用し、消去のためのKV重要度スコアを計算する。 ソフトトークンリストを組み込んだ新しいトレーニング手法であるジャッジQを提案する。
  論文  参考訳（メタデータ） (2025-09-13T03:34:12Z)
• Cache Me If You Can: How Many KVs Do You Need for Effective Long-Context LMs? [79.58770714228983]
  言語モデルは、書籍要約のようなタスクに対して、ますます長いコンテキストを扱う。 これによりキーバリュー(KV)キャッシュのメモリコストが増大する。 以前の多くの研究でKVをメモリから外す方法が提案されているが、そのアプローチは好ましい設定に適合している。 KVフットプリント*は、記憶中のKVエントリの量と寿命の両方を考慮し、統一された計量として提案する。
  論文  参考訳（メタデータ） (2025-06-20T16:21:12Z)
• R-KV: Redundancy-aware KV Cache Compression for Reasoning Models [77.84539432982307]
  共振モデル(R-KV)のための冗長性を考慮したKVキャッシュ圧縮を提案する。 R-KVはKVキャッシュの10%しか使用せず、完全なKVキャッシュ性能のほぼ100%を保っている。 驚くべきことに、R-KVは完全なKVキャッシュ性能の105%を達成し、KVキャッシュの16%を達成している。
  論文  参考訳（メタデータ） (2025-05-30T02:03:24Z)
• More Tokens, Lower Precision: Towards the Optimal Token-Precision Trade-off in KV Cache Compression [71.42818367729573]
  大規模言語モデル(LLM)では、KVキャッシュのメモリ使用量は推論において重大なボトルネックとなっている。 KVプルーニングやKV量子化を含む主流のKV圧縮法は、主にトークンまたは精度寸法を別々に扱う。 本稿では,KVキャッシュ圧縮におけるトークン精度トレードオフを包括的に検討する。
  論文  参考訳（メタデータ） (2024-12-17T09:20:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。