論文の概要: Compression Does Not End at Selection: Post-Selection Positional Geometry for Sparse KV Caches

• arxiv url: http://arxiv.org/abs/2610.21126v1
• Date: Thu, 15 Oct 2026 02:30:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 19:13:16.138334
• Title: Compression Does Not End at Selection: Post-Selection Positional Geometry for Sparse KV Caches
• Title（参考訳）: 選択時圧縮は終わらない:スパースKVキャッシュのための選択後の位置幾何学
• Abstract要約: 位置的組織が保持情報の使用にどのように影響するか、どの調整・継続ルールが回答の質を向上させるかを検討する。 本稿では,RoPERelayを提案する。このRoPERelayは,コンパクトな順序付きRoPE座標を割り当て,逆回転と再保存によってキャッシュされたキー位相を移動し,現在のクエリとその後の生成を同期する。
• 参考スコア（独自算出の注目度）: 0.9668407688201359
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sparse KV compression reduces long-context inference costs by retaining selected historical states, yet these states typically keep their coordinates from the full history. Under Rotary Position Embedding (RoPE), gaps left by evicted tokens continue to affect query-key matching, potentially limiting the use of retained evidence. We study post-selection positional geometry on a fixed selector-produced cache, examining how positional organization affects the use of retained information and which coordinate and continuation rules improve answer quality. To reorganize this geometry, we propose RoPERelay, which assigns compact, order-preserving RoPE coordinates, relocates cached key phases through inverse rotation and re-rotation, and synchronizes the current query and subsequent generation. It reuses existing K/V without renewed selection, historical re-prefill, or additional cache budget. Across 36 comparisons spanning two models, six sparse selectors, and three long-term memory tasks, RoPERelay improves answer quality in 32 cases. For Llama-3.1-8B-Instruct with BM25 on LongMemEval-S, accuracy increases from 23.6% to 35.4%. Measured complete-request time overhead is approximately 1%-3% in the evaluated configurations. These findings establish positional organization as a distinct optimization dimension for sparse KV caches after content selection.
• Abstract（参考訳）: スパースKV圧縮は、選択された歴史的状態を保持することによって、長いコンテキスト推論コストを削減するが、これらの状態は通常、それらの座標を完全な歴史から保持する。 Rotary Position Embedding (RoPE)の下では、削除されたトークンによって残されたギャップはクエリキーマッチングに影響を与え続けており、保持されたエビデンスの使用を制限する可能性がある。 固定セレクタ生成キャッシュ上でのポストセレクタの位置幾何について検討し、位置組織が保持情報の使用にどう影響するか、どの座標および継続規則が回答品質を改善するかを検討する。 この幾何を再編成するために,RoPERelayを提案する。このRoPERelayはコンパクトで順序保存のRoPE座標を割り当て,逆回転と再回転によってキャッシュされたキー位相を移動させ,現在のクエリとその後の生成を同期させる。 既存のK/Vを、再選択、履歴の再準備、追加のキャッシュ予算なしで再利用する。 2つのモデルと6つのスパースセレクタ、および3つの長期メモリタスクにまたがる36回の比較で、RoPERelayは32ケースで応答品質を改善した。 Llama-3.1-8B-Instruct with BM25 on LongMemEval-Sの精度は23.6%から35.4%に向上した。 完全な要求時間オーバーヘッドの測定は、評価された構成で約1%-3%である。 これらの結果から,コンテンツ選択後のスパースKVキャッシュの最適化次元として位置構造が確立された。

関連論文リスト

• PGL-3D: Towards Progressive Geometric Learning for 3D Visual Query Localization [60.842562471209995]
  3DVQLは、RGBポイントクラウドシーケンスにおけるクエリ対象の最新の連続的な発生を検索する。 応答フレーム毎に9-DoFキューブを予測します。 本稿では,予測-選択-再定義-予測フレームワークである3DVQL(PGL-3D)について紹介する。
  論文  参考訳（メタデータ） (2026-09-27T13:29:51Z)
• RelaxKV: Recomputation Guided by the Query with Sparse Context Attention for Efficient KV Cache Reuse [11.49301528421843]
  クロスリクエストKVキャッシングはレトリーバル拡張ジェネレーション(RAG)のプリフィルコストを低減させる RelaxKVは、修復目標と再計算コンテキストに対する共同割り当て問題として選択的なキャッシュ修復を定式化する。
  論文  参考訳（メタデータ） (2026-09-27T12:12:00Z)
• Grouped Value Attention: Efficient KV Caching via On-Demand Key Reconstruction [0.7391823486666543]
  Grouped Value Attention (GVA)は、グループ化された値を格納し、学習された線形マップでコンテンツキーを再構築する。 16次元の位置変化は5つのタスクの平均精度44.18に達し、GQAは44.36、MLAは43.88である。
  論文  参考訳（メタデータ） (2026-09-08T17:58:44Z)
• Back from the Future: Key-Value Cache Management by Counter-Causal Surprise [67.1056509495879]
  近年,キーバリュー(KV)キャッシュ管理が重要な研究方向として注目されている。 より最近のトークンからよく予測できる過去のトークンは冗長である,という洞察に動機づけられた,単純かつ効果的なKV消去スキームを提案する。 我々は,他の最先端手法と比較して,競争力や性能向上を示す各種オープンソースLCMとベンチマークデータセットについて,我々の戦略を評価した。
  論文  参考訳（メタデータ） (2026-07-30T02:42:51Z)
• Planning-aligned Token Compression for Long-Context Autonomous Driving [95.59023657139208]
  条件付きVQ-VA上に構築した計画整合型ワーキングメモリフレームワークを提案する。 圧縮は歴史的軌跡と学習した計画意図の両方で条件付けられている。 歴史的文脈が行動の正確性に最も重要となる高信号動的シナリオについて評価する。
  論文  参考訳（メタデータ） (2026-06-05T17:16:21Z)
• S$^3$-Attention:Attention-Aligned Endogenous Retrieval for Memory-Bounded Long-Context Inference [11.779449360037518]
  S3-Attentionは,長期コンテキスト処理を注目に順応した内因性検索として扱うメモリファースト推論時フレームワークである。 S3-Attentionは、軽量なスパースオートエンコーダを使用して、トランジェントキーとクエリプロジェクションをトップkスパース機能識別子にデコードする。 単一のストリーミングスキャン中にトークンの位置やスパンにCPUベースの逆インデックスマッピング機能を構築する。
  論文  参考訳（メタデータ） (2026-01-25T05:25:22Z)
• LoCoCo: Dropping In Convolutions for Long Context Compression [77.26610232994508]
  本稿では,Long Context Compression(LoCoCo)のための新しいアプローチであるDropping In Convolutionsを提案する。 LoCoCoは、固定サイズキーバリュー(KV)キャッシュのみを使用し、推論と微調整の両方のステージで効率を向上させることができる。
  論文  参考訳（メタデータ） (2024-06-08T01:35:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。