論文の概要: OVAL: Output-Aware Local Page Bases for KV Cache Retrieval

• arxiv url: http://arxiv.org/abs/2610.06686v1
• Date: Mon, 05 Oct 2026 16:51:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 23:37:25.348461
• Title: OVAL: Output-Aware Local Page Bases for KV Cache Retrieval
• Title（参考訳）: OVAL: KVキャッシュ検索のための出力対応ローカルページベース
• Abstract要約: ページスパースアテンションは、各KVページをコンパクトに表現し、各クエリのサブセットのみを取得することで、このコストを削減する。 本稿では,キーと値の結合構造から抽出した出力認識ページの符号化手法を提案する。 提案手法は、キーのみのスペクトルベースラインを一貫して改善し、最近のKVキャッシュ圧縮と検索手法と競合する。
• 参考スコア（独自算出の注目度）: 14.113315394334931
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Long context inference with large language models becomes increasingly expensive as attention must operate over an ever growing KV cache. Page sparse attention reduces this cost by representing each KV page compactly and retrieving only a subset for each query. Existing retrieval methods are designed to estimate attention scores or page relevance, but their objectives do not directly account for how approximation errors affect the resulting value weighted attention output. We introduce \method{}, an output aware page encoding derived from the joint structure of keys and values while preserving the key information needed for accurate retrieval. \method{} is training free and requires no additional value dependent statistics at inference time. Once constructed, its stored representation has the same size and decode time scoring cost as a key only spectral representation. Across long reasoning, long context understanding, and long generation benchmarks, \method{} consistently improves over the key only spectral baseline and performs competitively with recent KV cache compression and retrieval methods. On long reasoning benchmarks, it achieves strong avg@\(k\) performance across model benchmark pairs, while matching or surpassing leading baselines on several long context understanding and generation settings with modest decoding overhead. Code is available at \url{https://github.com/Ashkan13776/oval-kv}.
• Abstract（参考訳）: 大きくなったKVキャッシュ上で注意を払わなければならないため、大きな言語モデルによる長期のコンテキスト推論はますます高価になる。 ページスパースアテンションは、各KVページをコンパクトに表現し、各クエリのサブセットのみを取得することで、このコストを削減する。 既存の検索手法は、注目スコアやページ関連性を推定するために設計されているが、それらの目的は、近似誤差が結果の重み付けされた注意出力にどのように影響するかを直接考慮していない。 本稿では,キーと値の結合構造から符号化された出力対応ページである‘method{}’を紹介し,正確な検索に必要なキー情報を保存する。 method{} は自由なトレーニングであり、推論時に付加的な値依存統計値を必要としない。 一度構築されると、その格納された表現は、キーのみのスペクトル表現と同じサイズで、時間スコアのコストをデコードする。 長い推論、長いコンテキスト理解、そして長い世代ベンチマークを通じて、‘method{} はキーのみのスペクトルベースラインを一貫して改善し、最近のKVキャッシュ圧縮と検索手法と競合する。 長い推論ベンチマークでは、モデルベンチマークペア間で強力なavg@\(k\)パフォーマンスを達成すると同時に、いくつかの長いコンテキスト理解と、控えめなデコードオーバーヘッドを伴う生成設定に基づいて、主要なベースラインをマッチングまたはオーバーライドする。 コードは \url{https://github.com/Ashkan13776/oval-kv} で公開されている。

関連論文リスト

• Back from the Future: Key-Value Cache Management by Counter-Causal Surprise [67.1056509495879]
  近年,キーバリュー(KV)キャッシュ管理が重要な研究方向として注目されている。 より最近のトークンからよく予測できる過去のトークンは冗長である,という洞察に動機づけられた,単純かつ効果的なKV消去スキームを提案する。 我々は,他の最先端手法と比較して,競争力や性能向上を示す各種オープンソースLCMとベンチマークデータセットについて,我々の戦略を評価した。
  論文  参考訳（メタデータ） (2026-07-30T02:42:51Z)
• Reformulating KV Cache Eviction Problem for Long-Context LLM Inference [2.0590127484132523]
  大きな言語モデル(LLM)は、長いコンテキスト推論をサポートするが、キーバリュー(KV)キャッシュの増大により、メモリとランタイムのオーバーヘッドが大幅に増大する。 既存のKVキャッシュ消去法は、値表現、出力プロジェクション、ヘッド間相互作用の影響を無視し、局所的な注意重みに依存している。 注意マップと投影された値状態の間の乗法的相互作用を明示的にモデル化する新しい消去戦略であるLaProxを紹介する。
  論文  参考訳（メタデータ） (2026-05-08T04:37:22Z)
• InfoFlow KV: Information-Flow-Aware KV Recomputation for Long Context [23.355776408834473]
  クエリからの単純な注意ノルム信号は、意味的に関連があり、情報を伝達するために構造的に位置付けられたトークンを確実に識別する。 LLMおよびVLMベンチマークの実験は、同等の効率予算の下で、以前の手法よりも一貫した利得を示す。
  論文  参考訳（メタデータ） (2026-03-05T16:33:20Z)
• G-KV: Decoding-Time KV Cache Eviction with Global Attention [57.47409249054187]
  大規模言語モデル(LLM)は複雑なタスクに優れるが、長いシーケンス長のため、計算とメモリの重大な課題に遭遇する。 KVキャッシュ圧縮は推論の効率を大幅に向上させる効果的な手法として登場した。 本稿では,グローバルスコアリング機構を用いたKVキャッシュ消去手法であるG-KVを提案する。
  論文  参考訳（メタデータ） (2025-11-29T14:21:33Z)
• Retrospective Sparse Attention for Efficient Long-Context Generation [5.562294018150909]
  RetroAttentionは、後続の復号ステップから新たに到着したKVエントリを使用して、過去の注意出力を遡及的に更新する。 これは固定アテンション・アウトプットのパラダイムを破り、事前近似の継続的な修正を可能にする。 実験により、RetroAttention は最先端(SOTA) KV 圧縮法より一貫して優れていることが示された。
  論文  参考訳（メタデータ） (2025-08-12T15:11:47Z)
• Draft-based Approximate Inference for LLMs [7.287280338330983]
  本稿では,大規模言語モデル推論のための新しいフレームワークを提案する。 提案手法の2つのインスタンス化について述べる: (i) SpecKV, ドラフトアウトプットを利用してKVペアの重要性を正確に評価し, より効率的なKVキャッシュダウンを実現する方法, (ii) SpecPC, ドラフトモデルのアテンションアクティベーションを使用して重要でないプロンプトトークンを識別・破棄する手法。 我々の手法は、メモリ使用量、レイテンシ、スループットが同じ改善を保ちながら、既存のベースラインよりも常に高い精度を達成する。
  論文  参考訳（メタデータ） (2025-06-10T02:37:46Z)
• Activation-aware Probe-Query: Effective Key-Value Retrieval for Long-Context LLMs Inference [56.71209737306054]
  我々は,プローブ-textbfQuery を動的に決定し,関連する textbfKV ペアを推論するために利用する,トレーニングフリーの textbfActivation-aware アプローチである textbfActQKV を提案する。 Long-Bench と $infty$ Benchmarks の実験では、競合する推論品質とリソース効率を備えた最先端のパフォーマンスが実証されている。
  論文  参考訳（メタデータ） (2025-02-19T08:50:44Z)
• Squeezed Attention: Accelerating Long Context Length LLM Inference [61.787865959140994]
  本稿では,入力コンテキストの大部分を固定したアプリケーションを高速化するために,Squeezed Attentionを提案する。 推論中、ユーザ入力からのクエリトークンとセントロイドを比較し、固定されたコンテキストからどのキーが意味論的に関連しているかを予測する。 また,線形から対数的への注意の複雑さを,固定した文脈長に対して低減できる階層型アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-11-14T18:54:19Z)
• RefreshKV: Updating Small KV Cache During Long-form Generation [54.00118604124301]
  生成中の入力トークンのサブセットに対して、完全なコンテキストアテンションとアテンションを柔軟に交互に交互に切り替える新しい推論手法RefreshKVを提案する。 本手法をオフザシェルフ LLM に適用することにより,様々な長文生成タスクの性能を向上しつつ,エビクションベースの手法に匹敵する高速化を実現する。
  論文  参考訳（メタデータ） (2024-11-08T18:57:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。