論文の概要: Jacap: Robust KV Cache Eviction via Jacobian-Based Nonlinear Information Capacity Preservation

• arxiv url: http://arxiv.org/abs/2609.08131v1
• Date: Tue, 08 Sep 2026 02:08:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-11 19:29:38.176774
• Title: Jacap: Robust KV Cache Eviction via Jacobian-Based Nonlinear Information Capacity Preservation
• Title（参考訳）: Jacap:Jacobianベースの非線形情報容量保存によるロバストKVキャッシュ推定
• Abstract要約: キー値(KV)キャッシュの消去は、大規模言語モデルにおける長文推論のスケーリングに不可欠である。 本稿では,部分集合選択のための重み付けと統計レバレッジスコアを利用するキャパシティ・アウェア・エクリエーション手法であるJacapを紹介する。
• 参考スコア（独自算出の注目度）: 26.316211624524197
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Key-value (KV) cache eviction is essential for scaling long-context inference in Large Language Models. However, existing policies predominantly rely on empirical heuristics, lacking a rigorous characterization of token utility under the inherently nonlinear softmax attention mechanism. In this work, we rethink KV cache eviction through the lens of local information geometry, modeling the attention process as a nonlinear Gaussian communication channel. By performing a first-order Taylor expansion of the attention mapping, we derive the Jacobian Information Capacity, a novel objective that explicitly captures query relevance, softmax sensitivity, and structural diversity. Guided by this theory, we introduce Jacap, a capacity-aware eviction method that utilizes softmax-aware importance weighting and statistical leverage scores for subset selection. Extensive experiments across diverse architectures and benchmarks demonstrate that \textsc{Jacap} delivers superior performance in most scenarios, particularly in high-compression regimes.
• Abstract（参考訳）: キー値(KV)キャッシュの消去は、大規模言語モデルにおける長文推論のスケーリングに不可欠である。 しかし、既存の政策は経験的ヒューリスティックスに大きく依存しており、本質的に非線形なソフトマックスの注意機構の下でトークンの有用性の厳密な特徴を欠いている。 本研究では,KVキャッシュの排除を局所情報幾何学のレンズを通して再考し,非線型ガウス通信チャネルとして注目プロセスのモデル化を行う。 注意マッピングのTaylor拡張を実行することで、クエリ関連性、ソフトマックス感度、構造多様性を明確に把握する新しい目的であるJacobian Information Capacityを導出する。 この理論で導かれたJacapは、ソフトマックス認識の重み付けと統計レバレッジスコアを利用して、サブセット選択を行うキャパシティ・アウェア・エクリエーション手法である。 多様なアーキテクチャやベンチマークにわたる大規模な実験は、特に高圧状態において、ほとんどのシナリオにおいて、‘textsc{Jacap} が優れたパフォーマンスを提供することを示した。

関連論文リスト

• Sparse Attention for Dense Open-Vocabulary Prediction in CLIP [54.45759517856271]
  最終視覚的自己注意層における行方向のソフトマックスの推測時間置換について検討した。 entmaxは低得点を正確に0にマッピングするデータ依存しきい値を適用するため、暗黙のデノイザとして機能する。 オープン語彙タスクセンスセマンティックセマンティックセグメンテーション (Pascal VOC, Pascal Context, ADE20K) ときめ細かい検索 (FG-OVD) について検討する。
  論文  参考訳（メタデータ） (2026-07-08T08:30:48Z)
• Coverage-Driven KV Cache Eviction for Efficient and Improved Inference of LLM [12.14455026524814]
  大きな言語モデル(LLM)は、質問応答や要約のような複雑なタスクに優れています。 既存のKV-cache消去戦略は、トークンのサブセットを選択的に格納するために注意の疎さを活用する。 K-VECは、キャッシュ内のトークンを排除しながらトークンのカバレッジを優先する、新しいカバレッジ対応KV-cache消去戦略である。
  論文  参考訳（メタデータ） (2026-06-28T19:04:47Z)
• Information-Aware KV Cache Compression for Long Reasoning [71.77807044404499]
  既存のKVキャッシュ圧縮法は主にトークンの重要性を推定するために注意重みに依存する。 情報理論を組み込んだエントロピー対応KVキャッシュ圧縮フレームワークである textbfInfoKV を提案する。
  論文  参考訳（メタデータ） (2026-06-25T11:03:37Z)
• Reformulating KV Cache Eviction Problem for Long-Context LLM Inference [2.0590127484132523]
  大きな言語モデル(LLM)は、長いコンテキスト推論をサポートするが、キーバリュー(KV)キャッシュの増大により、メモリとランタイムのオーバーヘッドが大幅に増大する。 既存のKVキャッシュ消去法は、値表現、出力プロジェクション、ヘッド間相互作用の影響を無視し、局所的な注意重みに依存している。 注意マップと投影された値状態の間の乗法的相互作用を明示的にモデル化する新しい消去戦略であるLaProxを紹介する。
  論文  参考訳（メタデータ） (2026-05-08T04:37:22Z)
• Rethinking KV Cache Eviction via a Unified Information-Theoretic Objective [26.25624771395719]
  キーバリュー(KV)キャッシングは、大きな言語モデル推論には不可欠だが、長いコンテキスト生成において重要なボトルネックとなる。 この研究は、Information Bottleneckの原理のレンズを通してKVキャッシュの消去を再考する。 本稿では,ログ決定式近似を用いて情報保存を直接ターゲットとするキャパシティ・アウェア・エビテーション法であるCapKVを紹介する。
  論文  参考訳（メタデータ） (2026-04-28T12:28:04Z)
• Judge Q: Trainable Queries for Optimized Information Retention in KV Cache Eviction [53.83828564664595]
  大規模言語モデル(LLM)は、キー値(KV)キャッシュを使用して、シーケンス処理中に履歴情報を格納する。 KVキャッシュ消去の現在の方法は、通常、プレフィルフェーズからの最後のウィンドウをクエリとして利用し、消去のためのKV重要度スコアを計算する。 ソフトトークンリストを組み込んだ新しいトレーニング手法であるジャッジQを提案する。
  論文  参考訳（メタデータ） (2025-09-13T03:34:12Z)
• Transformers Learn Faster with Semantic Focus [57.97235825738412]
  学習性と一般化の観点からスパース変圧器について検討する。 入力依存のスパースアテンションモデルは、標準アテンションモデルよりも早く収束し、より一般化しているように見える。
  論文  参考訳（メタデータ） (2025-06-17T01:19:28Z)
• Quantifying Memory Utilization with Effective State-Size [73.52115209375343]
  「我々は、テキスト・メモリ利用の尺度を策定する。」 この計量は、textitinput-invariant および textitinput-variant linear operator を持つシステムの基本的なクラスに適合する。
  論文  参考訳（メタデータ） (2025-04-28T08:12:30Z)
• PrefixKV: Adaptive Prefix KV Cache is What Vision Instruction-Following Models Need for Efficient Generation [97.41972925670508]
  大規模視覚言語モデル(LVLM)は、推論中に重要な計算とメモリオーバーヘッドを引き起こす。 ここでは、PrefixKVについて述べる。ここでは、Prefixは、元のシーケンスの位置ではなく、重要度に基づいて、上位ランクのKVを意味する。 本手法は他の手法と比較して最先端の性能を実現する。
  論文  参考訳（メタデータ） (2024-12-04T15:48:59Z)
• Anchor Attention, Small Cache: Code Generation with Large Language Models [15.94784908771546]
  NLPの現在のプラクティスは、コード生成タスクにおいて、不正確な、あるいは幻覚を引き起こす可能性のある、スパースアテンションを使用することが多い。 本稿では,コンテキスト情報を抽出・圧縮するトークン・アンカー・アテンションを特徴とする新しいアプローチであるAnchorCoderを提案する。 モデルの性能の大部分を保ちながら、KVキャッシュの要求を大幅に削減できる(少なくとも70%)。
  論文  参考訳（メタデータ） (2024-11-11T02:47:05Z)
• ThinK: Thinner Key Cache by Query-Driven Pruning [63.13363917871414]
  大規模言語モデル(LLM)は自然言語処理の分野に革命をもたらし、様々なアプリケーションで前例のない性能を達成した。 本稿では,KVキャッシュのメモリ消費の非効率性に対処する長文シナリオに焦点を当てた。 我々は,最小のチャネルを選択的に切断しながら,注目重量損失を最小限に抑える新しいクエリ依存型KVキャッシュプルーニング手法であるThinKを提案する。
  論文  参考訳（メタデータ） (2024-07-30T17:59:08Z)
• Ada-KV: Optimizing KV Cache Eviction by Adaptive Budget Allocation for Efficient LLM Inference [37.94892570127548]
  大規模言語モデルは様々なドメインで優れていますが、キーバリュー(KV)キャッシュの増加によって効率上の課題に直面しています。 最近の取り組みは、実行中に大量の非クリティカルキャッシュ要素を排除し、KVキャッシュサイズを削減することを目的としている。 本稿では,Ada-KVを提案する。
  論文  参考訳（メタデータ） (2024-07-16T09:53:32Z)
• QAQ: Quality Adaptive Quantization for LLM KV Cache [3.163526369095745]
  モデルデプロイメントのボトルネックは、コンテキスト長のキーバリューキャッシュの線形拡張によって生じる。 KVキャッシュのための品質適応量子化スキームQAQを提案する。
  論文  参考訳（メタデータ） (2024-03-07T16:42:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。