論文の概要: ChampionKV: Head-Wise Adaptive Budget Allocation for KV Cache Compression

• arxiv url: http://arxiv.org/abs/2610.18026v1
• Date: Tue, 13 Oct 2026 09:19:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.573079
• Title: ChampionKV: Head-Wise Adaptive Budget Allocation for KV Cache Compression
• Title（参考訳）: ChampionKV: KVキャッシュ圧縮のためのヘッドウェイズ適応型予算配分
• Abstract要約: 長文KVキャッシュ圧縮のための入力適応型頭部予算アロケータを提案する。 ChampionKVは、アテンション集中のための軽量な実証的プロキシとして、最大集約された観測窓のアテンションスコアを使用する。 試験された7B/8Bモデルの結果は、競争力はあるものの混在している。
• 参考スコア（独自算出の注目度）: 5.4009606849794025
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Some observation-window-based KV cache compressors use prompt attention to identify important tokens but allocate uniform or predefined budgets across heads, overlooking input-dependent differences in budget demand. We propose ChampionKV, an input-adaptive head-wise budget allocator for long-context KV cache compression. It uses the maximum aggregated observation-window attention score as a lightweight empirical proxy for attention concentration, assigning larger budgets to heads with dispersed attention and smaller budgets to concentrated heads. An abnormal-head mask and a floor-budget mechanism improve robustness under weak attention responses. ChampionKV plugs into compressors such as SnapKV and PyramidKV without changing their token-selection procedures. On LongBench and RULER, both Champion variants consistently improve over their SnapKV and PyramidKV base compressors; the improvements are largest and statistically significant on Llama3.1-70B-Instruct, especially under tight budgets, whereas results on the tested 7B/8B models remain competitive but mixed. ChampionKV does not uniformly outperform Ada-KV, whose global cross-head Top-K selection retains an advantage in several settings. Controlled analysis further shows improved retained attention mass over the corresponding base compressors at negligible overhead.
• Abstract（参考訳）: いくつかの観測ウィンドウベースのKVキャッシュ圧縮機は、重要なトークンを特定するために即座に注意を払っているが、入力依存の予算要求の違いを見越して、頭全体で均一または事前定義された予算を割り当てている。 長文KVキャッシュ圧縮のための入力適応型頭部予算アロケータであるChangeKVを提案する。 注目集中のための軽量な実証的プロキシとして、最大集約された観測窓の注意スコアを使用し、分散された注意を伴う頭部により大きな予算を割り当て、集中した頭部により小さな予算を割り当てる。 異常ヘッドマスクとフロアバッジ機構は、弱い注意応答下で堅牢性を向上させる。 ChampionKVは、トークン選択手順を変更することなくSnapKVやPraamidKVなどの圧縮機に接続する。 Llama3.1-70B-インストラクトでは、特に予算が厳しいが、試験された7B/8Bモデルでは競争力は高いが混在している。 チャンピオンKVはAda-KVを均一に上回りません。 制御された解析により、対応するベースコンプレッサーのオーバーヘッドが無視できるほど改善された注意質量が示される。

関連論文リスト

• SGD-KV: Summarization Guided KV Cache Compression [21.816110519918876]
  大規模言語モデル(LLM)は、線形に増大するキー値(KV)キャッシュのため、長いコンテキスト推論において深刻なメモリボトルネックに直面している。 SGD-KVは,階層的情報集約に特有な注意ヘッドを体系的に識別し,優先するために,新しいチャンク要約診断タスクを活用する,頭部認識フレームワークである。 以上の結果から,KVキャッシュ予算を注目ヘッドの総和スコア分布に基づいて戦略的に割り当てることにより,長文推論における効率・精度のトレードオフが良好であることが示唆された。
  論文  参考訳（メタデータ） (2026-09-03T00:31:11Z)
• LKV: End-to-End Learning of Head-wise Budgets and Token Selection for LLM KV Cache Eviction [46.60403085398673]
  本稿では,KV圧縮をエンドツーエンドの微分可能最適化問題として定式化するLKV(Learned KV Eviction)を提案する。 LKVは、LongBenchベンチマークとRULERベンチマークの両方で、高い圧縮速度で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-04-22T06:35:23Z)
• Low-Rank Key Value Attention [3.7728602841318426]
  トランスフォーマーの事前訓練は、メモリと計算要求によってますます制限される。 マルチヘッドアテンションの簡易な修正として,テキストトローランクKV適応(LRKV)を提案する。 LRKVは標準的なマルチヘッドアテンションの代替品である。
  論文  参考訳（メタデータ） (2026-01-16T17:56:40Z)
• ReCalKV: Low-Rank KV Cache Compression via Head Reordering and Offline Calibration [69.57122277845293]
  ReCalKVは,キーと値の調整を施した低ランクKVキャッシュ圧縮手法である。 キーズでは、構造的に類似した頭部をグループにクラスタリングし、より正確な低ランク近似を可能にするSimisity aware Recontext (HSR)を提案する。 本稿では,オフラインヘッドワイド値(OVC)を提案する。これはトレーニングなしでキャリブレーションデータを用いて,効率的に値予測行列を校正する。
  論文  参考訳（メタデータ） (2025-05-30T08:49:27Z)
• DBudgetKV: Dynamic Budget in KV Cache Compression for Ensuring Optimal Performance [125.81664663201282]
  我々はDBudgetKVと呼ばれる新しいKVキャッシュ圧縮手法を提案する。 残りのKVキャッシュがフルキャッシュのパフォーマンスにマッチしない場合、注意ベースのメトリクスが特徴である。 提案手法は, 平均圧縮率25%を超え, 無損失KVプルーニングを効果的かつ堅牢に実現している。
  論文  参考訳（メタデータ） (2025-02-24T06:33:39Z)
• FairKV: Balancing Per-Head KV Cache for Fast Multi-GPU Inference [11.148691507097341]
  TransformerモデルにおけるKVキャッシュ技術は、メモリ使用量を大幅に増加させ、冗長な計算を減らすことを目的としている。 近年、最先端のKVキャッシュ圧縮手法では、各アテンションヘッドのKVキャッシュ予算を動的に調整する不均衡なヘッドアロケーションアルゴリズムが実装されている。 本研究では,不均衡なKVキャッシュ圧縮を用いたシステムにおいて,アテンションヘッド間のメモリ使用量を確保するためのFair KVを提案する。
  論文  参考訳（メタデータ） (2025-02-19T06:14:27Z)
• More Tokens, Lower Precision: Towards the Optimal Token-Precision Trade-off in KV Cache Compression [71.42818367729573]
  大規模言語モデル(LLM)では、KVキャッシュのメモリ使用量は推論において重大なボトルネックとなっている。 KVプルーニングやKV量子化を含む主流のKV圧縮法は、主にトークンまたは精度寸法を別々に扱う。 本稿では,KVキャッシュ圧縮におけるトークン精度トレードオフを包括的に検討する。
  論文  参考訳（メタデータ） (2024-12-17T09:20:31Z)
• DiffKV: Differentiated Memory Management for Large Language Models with Parallel KV Compaction [33.936381781692994]
  DiffKVは効率的なKVキャッシュ圧縮のための新しいフレームワークである。 KVキャッシュにおける3つのレベルの分化を利用する。 KVキャッシュを2.7Times$から5.7times$に圧縮できる。
  論文  参考訳（メタデータ） (2024-12-04T08:51:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。