論文の概要: RACE: RoPE-Aligned Attention Compression Based on Query-Key Activation Energies

• arxiv url: http://arxiv.org/abs/2610.28385v1
• Date: Tue, 20 Oct 2026 15:34:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.889388
• Title: RACE: RoPE-Aligned Attention Compression Based on Query-Key Activation Energies
• Title（参考訳）: RACE: クエリキー活性化エネルギーに基づくRoPEアラインメント圧縮
• Abstract要約: 我々は、事前学習した注意を縮小次元形式に変換するための設計上の考慮事項を定式化する。 本稿では,共同クエリキー活性化エネルギーを用いて回転対を選択するポストトレーニング手法であるRASを紹介する。 RACEは50%のKVキャッシュ保持と256Kコンテキストで、FLOPを47.8%削減し、スループットは1.79倍に向上した。
• 参考スコア（独自算出の注目度）: 9.934234507217521
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Head-dimension compression can reduce the memory required by the key-value (KV) cache, but existing methods often reconstruct full-dimensional representations during inference, adding significant decoding FLOPs overhead. We formalize the design considerations for converting pretrained attention into a natively reduced-dimensional form that reduces both KV-cache storage and attention computation using a calibration set. Specifically, we consider reductions that (1) apply a shared projection to queries and keys so that they remain in a common reduced feature space, (2) derive this projection jointly from query and key activations to better preserve their interaction, and (3) are compatible with the pretrained RoPE transformation. To obtain a reconstruction-free realization of this reduction, we restrict it to coordinate selection and theoretically show that RoPE compatibility then holds if and only if complete rotary pairs are retained. Building on this characterization, we introduce RACE, a post-training method that selects rotary pairs using their joint query-key activation energy. We theoretically show that this criterion minimizes a separable, calibration-dependent upper bound on post-RoPE query-key product approximation error. The resulting reductions are folded into the model weights and require neither runtime reconstruction nor specialized kernels. Across three model families and different compression levels, RACE outperforms structured pruning and remains competitive with reconstruction-based methods on language-modeling, zero-shot, and long-context tasks. At 50% KV-cache retention and 256K context, RACE reduces total inference FLOPs by 47.8%, yielding 1.79x higher throughput, 43.2% lower time-to-first-token (TTFT), and 28.1% lower allocated GPU memory in comparison to an uncompressed model.
• Abstract（参考訳）: ヘッドディメンジョン圧縮はキー値(KV)キャッシュに必要なメモリを削減できるが、既存のメソッドは推論中にフル次元の表現を再構成することが多く、FLOPのオーバーヘッドが大幅に増大する。 我々は、事前学習した注意をKVキャッシュストレージとキャリブレーションセットを用いた注意計算の双方を削減したネイティブな縮小次元形式に変換するための設計上の考慮事項を定式化する。 具体的には,(1)共有のプロジェクションをクエリやキーに適用して共通化された特徴空間に留まるようにし,(2)このプロジェクションをクエリとキーのアクティベーションから導出し,それらのインタラクションをよりよく保存し,(3)事前訓練されたRoPE変換と互換性を持たせることを検討する。 この還元の再構成自由化を実現するため、座標選択を制限し、RoPE互換が完全回転対が保持されている場合にのみ保持されることを理論的に示す。 この特徴に基づいて,共同クエリキー活性化エネルギーを用いて回転対を選択する後学習手法であるRASを導入する。 理論的には、この基準は、ポストRoPEクエリキーの製品近似誤差に対して、分離可能なキャリブレーションに依存した上限を最小化する。 結果として得られた削減はモデルの重みに折り畳まれ、ランタイムの再構築も特別なカーネルも必要としない。 3つのモデルファミリと異なる圧縮レベルにおいて、RASは構造化プルーニングよりも優れており、言語モデリング、ゼロショット、ロングコンテキストタスクの再構築ベースの手法と競合し続けている。 RACEは50%のKVキャッシュ保持と256Kコンテキストで、FLOPを47.8%削減し、1.79倍のスループット、43.2%のタイム・ツー・ファースト・トケン(TTFT)、28.1%のGPUメモリを非圧縮モデルと比較した。

関連論文リスト

• Sequential Functional Structured Tucker Compression for Large Language Model Attentions [8.238680727986884]
  本稿では,その近似を現在の圧縮モデルに適応させる逐次的構造化圧縮フレームワークを提案する。 提案手法では, 比較手法のWikiText-2パープレキシティが, 試験値毎に最も低い値を示した。 改善は下流のタスクに移行し、32Bスケールで相当に維持される。
  論文  参考訳（メタデータ） (2026-09-30T21:06:29Z)
• EchoKV: Efficient KV Cache Compression via Similarity-Based Reconstruction [55.026048429595384]
  EchoKVは、標準と圧縮された推論間のオンデマンド移行を可能にする柔軟なKVキャッシュ圧縮スキームである。 高速で低コストなトレーニングを可能にする2段階の微調整戦略を導入する。
  論文  参考訳（メタデータ） (2026-03-24T07:58:42Z)
• AHC: Meta-Learned Adaptive Compression for Continual Object Detection on Memory-Constrained Microcontrollers [0.14504054468850666]
  100KB以下のメモリを持つマイクロコントローラ(MCU)上の連続物体検出には、効率的な特徴圧縮が必要である。 3つの重要なイノベーションを特徴とするメタラーニングフレームワークであるAdaptive Hierarchical Compression (AHC)を紹介する。 AHCは100KBのリプレイ予算内で実用的な連続的な検出を可能にし、平均プール圧縮された特徴リプレイによる競合精度を実現する。
  論文  参考訳（メタデータ） (2026-02-24T07:06:51Z)
• CommonKV: Compressing KV Cache with Cross-layer Parameter Sharing [54.34080239841088]
  CommonKVは、隣接パラメータ共有による層間KVキャッシュ圧縮のトレーニング不要な方法である。 提案手法は,様々な圧縮比で既存の低ランクおよびクロスレイヤーの手法より一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2025-08-22T06:55:45Z)
• Krul: Efficient State Restoration for Multi-turn Conversations with Dynamic Cross-layer KV Sharing [41.792908098945766]
  我々は,KVキャッシュの正確かつ効率的な復元を可能にするマルチターンLDM推論システムであるKrulを提案する。 Krulは、レイヤペア間の注目類似性に基づいて圧縮戦略を選択し、再計算ローディングパイプラインを使用してKVキャッシュを復元する。 タイム・ツー・ファースト・トケン(TTFT)の1.5x-2.68倍の削減、KVキャッシュストレージの1.33x-2.35倍の削減を実現している。
  論文  参考訳（メタデータ） (2025-07-10T01:51:17Z)
• ReCalKV: Low-Rank KV Cache Compression via Head Reordering and Offline Calibration [69.57122277845293]
  ReCalKVは,キーと値の調整を施した低ランクKVキャッシュ圧縮手法である。 キーズでは、構造的に類似した頭部をグループにクラスタリングし、より正確な低ランク近似を可能にするSimisity aware Recontext (HSR)を提案する。 本稿では,オフラインヘッドワイド値(OVC)を提案する。これはトレーニングなしでキャリブレーションデータを用いて,効率的に値予測行列を校正する。
  論文  参考訳（メタデータ） (2025-05-30T08:49:27Z)
• EliteKV: Scalable KV Cache Compression via RoPE Frequency Selection and Joint Low-Rank Projection [32.046554914514026]
  本稿では,可変KVキャッシュ圧縮比をサポートするRoPEモデルのためのフレキシブルフレームワークであるEliteKVを紹介する。 最小限のアップトレーニングにより、RoPEベースのモデルは、無視できるマージン内でパフォーマンスを保ちながら、KVキャッシュサイズを75%削減する。
  論文  参考訳（メタデータ） (2025-03-03T14:26:51Z)
• LoRC: Low-Rank Compression for LLMs KV Cache with a Progressive Compression Strategy [59.1298692559785]
  キーバリュー(KV)キャッシュは、トランスフォーマーベースの自己回帰型大言語モデル(LLM)を提供する上で重要なコンポーネントである。 この問題を緩和するためのアプローチとしては、(1) アップサイクルステージに統合された効率的な注意変動、(2) テスト時のKVキャッシュ圧縮、(3) テスト時のKVキャッシュ圧縮がある。 そこで我々は,KV重み行列の低ランク近似を提案し,モデル再学習なしに既存のトランスフォーマーベースLCMとのプラグイン統合を実現する。 本手法は,テスト段階におけるアップサイクリング段階のモデルチューニングやタスク固有のプロファイリングを伴わずに機能するように設計されている。
  論文  参考訳（メタデータ） (2024-10-04T03:10:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。