論文の概要: LowRAM: Low-Rank Keys and Amortised Values for Composable KV Cache Compression at Test-Time

• arxiv url: http://arxiv.org/abs/2611.07025v1
• Date: Wed, 04 Nov 2026 19:00:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 21:50:50.429018
• Title: LowRAM: Low-Rank Keys and Amortised Values for Composable KV Cache Compression at Test-Time
• Title（参考訳）: LowRAM: テスト時間で構成可能なKVキャッシュ圧縮のための低ランクキーと補正値
• Abstract要約: 自動回帰復号化はKVキャッシュに依存しており、メモリフットプリントはコンテキスト長とともに線形に増加し、バッチサイズとスループットを制限している。 私たちはこれをバリューキャッシュのアモーティフィケーション(value cache amortisation)で利用します。 LowRAMは、デコードオーバーヘッドを最小限に抑え、最大5倍のピークデコードスループットを4倍の圧縮で達成することができる。
• 参考スコア（独自算出の注目度）: 5.94029136267591
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Autoregressive decoding relies on the KV cache, whose memory footprint grows linearly with context length and caps batch size and throughput. Existing post-training methods exploit redundancy across tokens, layers, and feature dimensions, or lower numerical precision. We identify a complementary axis: within each attention head, values are largely predictable from their corresponding keys. We exploit this with value cache amortisation, which fits a lightweight per-head predictor at test time and stores residuals only for the tokens it reconstructs worst, giving $4\times$ near-lossless value compression. The predictor can be initialised by meta-learning for substantially reduced prefill overhead, or fitted from scratch in settings that allow a one-off cost, such as multi-query inference. We pair value amortisation with cross-layer low-rank key compression to produce LowRAM, an asymmetric compression pipeline that stays close to lossless across three model families. By reconstructing only a selected subset of KV pairs at each decoding step, LowRAM can keep decoding overhead minimal and achieve up to $5\times$ higher peak decode throughput at $4\times$ compression. LowRAM further composes with quantisation and eviction, reaching $26.9\times$ compression at $94.5\%$ of baseline performance on long contexts. These results show that treating keys and values as structurally distinct enables efficient, aggressive, and composable KV cache compression.
• Abstract（参考訳）: 自動回帰デコーディングはKVキャッシュに依存しており、メモリフットプリントはコンテキスト長とともに線形に増加し、バッチサイズとスループットを制限している。 既存のポストトレーニング手法では、トークン、層、特徴次元間の冗長性、あるいは低い数値精度を利用する。 それぞれのアテンションヘッド内では、値が対応するキーからほぼ予測可能である。 私たちはこれをバリューキャッシュのアモーティフィケーション(value cache amortisation)で利用します。これは、テスト時に軽量なヘッド当たり予測器に適合し、最もひどいトークンに対してのみ残余を格納し、ほぼロスレスな値圧縮に4\times$4\timesを与えます。 予測子はメタラーニングによって初期化でき、プリフィルのオーバーヘッドを大幅に減らしたり、マルチクエリ推論のようなワンオフコストを許容する設定でスクラッチから取り付けられる。 3つのモデルファミリ間でロスレスに近い非対称な圧縮パイプラインであるLowRAMを生成するために、クロスレイヤの低ランクキー圧縮とペアで値アモータライズを行う。 各デコードステップで選択されたKVペアのサブセットだけを再構築することで、LowRAMはデコードオーバーヘッドを最小限に抑え、最大5ドル以上のハイピークデコードスループットを4ドル分の圧縮で達成することができる。 LowRAMは量子化と消去によってさらに構成され、長いコンテキストにおけるベースライン性能の94.5\%で26.9\times$圧縮に達した。 これらの結果は、キーと値を構造的に異なるものとして扱うことで、効率的な、攻撃的で構成可能なKVキャッシュ圧縮が可能になることを示している。

関連論文リスト

• BasisKV: Value Latents for Communication and Key Routing [7.281373284055238]
  長文大言語モデル(LLM)の推論は、成長を続けるKVキャッシュを維持するコストによって、ますます制限されている。 通信集約長文LLM推論のための低ランクKVキャッシュ圧縮手法であるBasisKVを提案する。
  論文  参考訳（メタデータ） (2026-11-02T06:07:14Z)
• S$^4$R: Selective Sampling, Subspaces, and Sparse Reconstruction for Compressed Long-Context KV Caching [38.29032214906932]
  S$4$Rを提案し、選択されたサンプルトークンから低ランクな部分空間を構築し、わずかに再構成されたKV表現に注意を向ける。 LlamaとQwenモデルファミリを用いたLongBenchとRULERの実験では、S$4$Rが最大5$times$KV圧縮をほぼフルキャッシュ精度で達成している。
  論文  参考訳（メタデータ） (2026-08-01T08:41:29Z)
• End-to-End Context Compression at Scale [81.70601323130997]
  長期コンテキスト言語モデル推論は、KVキャッシュがコンテキスト長とともに増加するにつれて、メモリによってボトルネックとなる。 KVキャッシュを圧縮する最近の技術は、モデル品質を著しく低下させるか、あるいはかなりの時間を要するか、1つの長いプロンプトを圧縮するために計算する。 既存のアプローチは、精度-効率のフロンティア上のKVキャッシュ圧縮と競合しない。
  論文  参考訳（メタデータ） (2026-06-08T15:43:16Z)
• ReCalKV: Low-Rank KV Cache Compression via Head Reordering and Offline Calibration [69.57122277845293]
  ReCalKVは,キーと値の調整を施した低ランクKVキャッシュ圧縮手法である。 キーズでは、構造的に類似した頭部をグループにクラスタリングし、より正確な低ランク近似を可能にするSimisity aware Recontext (HSR)を提案する。 本稿では,オフラインヘッドワイド値(OVC)を提案する。これはトレーニングなしでキャリブレーションデータを用いて,効率的に値予測行列を校正する。
  論文  参考訳（メタデータ） (2025-05-30T08:49:27Z)
• ChunkKV: Semantic-Preserving KV Cache Compression for Efficient Long-Context LLM Inference [61.412894960600205]
  大きな言語モデル(LLM)は、長いテキストを処理する際に大きなGPUメモリを必要とする。 ChunkKVは、セマンティックチャンクを基本的な圧縮単位として扱うことで、KVキャッシュ圧縮を再定義する。 結果: ChunkKVは最先端の手法を最大8.7%精度で上回る。
  論文  参考訳（メタデータ） (2025-02-01T03:49:47Z)
• LoRC: Low-Rank Compression for LLMs KV Cache with a Progressive Compression Strategy [59.1298692559785]
  キーバリュー(KV)キャッシュは、トランスフォーマーベースの自己回帰型大言語モデル(LLM)を提供する上で重要なコンポーネントである。 この問題を緩和するためのアプローチとしては、(1) アップサイクルステージに統合された効率的な注意変動、(2) テスト時のKVキャッシュ圧縮、(3) テスト時のKVキャッシュ圧縮がある。 そこで我々は,KV重み行列の低ランク近似を提案し,モデル再学習なしに既存のトランスフォーマーベースLCMとのプラグイン統合を実現する。 本手法は,テスト段階におけるアップサイクリング段階のモデルチューニングやタスク固有のプロファイリングを伴わずに機能するように設計されている。
  論文  参考訳（メタデータ） (2024-10-04T03:10:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。