論文の概要: BellowsKV: One Latent for Many Layers, Expanded on Demand

• arxiv url: http://arxiv.org/abs/2610.35023v1
• Date: Mon, 26 Oct 2026 08:35:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.797369
• Title: BellowsKV: One Latent for Many Layers, Expanded on Demand
• Title（参考訳）: ベロースKV:多くの層に遅れ-需要拡大で
• Abstract要約: BellowsKVは、n個の隣接層の隠れた状態をトークンごとに1つの共有潜在子にマッピングする、トレーニング不要の方法である。 圧縮3.6倍の精度で99%、13-14倍の97-98%を保ち、最強のクロス層法は16倍の84%である。
• 参考スコア（独自算出の注目度）: 14.027871382093018
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) now serve as the backbone of agents that reason over many turns, call tools, and pursue long-horizon tasks. To avoid recomputation, a model stores the attention keys and values of all past tokens in a key-value (KV) cache. Each layer maintains its own cache, so KV-cache memory can become the main bottleneck for GPU serving. Most compression methods operate within a single layer, by quantizing the cache entries, reducing the channel dimension, or evicting less important tokens. All three lose substantial accuracy at high compression ratios. Cross-layer methods share one compressed cache across adjacent layers to go beyond this limit. However, these methods also degrade sharply at high compression ratios. We find that the KV-cache representations of adjacent layers are quite different, whereas the input hidden states of adjacent layers are highly similar. We also find that, under the same memory budget, reducing the dimension of this shared latent loses far more accuracy than quantizing it. Based on these findings, we propose BellowsKV, a training-free method that maps the hidden states of n adjacent layers to one shared latent per token. At inference time, each layer reads its own keys and values from this latent through a layer-specific projection. We keep the latent at full dimension and compress it in two other ways: BellowsKV-Quant stores the latent at low precision, which is nearly lossless because the latent has no dominant outlier channels; BellowsKV-Evict makes one shared eviction decision per block, because the layers rank token importance very similarly. Across Llama-3.1-8B, Mistral-7B and Qwen2.5-7B, BellowsKV-Quant retains about 99% of full-cache accuracy at 3.6x compression and 97-98% at 13-14x, where the strongest cross-layer method retains at most 84% at 16x. Code: https://github.com/MorrisZJ/BellowsKV
• Abstract（参考訳）: 大規模言語モデル(LLMs)は、多くのターンを推論し、ツールを呼び、長い水平タスクを追求するエージェントのバックボーンとして機能する。 再計算を避けるため、モデルは過去のすべてのトークンの注意キーと値をキー値(KV)キャッシュに格納する。 各レイヤは独自のキャッシュを保持するため、KVキャッシュメモリがGPUサービスの主要なボトルネックになる可能性がある。 ほとんどの圧縮方法は単一の層内で動作し、キャッシュエントリの定量化、チャネル次元の削減、重要でないトークンの排除などを行う。 3つとも高い圧縮比でかなりの精度を失う。 クロスレイヤメソッドは、この制限を超えるために、隣のレイヤで1つの圧縮キャッシュを共有します。 しかし、これらの手法は高い圧縮比で急激に劣化する。 隣接層のKV-cache表現は極めて異なるが,隣接層の入力隠れ状態は極めて類似している。 また、同じメモリ予算の下では、この共有潜水器の寸法を減らすことは、定量化よりもはるかに精度が低下することがわかった。 これらの知見に基づいて,n個の隣接層の隠蔽状態をトークン毎に1つの共有潜伏子にマッピングする,学習不要なBellowsKVを提案する。 推論時に各レイヤは、レイヤ固有のプロジェクションを通じて、この潜伏状態から独自のキーと値を読み取る。 BellowsKV-Quantは遅延を低い精度で保存するが、これは遅延が支配的な外れ値チャネルを持たないためほとんど損失がなく、BellowsKV-Evictはブロックごとに1つの共有消去決定を行う。 Llama-3.1-8B、Mistral-7B、Qwen2.5-7Bの他、BellowsKV-Quantは3.6倍の圧縮率で99%、13-14倍で97-98%、最強のクロス層法は16倍の84%である。 コード:https://github.com/MorrisZJ/BellowsKV

関連論文リスト

• SPECTRA: Pushing the KV Cache Beyond the 2-Bit Cliff via Spectral Transform Coding [14.865252861545672]
  大規模言語モデル (LLM) はエージェント時代の長い入力を読み取る傾向にある。 既存のほとんどのメソッドは、保存されたすべての値を同じ低い精度に下げることで、KVキャッシュを圧縮する。 我々は、信号を運ぶチャネルにビット予算を集中させる訓練不要のドロップインであるSPECTRAを開発する。
  論文  参考訳（メタデータ） (2026-08-08T04:43:22Z)
• A JoLT for the KV Cache: Near-Lossless KV Cache Compression via Joint Tucker and JL-Residual Allocation for LLMs [0.0]
  キー値(KV)キャッシュは、トランスフォーマー推論の主要なメモリコストとなっている。 低ランク法はキャッシュの2次元スライス、またはヘッド当たり行列またはクロス層特徴ブロックを分解し、量子化法は各エントリのビット幅を下げる。 提案手法は,トークンと特徴軸のみを圧縮し,頭部と層軸をそのまま残す部分的タッカー分解法である。 ランダム化されたSVDの派生型であるFlashJoLTは、1024のコンテキストで5-13倍の圧縮時間のスピードアップと品質の一致を提供する。
  論文  参考訳（メタデータ） (2026-07-14T09:23:20Z)
• Make Each Token Count: Towards Improving Long-Context Performance with KV Cache Eviction [65.710271475739]
  我々は,各トークンの将来のユーティリティを統一メモリ予算の下で学習する,グローバルな保持に基づくKV消去手法を提案する。 提案手法は,フルキャッシュ推論に適合したり,超えたりしながら,KVメモリを大幅に削減することを示す。 これらの結果から,世界規模で校正されたKV消去は圧縮技術であるだけでなく,長文推論を改善するメカニズムでもあることが示唆された。
  論文  参考訳（メタデータ） (2026-05-10T16:47:50Z)
• ReCalKV: Low-Rank KV Cache Compression via Head Reordering and Offline Calibration [69.57122277845293]
  ReCalKVは,キーと値の調整を施した低ランクKVキャッシュ圧縮手法である。 キーズでは、構造的に類似した頭部をグループにクラスタリングし、より正確な低ランク近似を可能にするSimisity aware Recontext (HSR)を提案する。 本稿では,オフラインヘッドワイド値(OVC)を提案する。これはトレーニングなしでキャリブレーションデータを用いて,効率的に値予測行列を校正する。
  論文  参考訳（メタデータ） (2025-05-30T08:49:27Z)
• xKV: Cross-Layer SVD for KV-Cache Compression [8.250015628919098]
  長いコンテキストウィンドウを持つ大規模言語モデル(LLM)は強力なアプリケーションを実現するが、メモリ消費のコストがかかる。 近年の研究では、KV-cacheを複数の層から共有表現にマージする試みが試みられている。 支配的な特異ベクトルは、KV-Cacheの複数の層に驚くほどよく整合していることが分かる。 xKVは複数のレイヤのKVキャッシュを共有低ランクサブスペースに統合し、KVキャッシュのサイズを大幅に削減する。
  論文  参考訳（メタデータ） (2025-03-24T17:06:37Z)
• ZigZagkv: Dynamic KV Cache Compression for Long-context Modeling based on Layer Uncertainty [35.947737679664016]
  推論長が増加するにつれて、KVキャッシュの増加はメモリ外問題を引き起こす可能性がある。 本稿では,各層に予算規模を割り当てるために,層不確実性を利用した簡易かつ効果的なKVキャッシュ圧縮手法を提案する。 実験の結果,提案手法はフルKV推定と比較して,KVキャッシュのメモリ使用量を$sim$20%に削減できることがわかった。
  論文  参考訳（メタデータ） (2024-12-12T07:52:56Z)
• KVSharer: Efficient Inference via Layer-Wise Dissimilar KV Cache Sharing [58.29726147780976]
  我々は,層間をKVキャッシュで共有し,層間圧縮を実現する,textit KVSharerと呼ばれるプラグアンドプレイ方式を提案する。 実験の結果、textit KVSharerはKVキャッシュの計算を30%削減し、メモリ消費を削減できることがわかった。 我々は,textit KVSharerが既存の層内KVキャッシュ圧縮手法と互換性があることを検証する。
  論文  参考訳（メタデータ） (2024-10-24T08:06:41Z)
• PyramidKV: Dynamic KV Cache Compression based on Pyramidal Information Funneling [38.732413451399]
  ピラミッドKVは新規かつ効果的なKVキャッシュ圧縮法である。 提案手法は,KVキャッシュの12%しか保持せず,完全なKVキャッシュでモデルの性能と一致していることを示す。 Needle-in-a-Haystack実験では、Praamid KVは長文理解の維持において競合する手法より優れている。
  論文  参考訳（メタデータ） (2024-06-04T07:51:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。