論文の概要: SlimKV: Joint Token-Feature KV Cache Compression with Reconstruction-Free Beacon Attention

• arxiv url: http://arxiv.org/abs/2610.02953v1
• Date: Fri, 02 Oct 2026 07:45:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 00:14:30.258122
• Title: SlimKV: Joint Token-Feature KV Cache Compression with Reconstruction-Free Beacon Attention
• Title（参考訳）: SlimKV:コンジョイントトークン機能KVキャッシュ圧縮とリコンストラクションフリービーコンアテンション
• Abstract要約: SlimKV はトークン機能を持つ KV-cache 圧縮方式である。 遅延KV表現を用いて、長いコンテキストをビーコンメモリ状態に圧縮できることを示す。 LongBenchでは、SlimKVは16x/32x圧縮でベースラインを上回り、4x/8xでリードしている。
• 参考スコア（独自算出の注目度）: 5.878850231726241
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Long-context LLM serving is increasingly bottlenecked by KV-cache memory, especially in resource-constrained scenarios. Among existing KV-cache compression strategies, token-wise methods reduce cached states but risk information loss through eviction or condensation, while feature-wise methods reduce per-token KV dimensions but can require full-dimensional reconstruction to apply positional embedding, limiting decoding speedups. We introduce SlimKV, a question-agnostic joint token-feature KV-cache compression method. SlimKV uses low-rank-aware training to compress long contexts into beacon memory states with latent KV representations, together with layer-adaptive rank allocation. We further uncover a positional asymmetry: removing key-side RoPE affects beacon and raw tokens differently, with much smaller degradation for beacon tokens. Exploiting this asymmetry, SlimKV trains beacon KV projections under a K-RoPE-free constraint and enables latent-space attention during decoding, mitigating reconstruction latency. On LongBench, SlimKV outperforms baselines at 16x/32x compression and remains leading at 4x/8x, where it retains over 96% of the uncompressed model's score. Needle-in-a-Haystack confirms robustness across evidence positions, and efficiency evaluation shows up to 7.34x attention speedup and 3.38x end-to-end decoding speedup over the uncompressed model at 128K length.
• Abstract（参考訳）: 長いコンテキストのLLMサービスでは、特にリソース制約のあるシナリオにおいて、KVキャッシュメモリがボトルネックになっている。 既存のKVキャッシュ圧縮戦略の中で、トークンワイド法はキャッシュ状態を減らすが、消去や凝縮によるリスク情報損失を減らし、特徴ワイド法はトーケンKV次元を減らしているが、位置埋め込みを適用してデコードスピードアップを制限するためにフル次元再構成を必要とする。 SlimKV(SlimKV) は,問題に依存しない共同トークン-機能KV-cache圧縮法である。 SlimKVは低ランク対応のトレーニングを使用して、長いコンテキストを遅延KV表現を持つビーコンメモリ状態に圧縮し、層適応的なランク割り当てを行う。 キー側RoPEの除去はビーコンと生トークンに異なる影響を与えるが、ビーコントークンの劣化ははるかに小さい。 この非対称性を行使すると、SlimKVはK-RoPEのない制約の下でビーコンKVプロジェクションを訓練し、復号時の遅延空間の注意を減らし、再構成遅延を緩和する。 LongBenchでは、SlimKVは16x/32x圧縮でベースラインを上回り、4x/8xでリードし、圧縮されていないモデルのスコアの96%以上を保持する。 Needle-in-a-Haystackはエビデンス位置の堅牢性を確認し、効率評価は7.34倍の注意速度と3.38倍のエンドツーエンドの復号速度を持つ。

関連論文リスト

• iS-KV: Online Low-Rank KV Cache Compression via Block-Incremental SVD [39.912356113196196]
  ロングチェーン・オブ・シント推論は自己回帰復号時のKVキャッシュメモリを大幅に増加させる。 既存のKV-cache圧縮法は、トークンの消去によってこの成長を制御するのが一般的である。 長軸推論のためのオンライン低ランクKVキャッシュ圧縮手法iS-KVを提案する。
  論文  参考訳（メタデータ） (2026-10-02T05:03:12Z)
• FreqDepthKV: Frequency-Guided Depth Sharing for Robust KV Cache Compression in Long-Context LLM Inference [0.0]
  FreqDepthKVは、隣接層KV状態を共有低周波深さ成分とスパース高周波残差に分解する推論時キャッシュ圧縮法である。 軽量なオンラインプローブは、リコンストラクションに敏感なアテンションログへの貢献に応じて、アテンションヘッドを共有深度、残留深度、または正確なキャッシュモードに割り当てる。 FreqDepthKVは、長いコンテキストの質問応答、針の検索、要約、コード生成ベンチマークを通じて、かなり小さなキャッシュ予算の下でタスクの正確性を保持する。
  論文  参考訳（メタデータ） (2026-07-07T17:26:28Z)
• KARA: Efficient Reasoning LLM Serving via Sliding-Window KV Cache Compression [3.9838043625801967]
  推論言語モデルは長いチェーン・オブ・ソート(CoT)を生成する CoTはデコードフェーズ中に大量のKVキャッシュを蓄積する。 KVキャッシュ圧縮はメモリオーバーヘッドを減らすための有望な手法として登場した。
  論文  参考訳（メタデータ） (2026-05-01T15:54:13Z)
• EchoKV: Efficient KV Cache Compression via Similarity-Based Reconstruction [55.026048429595384]
  EchoKVは、標準と圧縮された推論間のオンデマンド移行を可能にする柔軟なKVキャッシュ圧縮スキームである。 高速で低コストなトレーニングを可能にする2段階の微調整戦略を導入する。
  論文  参考訳（メタデータ） (2026-03-24T07:58:42Z)
• DeltaKV: Residual-Based KV Cache Compression via Long-Range Similarity [50.52392445266824]
  そこで本稿では,KV表現における長距離間類似性と高共有遅延成分を動機とする残差ベースのKVキャッシュ圧縮フレームワークを提案する。 DeltaKVはトークンを捨てる代わりに、検索した履歴参照に対するセマンティックな残基をエンコードし、保存を著しく削減する。 実験によると、DeltaKVは、LongBench、SCBench、AIMEでほぼロスレスの精度を維持しながら、KVキャッシュメモリを元の29%に削減している。
  論文  参考訳（メタデータ） (2026-02-08T15:14:36Z)
• ReCalKV: Low-Rank KV Cache Compression via Head Reordering and Offline Calibration [69.57122277845293]
  ReCalKVは,キーと値の調整を施した低ランクKVキャッシュ圧縮手法である。 キーズでは、構造的に類似した頭部をグループにクラスタリングし、より正確な低ランク近似を可能にするSimisity aware Recontext (HSR)を提案する。 本稿では,オフラインヘッドワイド値(OVC)を提案する。これはトレーニングなしでキャリブレーションデータを用いて,効率的に値予測行列を校正する。
  論文  参考訳（メタデータ） (2025-05-30T08:49:27Z)
• KVSharer: Efficient Inference via Layer-Wise Dissimilar KV Cache Sharing [58.29726147780976]
  我々は,層間をKVキャッシュで共有し,層間圧縮を実現する,textit KVSharerと呼ばれるプラグアンドプレイ方式を提案する。 実験の結果、textit KVSharerはKVキャッシュの計算を30%削減し、メモリ消費を削減できることがわかった。 我々は,textit KVSharerが既存の層内KVキャッシュ圧縮手法と互換性があることを検証する。
  論文  参考訳（メタデータ） (2024-10-24T08:06:41Z)
• KV-Compress: Paged KV-Cache Compression with Variable Compression Rates per Attention Head [0.8158530638728501]
  そこで我々は,PagedAttentionフレームワーク内で連続KVブロックを除去する新しい圧縮手法であるKV-Compressを紹介する。 本手法は,Mistral-7B-Instruct-v0.2およびLlama-3.1-8B-InstructのLongBenchにおける圧縮KVの総数を4倍に減らしながら,最先端の性能を実現する。 Llama-3.1-8B-InstructとLlama-3.1-70B-Instruct-FP8の評価は、圧縮速度を最大8倍まで達成し、性能に悪影響を及ぼすことなく、フルキャッシュ性能の90%以上を維持しながら、最大64倍まで向上する。
  論文  参考訳（メタデータ） (2024-09-30T19:09:13Z)
• PyramidKV: Dynamic KV Cache Compression based on Pyramidal Information Funneling [38.732413451399]
  ピラミッドKVは新規かつ効果的なKVキャッシュ圧縮法である。 提案手法は,KVキャッシュの12%しか保持せず,完全なKVキャッシュでモデルの性能と一致していることを示す。 Needle-in-a-Haystack実験では、Praamid KVは長文理解の維持において競合する手法より優れている。
  論文  参考訳（メタデータ） (2024-06-04T07:51:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。