論文の概要: BasisKV: Value Latents for Communication and Key Routing

• arxiv url: http://arxiv.org/abs/2611.02583v1
• Date: Mon, 02 Nov 2026 06:07:14 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 19:57:42.42312
• Title: BasisKV: Value Latents for Communication and Key Routing
• Title（参考訳）: BasisKV: コミュニケーションとキールーティングのためのバリューレイトント
• Abstract要約: 長文大言語モデル(LLM)の推論は、成長を続けるKVキャッシュを維持するコストによって、ますます制限されている。 通信集約長文LLM推論のための低ランクKVキャッシュ圧縮手法であるBasisKVを提案する。
• 参考スコア（独自算出の注目度）: 7.281373284055238
• License:
• Abstract: Long-context large language model (LLM) inference is increasingly constrained by the cost of maintaining an ever-growing KV-cache. Low-rank K/V projections provide a promising way to compress the KV-cache with minimal quality loss, but prior work has largely optimized KV-cache compression in isolation, leaving distributed inference, especially with tensor parallelism where attention computation is partitioned across multiple GPUs, largely underexplored. We make two observations: (i) tensor-parallel communication is an important cost when deploying low-rank KV-cache compression in distributed inference; and (ii) Value compression can be associated with the output projection, allowing the same low-rank Value representation to reduce both Value-cache width and tensor-parallel communication. Based on these observations, we propose BasisKV, a low-rank KV-cache compression method for communication-intensive, long-context LLM inference. BasisKV jointly optimizes the low-rank factors across per-GPU attention partitions against the complete attention output, rather than fitting each partition in isolation. The compressed Value cache is further reused to help identify which Key pages should be accessed: it predicts part of the Key information needed for routing, while a Key-specific residual stores what cannot be recovered from Value. The original Keys are then retrieved only for the selected pages to compute exact QK scores. Across multiple LLM families and system settings, BasisKV achieves a better quality--efficiency tradeoff than existing low-rank baselines, reaching up to 1.42x end-to-end speedup under 8-GPU tensor-parallel inference. Our code is available at https://github.com/alexz949/BasisKV
• Abstract（参考訳）: 長文大言語モデル(LLM)の推論は、成長を続けるKVキャッシュを維持するコストによって、ますます制限されている。 低ランクのK/Vプロジェクションは、KVキャッシュを最小品質の損失で圧縮する有望な方法を提供するが、以前の作業はKVキャッシュの圧縮を独立に最適化し、分散推論を残している。 私たちは2つの観察をします。 (i)テンソル並列通信は,分散推論における低ランクKVキャッシュ圧縮の展開において重要なコストである。 (ii)値圧縮は出力プロジェクションに関連付けることができ、同じ低ランクな値表現がバリューキャッシュ幅とテンソルパラレル通信の両方を減らすことができる。 これらの観測に基づいて,通信集約長文LLM推論のための低ランクKV-cache圧縮法BasisKVを提案する。 BasisKVは、各パーティションを分離する代わりに、GPU毎のアテンションパーティション間の低ランク要因を完全なアテンションアウトプットに対して共同で最適化する。 圧縮されたValueキャッシュは、どのキーページにアクセスすべきかを特定するために、さらに再利用される。これはルーティングに必要なキー情報の一部を予測し、キー固有の残留キャッシュは、Valueから回収できないものを格納する。 元のキーは選択したページに対してのみ検索され、正確なQKスコアが計算される。 複数のLLMファミリとシステム設定で、BasisKVは既存の低ランクベースラインよりも高品質で効率の良いトレードオフを実現し、8-GPUテンソルパラレル推論で最大1.42倍のエンドツーエンドのスピードアップを実現している。 私たちのコードはhttps://github.com/alexz949/BasisKVで利用可能です。

関連論文リスト

• DeltaKV: Residual-Based KV Cache Compression via Long-Range Similarity [50.52392445266824]
  そこで本稿では,KV表現における長距離間類似性と高共有遅延成分を動機とする残差ベースのKVキャッシュ圧縮フレームワークを提案する。 DeltaKVはトークンを捨てる代わりに、検索した履歴参照に対するセマンティックな残基をエンコードし、保存を著しく削減する。 実験によると、DeltaKVは、LongBench、SCBench、AIMEでほぼロスレスの精度を維持しながら、KVキャッシュメモリを元の29%に削減している。
  論文  参考訳（メタデータ） (2026-02-08T15:14:36Z)
• ReCalKV: Low-Rank KV Cache Compression via Head Reordering and Offline Calibration [69.57122277845293]
  ReCalKVは,キーと値の調整を施した低ランクKVキャッシュ圧縮手法である。 キーズでは、構造的に類似した頭部をグループにクラスタリングし、より正確な低ランク近似を可能にするSimisity aware Recontext (HSR)を提案する。 本稿では,オフラインヘッドワイド値(OVC)を提案する。これはトレーニングなしでキャリブレーションデータを用いて,効率的に値予測行列を校正する。
  論文  参考訳（メタデータ） (2025-05-30T08:49:27Z)
• ChunkKV: Semantic-Preserving KV Cache Compression for Efficient Long-Context LLM Inference [61.412894960600205]
  大きな言語モデル(LLM)は、長いテキストを処理する際に大きなGPUメモリを必要とする。 ChunkKVは、セマンティックチャンクを基本的な圧縮単位として扱うことで、KVキャッシュ圧縮を再定義する。 結果: ChunkKVは最先端の手法を最大8.7%精度で上回る。
  論文  参考訳（メタデータ） (2025-02-01T03:49:47Z)
• Cache Me If You Must: Adaptive Key-Value Quantization for Large Language Models [28.16603647353951]
  AQUA-KVは、コンパクトアダプタに依存するキーバリューキャッシュの適応量子化である。 パープレキシティとLongBenchスコアの相対誤差を1%以下の値で2-2.5ビットで近似する。
  論文  参考訳（メタデータ） (2025-01-31T18:47:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。