論文の概要: Squeezing the Cache, Preserving the Truth: Monotonic Equipotential Allocation with Geodesia-KV

• arxiv url: http://arxiv.org/abs/2608.23599v1
• Date: Wed, 19 Aug 2026 08:04:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-26 14:09:34.343747
• Title: Squeezing the Cache, Preserving the Truth: Monotonic Equipotential Allocation with Geodesia-KV
• Title（参考訳）: キャッシュのキューズ, 真実の保存:Geodeia-KVを用いたモノトニックな等角配置
• Abstract要約: 単調ブロック単位の精度割り当てに基づくトレーニング不要なKVキャッシュポリシーであるGeodesia-KVを提案する。 その結果,Geodeia-KV は他の手法よりも有意に優れていることがわかった。
• 参考スコア（独自算出の注目度）: 4.779196219827507
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Current assessment of KV-cache compression performance confuses resident bits with read bandwidth and is affected by the artifacts of chunked teacher-forcing. We present Geodesia-KV, a family of training-free KV cache policies based on monotonic block-wise precision allocation, exact rate-distortion residuals, and query-sparse reading, enabling proper hardware-ready compression. With proper separation of resident and read bits and causal evaluation, we show that Geodesia-KV significantly outperforms other approaches. Specifically, on WikiText-2 with 16k context, the 5-bit operating point of Geodesia-KV results in lower perplexity at lower bitrate than KIVI-4 on Qwen. In addition, our compressed-Quest version delivers improved perplexity and reduces resident (9.83 vs 16.25 bits/value) and read rates (1.95 vs 2.32 bits/value) over baseline sparse methods on PG-19. As Geodesia-KV is implemented as native GeodesiaKVCacheManager plug-in of vLLM, Geodesia-KV fully removes the need for dense cache residency via monotonic bit demotion. With the full consumer hardware evaluation, Geodesia-KV leads to 1M-token context generation on a single 16 GiB GPU with up to 71.7% peak VRAM savings on all leading architectures (Qwen, Llama, DeepSeek).
• Abstract（参考訳）: KV-cache圧縮性能の現在の評価は、常駐ビットと読み出し帯域を混同し、チャンクされた教師強制のアーチファクトに影響される。 我々は,単調なブロック単位の精度割り当て,正確なレート歪み残差,クエリスパース読み込みに基づく,トレーニング不要なKVキャッシュポリシのファミリーであるGeodesia-KVを提案する。 その結果,Geodeia-KVは他の手法よりも優れた性能を示した。 特に16kコンテキストのWikiText-2では、Geodeia-KVの5ビット動作点がQwenのKIVI-4よりもビットレートが低い。 さらに、当社の圧縮クエストバージョンは、改良されたパープレキシティを提供し、PG-19のベースラインスパース法よりも常駐率(9.83対16.25ビット/値)とリードレート(1.95対2.32ビット/値)を低減します。 Geodesia-KVはネイティブなGeodesiaKVCacheManagerプラグインとして実装されているため、Geodesia-KVはモノトニックビットの削除により、密度の高いキャッシュ常駐の必要性を完全に排除する。 Geodesia-KVは、すべての主要なアーキテクチャ(Qwen、Llama、DeepSeek)で最大71.7%のピークVRAMを節約し、単一の16GBのGPU上で1Mのコンテキストを生成する。

関連論文リスト

• SeKV: Resolution-Adaptive KV Cache with Hierarchical Semantic Memory for Long-Context LLM Inference [37.37437232987781]
  SeKVは、コンテキストをエントロピー誘導セマンティックスパンに整理する、解像度適応型セマンティックKVキャッシュである。 本研究では,SeKVが最強のセマンティック圧縮ベースラインよりも平均5.9%向上していることを示す。 128KコンテキストでのフルKVキャッシュに対して、GPUメモリを53.3%削減する。
  論文  参考訳（メタデータ） (2026-06-30T05:18:02Z)
• STaR-KV: Spatio-Temporal Adaptive Re-weighting for KV Cache Compression in GUI Vision-Language Models [21.506039893153332]
  ビジョンモデルベースのグラフィカルユーザインタフェース(GUI)エージェントは、幅広い自動化機能を示している。 デプロイメントは、インタラクションステップと線形に成長するキーバリュー(KV)キャッシュによってボトルネックされる。 トレーニング不要なKVキャッシュ圧縮フレームワークSTaR-KVを提案する。
  論文  参考訳（メタデータ） (2026-06-01T07:10:00Z)
• RDKV: Rate-Distortion Bit Allocation for Joint Eviction and Quantization of the KV Cache [28.54642982960947]
  大規模言語モデル(LLM)は様々なタスクにまたがって高い性能を示すが、長い入力コンテキストでの推論はメモリサイズと帯域幅によってボトルネックとなる。 既存のメソッドは、消去または量子化によってキャッシュを減らすが、通常は2つを分離して扱う。 本稿では、KVキャッシュ圧縮をレート歪み問題とみなし、同じビット割り当て方式の2つの端点の消去と量子化を行う。
  論文  参考訳（メタデータ） (2026-05-08T15:15:06Z)
• StreamKV: Streaming Video Question-Answering with Segment-based KV Cache Retrieval and Compression [95.59657871147846]
  我々は,ビデオLLMと高度なKVキャッシュの検索と圧縮をシームレスに行うフレームワークである textbfStreamKV を提案する。 公開StreamingVQAベンチマークの実験では、StreamKVが既存のオンラインビデオ-LLMを著しく上回っていることが示されている。
  論文  参考訳（メタデータ） (2025-11-10T16:25:03Z)
• ReCalKV: Low-Rank KV Cache Compression via Head Reordering and Offline Calibration [69.57122277845293]
  ReCalKVは,キーと値の調整を施した低ランクKVキャッシュ圧縮手法である。 キーズでは、構造的に類似した頭部をグループにクラスタリングし、より正確な低ランク近似を可能にするSimisity aware Recontext (HSR)を提案する。 本稿では,オフラインヘッドワイド値(OVC)を提案する。これはトレーニングなしでキャリブレーションデータを用いて,効率的に値予測行列を校正する。
  論文  参考訳（メタデータ） (2025-05-30T08:49:27Z)
• R-KV: Redundancy-aware KV Cache Compression for Reasoning Models [77.84539432982307]
  共振モデル(R-KV)のための冗長性を考慮したKVキャッシュ圧縮を提案する。 R-KVはKVキャッシュの10%しか使用せず、完全なKVキャッシュ性能のほぼ100%を保っている。 驚くべきことに、R-KVは完全なKVキャッシュ性能の105%を達成し、KVキャッシュの16%を達成している。
  論文  参考訳（メタデータ） (2025-05-30T02:03:24Z)
• xKV: Cross-Layer SVD for KV-Cache Compression [8.250015628919098]
  長いコンテキストウィンドウを持つ大規模言語モデル(LLM)は強力なアプリケーションを実現するが、メモリ消費のコストがかかる。 近年の研究では、KV-cacheを複数の層から共有表現にマージする試みが試みられている。 支配的な特異ベクトルは、KV-Cacheの複数の層に驚くほどよく整合していることが分かる。 xKVは複数のレイヤのKVキャッシュを共有低ランクサブスペースに統合し、KVキャッシュのサイズを大幅に削減する。
  論文  参考訳（メタデータ） (2025-03-24T17:06:37Z)
• ChunkKV: Semantic-Preserving KV Cache Compression for Efficient Long-Context LLM Inference [61.412894960600205]
  大きな言語モデル(LLM)は、長いテキストを処理する際に大きなGPUメモリを必要とする。 ChunkKVは、セマンティックチャンクを基本的な圧縮単位として扱うことで、KVキャッシュ圧縮を再定義する。 結果: ChunkKVは最先端の手法を最大8.7%精度で上回る。
  論文  参考訳（メタデータ） (2025-02-01T03:49:47Z)
• Not All Heads Matter: A Head-Level KV Cache Compression Method with Integrated Retrieval and Reasoning [22.824631730359766]
  キーバリューキャッシング(キーバリューキャッシング、英: Key-Value cache)は、大規模言語モデル(LLM)の計算効率を高めるための一般的な手法である。 本稿では,新たな文脈推論能力推定手法であるヘッドKVとヘッドKV-R2を提案する。 本手法は,文脈質問応答ベンチマークにおいて,全KVキャッシュの性能の97%を達成しつつ,KVキャッシュの1.5%しか保持しない。
  論文  参考訳（メタデータ） (2024-10-25T02:22:00Z)
• KVSharer: Efficient Inference via Layer-Wise Dissimilar KV Cache Sharing [58.29726147780976]
  我々は,層間をKVキャッシュで共有し,層間圧縮を実現する,textit KVSharerと呼ばれるプラグアンドプレイ方式を提案する。 実験の結果、textit KVSharerはKVキャッシュの計算を30%削減し、メモリ消費を削減できることがわかった。 我々は,textit KVSharerが既存の層内KVキャッシュ圧縮手法と互換性があることを検証する。
  論文  参考訳（メタデータ） (2024-10-24T08:06:41Z)
• Palu: Compressing KV-Cache with Low-Rank Projection [7.2863629986391025]
  本稿では,Paluと呼ばれるKVキャッシュ圧縮フレームワークを提案する。 Paluは線形層を低ランクの行列に分解し、圧縮された中間状態をキャッシュし、フライ時に全キーと値を再構築する。 実験の結果、PuluはKVキャッシュを50%圧縮し、高い精度を維持し、RoPEベースのアテンションモジュール上で最大1.89倍の精度を提供することがわかった。
  論文  参考訳（メタデータ） (2024-07-30T18:19:38Z)
• PyramidKV: Dynamic KV Cache Compression based on Pyramidal Information Funneling [38.732413451399]
  ピラミッドKVは新規かつ効果的なKVキャッシュ圧縮法である。 提案手法は,KVキャッシュの12%しか保持せず,完全なKVキャッシュでモデルの性能と一致していることを示す。 Needle-in-a-Haystack実験では、Praamid KVは長文理解の維持において競合する手法より優れている。
  論文  参考訳（メタデータ） (2024-06-04T07:51:30Z)
• Model Tells You What to Discard: Adaptive KV Cache Compression for LLMs [82.08922896531618]
  大規模言語モデル(LLM)における生成推論のメモリフットプリントを削減するプラグイン・アンド・プレイ方式である適応KVキャッシュ圧縮を導入する。 我々は,アテンションモジュールの本質的な構造を明らかにするために,ターゲットプロファイリングを行う。 認識された構造に基づいて、我々はKVキャッシュを適応的に構築する: 注意頭上の長距離コンテキストを排除し、局所的なコンテキストを強調し、特別なトークンを中心とした注意頭上の特別なトークンを排除し、すべてのトークンに広く参加する注目頭に対して標準のKVキャッシュのみを使用する。
  論文  参考訳（メタデータ） (2023-10-03T05:17:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。