論文の概要: GAAC: Lossless KV Compression for Bandwidth-Efficient LLM Inference on Personal Devices

• arxiv url: http://arxiv.org/abs/2610.38210v1
• Date: Wed, 28 Oct 2026 03:03:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-01 01:32:09.942611
• Title: GAAC: Lossless KV Compression for Bandwidth-Efficient LLM Inference on Personal Devices
• Title（参考訳）: GAAC:パーソナルデバイス上での帯域効率のLLM推論のための無損失KV圧縮
• Abstract要約: Group-Adaptive Additive Codec (GAAC)は、チャンネルごとのベースプラスオフセット符号を調整してBF16指数を符号化する。 融合された注目カーネルは、フルキャッシュの減圧を避けるために、フライ時にKVタイルを再構築する。 Apple M4では、GAACは1.02-1.25$times$ attention speedupsを達成した。
• 参考スコア（独自算出の注目度）: 4.042241013813758
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Weight-only, lossy quantization substantially reduces the storage and memory requirements for serving large language models (LLMs), but the growing key-value (KV) cache remains a bottleneck for long-context inference on personal devices. We present Group-Adaptive Additive Codec (GAAC), a lossless KV compression and serving system that exploits exponent redundancy to reduce storage and accelerate attention without introducing KV approximation. GAAC encodes BF16 exponents using calibrated per-channel base-plus-offset codes over contiguous ranges. GAAC adapts code widths across small groups while preserving KV values bit-for-bit. A fused attention kernel reconstructs KV tiles on the fly, avoiding full-cache decompression. Block-wise compression and fixed-capacity slots support incremental cache updates and paged serving. Across five tested models, GAAC achieves 1.405-1.407$\times$ lossless BF16 KV compression. We also study compression performance on low-precision tensors FP8 E4M3 caches ( 1.09-1.14$\times$) and E5M2 caches (1.25-1.30$\times$). On NVIDIA DGX Spark, GAAC accelerates decode attention at a 64K-token context by 1.19-1.27$\times$ and end-to-end W4A16 decode steps by 1.04-1.15$\times$. In serving, it reduces resident KV memory by approximately 26% and increases aggregate throughput by 13-29% under comparable KV-memory budgets. On Apple M4, GAAC achieves 1.02-1.25$\times$ attention speedups, demonstrating portability beyond NVIDIA GPUs.
• Abstract（参考訳）: 軽量で損失の多い量子化は、大きな言語モデル(LLM)を提供するためのストレージとメモリの要求を大幅に削減するが、成長するキーバリュー(KV)キャッシュは、パーソナルデバイス上での長いコンテキスト推論のボトルネックのままである。 我々は、KV近似を導入することなく、指数冗長性を利用してストレージを減らし、注意を加速する、損失のないKV圧縮・サービスシステムであるGroup-Adaptive Additive Codec(GAAC)を提案する。 GAACは、キャリブレーションされたチャネル単位のベースプラスオフセット符号を連続範囲上でBF16指数を符号化する。 GAACはKV値をbit-for-bitで保存しながら、小さなグループにコード幅を適応させる。 融合された注目カーネルは、フルキャッシュの減圧を避けるために、フライ時にKVタイルを再構築する。 ブロックワイド圧縮と固定容量スロットはインクリメンタルキャッシュ更新とページドサービスをサポートする。 5つのテストモデルでGAACは1.405-1.407$\times$ Losless BF16 KV圧縮を達成した。 また、低精度テンソルFP8 E4M3キャッシュ(1.09-1.14$\times$)とE5M2キャッシュ(1.25-1.30$\times$)の圧縮性能についても検討した。 NVIDIA DGX Sparkでは、GAACは64K-tokenコンテキストでのデコード注意を1.19-1.27$\times$で、エンドツーエンドのW4A16デコードステップを1.04-1.15$\times$で加速する。 サービスでは、常駐KVメモリを約26%削減し、同等のKVメモリ予算の下で、集約スループットを13～29%向上する。 Apple M4では、GAACは1.02-1.25$\times$ attention speedupsを達成し、NVIDIA GPU以上の移植性を示している。

関連論文リスト

• SplitZip: Ultra Fast Lossless KV Compression for Disaggregated LLM Serving [4.543073806867322]
  SplitZipは、KVキャッシュ転送のためのGPUフレンドリーな圧縮機である。 SplitZipはKVアクティベーションの浮動小数点指数の冗長性を利用する。 オフラインのトップ16指数コードブックは、オンラインヒストグラムを排除します。
  論文  参考訳（メタデータ） (2026-05-03T04:22:51Z)
• KV-CAR: KV Cache Compression using Autoencoders and KV Reuse in Large Language Models [3.5171501100868876]
  KVキャッシュはシーケンス長と埋め込み次元で成長し、しばしばモデル自体のメモリフットプリントを超える。 KV CARは,モデル忠実性を維持しつつ,KVキャッシュストレージを大幅に削減する,統一的で非依存なアーキテクチャフレームワークである。 Wikitext、C4、PIQA、WinograndeデータセットにわたるGPT 2とTinyLLaMAモデルの評価は、KV CARが最大47.85パーセントのKVキャッシュメモリ削減を達成したことを示している。
  論文  参考訳（メタデータ） (2025-12-07T08:40:52Z)
• KV Cache Transform Coding for Compact Storage in LLM Inference [2.20003167536462]
  KVTCは、KVキャッシュをコンパクトなオンGPUとオフGPUストレージに圧縮する軽量トランスフォーメーションコーダである。 KVキャッシュの冗長性を活用することで、KVTCは推論と長文の精度を維持しながら最大20$times$圧縮を達成する。 我々は、AIME25、LiveCodeBench、GSM8K、MMLU、Qasper、RULER、MATH-500を含むベンチマークで、Llama 3、Mistral NeMo、R1-Qwen 2.5モデルでKVTCをテストする。
  論文  参考訳（メタデータ） (2025-11-03T18:20:35Z)
• CommVQ: Commutative Vector Quantization for KV Cache Compression [50.37946553931796]
  本稿では,長期LLM推論におけるメモリ使用量を大幅に削減するために,CommVQ(CommVQ)を提案する。 まず、KVキャッシュを圧縮するための軽量エンコーダとコードブックを用いた加算量子化を導入する。 提案手法は,RoPE-commutative codebook を用いた加算量子化と低オーバーヘッド化により高い精度を実現する。
  論文  参考訳（メタデータ） (2025-06-23T17:50:11Z)
• ReCalKV: Low-Rank KV Cache Compression via Head Reordering and Offline Calibration [69.57122277845293]
  ReCalKVは,キーと値の調整を施した低ランクKVキャッシュ圧縮手法である。 キーズでは、構造的に類似した頭部をグループにクラスタリングし、より正確な低ランク近似を可能にするSimisity aware Recontext (HSR)を提案する。 本稿では,オフラインヘッドワイド値(OVC)を提案する。これはトレーニングなしでキャリブレーションデータを用いて,効率的に値予測行列を校正する。
  論文  参考訳（メタデータ） (2025-05-30T08:49:27Z)
• KVSharer: Efficient Inference via Layer-Wise Dissimilar KV Cache Sharing [58.29726147780976]
  我々は,層間をKVキャッシュで共有し,層間圧縮を実現する,textit KVSharerと呼ばれるプラグアンドプレイ方式を提案する。 実験の結果、textit KVSharerはKVキャッシュの計算を30%削減し、メモリ消費を削減できることがわかった。 我々は,textit KVSharerが既存の層内KVキャッシュ圧縮手法と互換性があることを検証する。
  論文  参考訳（メタデータ） (2024-10-24T08:06:41Z)
• KV-Compress: Paged KV-Cache Compression with Variable Compression Rates per Attention Head [0.8158530638728501]
  そこで我々は,PagedAttentionフレームワーク内で連続KVブロックを除去する新しい圧縮手法であるKV-Compressを紹介する。 本手法は,Mistral-7B-Instruct-v0.2およびLlama-3.1-8B-InstructのLongBenchにおける圧縮KVの総数を4倍に減らしながら,最先端の性能を実現する。 Llama-3.1-8B-InstructとLlama-3.1-70B-Instruct-FP8の評価は、圧縮速度を最大8倍まで達成し、性能に悪影響を及ぼすことなく、フルキャッシュ性能の90%以上を維持しながら、最大64倍まで向上する。
  論文  参考訳（メタデータ） (2024-09-30T19:09:13Z)
• KIVI: A Tuning-Free Asymmetric 2bit Quantization for KV Cache [67.9776980972508]
  我々はKIVIというチューニング不要な2ビットKVキャッシュ量子化アルゴリズムを開発した。 KIVI は Llama, Falcon, Mistral のモデルを $mathbf2.6times$ less peak memory を使用しながらほぼ同じ品質を維持することができる。
  論文  参考訳（メタデータ） (2024-02-05T06:06:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。