論文の概要: MultiAlloc: Budget-Aware Precision Allocation for KV Cache Quantization

• arxiv url: http://arxiv.org/abs/2610.18642v1
• Date: Tue, 13 Oct 2026 16:10:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 20:20:49.529745
• Title: MultiAlloc: Budget-Aware Precision Allocation for KV Cache Quantization
• Title（参考訳）: MultiAlloc:KVキャッシュ量子化のための予算対応精度割当
• Abstract要約: キーバリュー(KV)キャッシュは、大規模言語モデル(LLM)の推論において、メモリ消費の主要な原因である。 既存のKVキャッシュ量子化法では、層単位での精度調整やトークンレベルの情報保存など、様々な圧縮粒度を探索している。 KVキャッシュ量子化のためのプロファイリング誘導精度配分フレームワークであるMultiAllocを提案する。
• 参考スコア（独自算出の注目度）: 8.94688652885584
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The Key-Value (KV) cache constitutes a dominant source of memory consumption during large language model (LLM) inference, particularly in long-context and complex reasoning scenarios. Existing KV cache quantization methods have explored different compression granularities, including layer-wise precision adjustment and token-level information preservation. In practical deployment, however, the key challenge is not merely compression, but how to allocate limited quantization resources among heterogeneous precision preservation strategies under a fixed KV cache memory budget. We propose MultiAlloc, a profiling-guided precision allocation framework for KV cache quantization that adaptively distributes limited quantization resources between layer-wise precision enhancement and token-wise preservation. MultiAlloc employs lightweight offline profiling to characterize layer sensitivity and token importance, enabling adaptive precision allocation under a fixed memory constraint. Guided by the profiled memory--accuracy trade-off, it automatically derives an effective precision allocation strategy without online allocation search, and applies the resulting policy during inference. Extensive experiments on reasoning and long-context benchmarks demonstrate that MultiAlloc consistently improves over layer-wise, token-wise, and recent multi-granularity KV cache quantization methods under matched memory budgets across diverse models, including Mistral, Llama, DeepSeek-Qwen, and QwQ.
• Abstract（参考訳）: キーバリュー(KV)キャッシュは、特に長期コンテキストおよび複雑な推論シナリオにおいて、大規模言語モデル(LLM)推論において、メモリ消費の主流の源となっている。 既存のKVキャッシュ量子化法では、層単位での精度調整やトークンレベルの情報保存など、様々な圧縮粒度を探索している。 しかし、実際の展開においては、鍵となる課題は単に圧縮ではなく、固定KVキャッシュメモリ予算の下で不均一な精度保存戦略に限定的な量子化資源を割り当てることである。 我々は,KVキャッシュ量子化のためのプロファイリング誘導精度割当フレームワークであるMultiAllocを提案する。 MultiAllocは、レイヤの感度とトークンの重要性を特徴付けるために、ライトウェイトなオフラインプロファイリングを採用している。 プロファイルされたメモリ-精度トレードオフによってガイドされ、オンラインアロケーション検索なしで効果的な精度割り当て戦略を導出し、推論中に結果のポリシーを適用する。 推論と長期コンテキストのベンチマークに関する大規模な実験により、MultiAllocは、Mistral、Llama、DeepSeek-Qwen、QwQなど、様々なモデルで一致したメモリ予算の下で、階層的、トークン的に、そして最近のマルチグラニュラリティKVキャッシュ量子化手法よりも一貫して改善されていることが示された。

関連論文リスト

• MixKVQ: Query-Aware Mixed-Precision KV Cache Quantization for Long-Context Reasoning [30.527521568636242]
  Long Chain-of-Thought (CoT)推論は、Large Language Models (LLM)の機能を大幅に進歩させた。 既存の低ビット量子化法は、複雑な推論タスクにおいて深刻な性能劣化を示すことが多い。 重要鍵チャネルを識別・保存するための軽量なクエリ対応アルゴリズムであるMixKVQを提案する。
  論文  参考訳（メタデータ） (2025-12-22T09:44:26Z)
• XQuant: Achieving Ultra-Low Bit KV Cache Quantization with Cross-Layer Compression [54.28208936996186]
  大規模言語モデル(LLM)は、様々な自然言語処理タスクにまたがる顕著な機能を示している。 量子化は、歴史的情報を保持しながらメモリ消費を減らすための有望な解決策として現れてきた。 超低等価ビット幅KVキャッシュ量子化を実現するトレーニングフリーでプラグアンドプレイのフレームワークであるXQuantを提案する。
  論文  参考訳（メタデータ） (2025-10-13T10:17:21Z)
• KVCompose: Efficient Structured KV Cache Compression with Composite Tokens [7.922206020386125]
  大規模言語モデル(LLM)は、効率的な自己回帰復号化のためにキー値(KV)キャッシュに依存している。 我々は,注意誘導型,層適応型複合トークンに基づく,シンプルで効果的なKVキャッシュ圧縮フレームワークを提案する。 本手法は精度を保ちながらメモリの大幅な削減を実現し,従来手法と半構造化手法を一貫して上回っている。
  論文  参考訳（メタデータ） (2025-09-05T14:58:24Z)
• TaDA: Training-free recipe for Decoding with Adaptive KV Cache Compression and Mean-centering [10.427881558469442]
  量子化精度の高いKVキャッシュ圧縮のためのトレーニング不要なレシピであるTaDAを紹介する。 提案手法は,様々なコンテキスト長をサポートする複数のモデルに対して,大幅な精度向上を実現する。 本手法は,言語モデルにおけるスケーラブルで高性能な推論手法である。
  論文  参考訳（メタデータ） (2025-06-05T05:23:38Z)
• KVmix: Gradient-Based Layer Importance-Aware Mixed-Precision Quantization for KV Cache [13.662270631753135]
  量子化は、KVキャッシュによって引き起こされるメモリ圧力を効果的に軽減することができる。 KVmix と呼ばれる KV キャッシュのための新しい混合精度量子化法を提案する。
  論文  参考訳（メタデータ） (2025-05-18T07:04:53Z)
• DBudgetKV: Dynamic Budget in KV Cache Compression for Ensuring Optimal Performance [125.81664663201282]
  我々はDBudgetKVと呼ばれる新しいKVキャッシュ圧縮手法を提案する。 残りのKVキャッシュがフルキャッシュのパフォーマンスにマッチしない場合、注意ベースのメトリクスが特徴である。 提案手法は, 平均圧縮率25%を超え, 無損失KVプルーニングを効果的かつ堅牢に実現している。
  論文  参考訳（メタデータ） (2025-02-24T06:33:39Z)
• More Tokens, Lower Precision: Towards the Optimal Token-Precision Trade-off in KV Cache Compression [71.42818367729573]
  大規模言語モデル(LLM)では、KVキャッシュのメモリ使用量は推論において重大なボトルネックとなっている。 KVプルーニングやKV量子化を含む主流のKV圧縮法は、主にトークンまたは精度寸法を別々に扱う。 本稿では,KVキャッシュ圧縮におけるトークン精度トレードオフを包括的に検討する。
  論文  参考訳（メタデータ） (2024-12-17T09:20:31Z)
• ThinK: Thinner Key Cache by Query-Driven Pruning [63.13363917871414]
  大規模言語モデル(LLM)は自然言語処理の分野に革命をもたらし、様々なアプリケーションで前例のない性能を達成した。 本稿では,KVキャッシュのメモリ消費の非効率性に対処する長文シナリオに焦点を当てた。 我々は,最小のチャネルを選択的に切断しながら,注目重量損失を最小限に抑える新しいクエリ依存型KVキャッシュプルーニング手法であるThinKを提案する。
  論文  参考訳（メタデータ） (2024-07-30T17:59:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。