論文の概要: HeadGuard: Selective Head Protection for Low-Bit VLM KV-Cache Quantization

• arxiv url: http://arxiv.org/abs/2609.35800v1
• Date: Fri, 18 Sep 2026 01:14:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-05 14:48:16.278791
• Title: HeadGuard: Selective Head Protection for Low-Bit VLM KV-Cache Quantization
• Title（参考訳）: HeadGuard: 低ビットVLM KVキャッシュ量子化のための選択的ヘッド保護
• Abstract要約: HeadGuardは、KV-cache量子化器を固定された高精度マスクで強化する構成可能なヘッドプロテクト方式である。 画像感度と出力感度のスコアは、約1/8保護された物理的KVヘッドをオフラインで選択する。 HeadGuardは、より弱い量子化器で失われるかなりの量の精度を回復する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Low-bit key-value (KV) cache quantization saves storage but can sharply degrade vision-language model (VLM) accuracy. We introduce HeadGuard, a composable head-protection method that augments a base KV-cache quantizer with a fixed high-precision mask. Image-sensitivity and output-sensitivity scores select physical KV heads offline, with approximately 1/8 protected in the main experiments; their image keys and optionally values remain in bfloat16 (BF16), while the base quantizes unprotected image entries. Across eight VLMs, three base quantizers, and eight benchmarks (six discriminative and two generative), HeadGuard recovers a substantial fraction of lost accuracy on weaker quantizers, with the strongest gains for Qwen and InternVL. At 2 bits, the six-task discriminative mean over eight models rises from 0.436 to 0.580 on the weakest base; protection can also improve generated answers and caption fidelity to BF16 outputs. Mean accuracy gains persist across all three quantizers with both tested calibration datasets. Keys-only protection retains substantial recovery at lower modeled storage cost. Evaluated through simulated quantization, HeadGuard offers a composable way to improve low-bit VLM accuracy without replacing the underlying quantizer.
• Abstract（参考訳）: 低ビットキー値(KV)キャッシュ量子化はストレージを節約するが、視覚言語モデル(VLM)の精度を著しく低下させる。 本稿では,KV-cache量子化器を固定された高精度マスクで強化する,構成可能なヘッド保護手法であるHeadGuardを紹介する。 画像感度と出力感度のスコアは、物理的KVヘッドをオフラインに選択し、メイン実験で約1/8が保護され、画像キーとオプション値がbfloat16(BF16)に残され、ベースは保護されていない画像エントリを定量化する。 8つのVLM、3つの基本量子化器、および8つのベンチマーク(6つの差別化と2つの生成物)において、ヘッドガードはより弱い量子化器においてかなりの精度の損失を回収し、QwenとInternVLにとって最も高い利得を得た。 2ビットで8モデル以上の6タスクの識別平均は、最も弱いベースで0.436から0.580に上昇する。 平均精度は、両方のテストされた校正データセットを持つ3つの量子化器全体で持続する。 キーのみの保護は、より低いモデルストレージコストで大幅な回復を維持する。 シミュレーション量子化によって評価され、HeadGuardは、基礎となる量子化器を置き換えることなく、低ビットのVLM精度を向上させるための構成可能な方法を提供する。

関連論文リスト

• Learning Functional Subspaces for Neural Network Compression [79.78451551969097]
  Learnable Subspace Projections (LSP) は、エンドツーエンドを捨てるためにサブスペースを学習する。 LSPは、小さなバッチサイズで高密度モデルよりも1.6倍高速にデコードする。
  論文  参考訳（メタデータ） (2026-09-30T16:47:35Z)
• SemKV: Semantic Mixed-Precision KV Cache Quantization Guided by the Quality Cliff for Long-Context LLM Inference [3.2938220347051175]
  分数ビットグリッド上の均一なKV量子化は、優雅に分解されないことを示す。 本稿では,アフィンベースを歪み最適化量子化器 (TurboQuant-MSE) に置き換えることによって,テスト対象のプロトコルの崖を突破することを示す。
  論文  参考訳（メタデータ） (2026-08-28T22:19:47Z)
• From Bit-Position Sensitivity to Unequal Error Protection for DNN Inference Memory [0.4610618579893946]
  16のワークロードにわたるML推論において,ビット位置当たりの故障感度を特徴付ける。 我々の中心的な経験的発見は、シャープなビット感度遷移である: 決定論的単一ビットストレステストの下で、データタイプ固有のしきい値であるXsafeに、最も重要でない分数ビットのいずれかをめくって、タスクメトリクスを1%以下に低下させる。
  論文  参考訳（メタデータ） (2026-07-21T23:07:56Z)
• Bridging Quantum Computing Paradigms toward Semiconductor Yield: A Controlled CV-versus-DV Comparison on Wafer-Map Defect Classification [0.0]
  我々は支配的パラダイムである連続変数(CV)と離散変数(DV)を比較する。 量子回路を唯一の変数として分離するために、共有畳み込みバックボーンは交換可能なヘッド(古典的高密度、CV-QNN、DV-QNN)を唯一の構造的差として供給する。 CVヘッドは、DVヘッドより一貫して優れており、4つのqumods/qubitsでは、79.7 +/- 1.8%の精度が61.6 +/- 1.4%と、重複しない18点ギャップである。
  論文  参考訳（メタデータ） (2026-07-01T13:58:16Z)
• Alignment Collapse Under KV Cache Quantization: Diagnosis and Mitigation [6.129872931808218]
  キー値(KV)キャッシュの量子化は、Large Language Model(LLM)推論メモリの削減に広く利用されている。 本研究では,KVキャッシュ量子化下でのアライメント保存について検討する。 低ビット量子化は安全アライメントを静かに破壊することができる。
  論文  参考訳（メタデータ） (2026-06-01T02:02:20Z)
• Don't Waste Bits! Adaptive KV-Cache Quantization for Lightweight On-Device LLMs [8.332279450103151]
  大規模言語モデル (LLM) は、推論、生成、意思決定のタスクで顕著な進歩を遂げた。 オンデバイスLSM推論は、キー値(KV)キャッシュのメモリと帯域幅のオーバーヘッドによって大きく制約される。 本稿では,トークンの重要度に比例したビット幅を割り当てる学習ポリシである適応KV-cache量子化を提案する。
  論文  参考訳（メタデータ） (2026-04-06T14:45:49Z)
• KV-Latent: Dimensional-level KV Cache Reduction with Frequency-aware Rotary Positional Embedding [72.12756830560217]
  Transformer Decodersをベースとした大規模言語モデル(LLM)が、会話生成AIの選択肢として好まれている。 デコーダアーキテクチャの全体的な優位性にもかかわらず、推論中にキーバリューキャッシュが徐々に増加し、主要な効率ボトルネックとなっている。 キーバリューベクトル次元を潜在空間にダウンサンプリングすることで、KVキャッシュのフットプリントを大幅に削減し、推論速度を向上させることができる。
  論文  参考訳（メタデータ） (2025-07-15T12:52:12Z)
• Quantize What Counts: More for Keys, Less for Values [63.51476878610841]
  大規模言語モデル(LLM)は、キーバリュー(KV)キャッシュに支配される推論時のメモリボトルネックに悩まされる。 本稿ではトランスフォーマーモデルの内在幾何学における混合精度KV量子化を固定する2つの定理を提案する。
  論文  参考訳（メタデータ） (2025-02-20T22:24:27Z)
• KVQuant: Towards 10 Million Context Length LLM Inference with KV Cache Quantization [67.74400574357472]
  LLMは、大きなコンテキストウィンドウを必要とするアプリケーションでの利用が増えており、この大きなコンテキストウィンドウでは、KVキャッシュのアクティベーションが推論時のメモリ消費の主要な要因として表面化している。 量子化はKVキャッシュのアクティベーションを圧縮する上で有望な手法であるが、既存のソリューションは4ビット以下の精度でアクティベーションを正確に表現できない。 我々の研究であるKVQuantは、いくつかの新しい手法を取り入れることで、低精度のKVキャッシュ量子化を容易にする。
  論文  参考訳（メタデータ） (2024-01-31T18:58:14Z)
• Neural Network Virtual Sensors for Fuel Injection Quantities with Provable Performance Specifications [71.1911136637719]
  証明可能な保証が、他の現実世界の設定にどのように自然に適用できるかを示す。 本研究では, 燃料噴射量を一定範囲で最大化するために, 特定の間隔の燃料噴射量を目標にする方法を示す。
  論文  参考訳（メタデータ） (2020-06-30T23:33:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。