論文の概要: Freeze the Decoder, Heal the Encoder: Parameter-Efficient Adaptation for SVD-Based KV-Cache Compression

• arxiv url: http://arxiv.org/abs/2610.10552v1
• Date: Fri, 25 Sep 2026 20:48:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-11 16:33:44.561944
• Title: Freeze the Decoder, Heal the Encoder: Parameter-Efficient Adaptation for SVD-Based KV-Cache Compression
• Title（参考訳）: デコーダをフリーズし、エンコーダを修復する:SVDベースのKVキャッシュ圧縮のためのパラメータ効率の良い適応
• Abstract要約: よくあるが欠点は、パラメータ効率の良い微調整レシピを1つの共有学習率で比較することである。 提案手法は,ポストホックSVDに基づくKV-cache圧縮である。 視覚言語モデルを用いて、各アーム単位の学習速度チューニングと構成毎の3つのシードを用いて、このパリティを検証する。
• 参考スコア（独自算出の注目度）: 2.921159958223653
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Comparing parameter-efficient fine-tuning recipes under a single, shared learning rate is a common but flawed practice: when the arms being compared have very different trainable-parameter counts, a shared rate can simultaneously depress the larger arms' means and inflate their variance, manufacturing a large, seemingly multi-seed-significant advantage for the smallest arm that is not a real effect. We document this confound in a concrete setting: post-hoc SVD-based KV-cache compression, where an already-pretrained model is converted to a low-rank (multi-head-latent-attention-style) cache by factorizing its key/value weights into a down-projection ("encoder") and an up-projection ("decoder"), after which a short fine-tune ("healing") recovers the accuracy lost to truncation. Under a shared learning rate, freezing the decoder and healing only the encoder looks like a clear win over healing the decoder or both factors; once every arm is given its own tuned learning rate, that apparent advantage disappears, and encoder-only healing instead reaches parity with the alternatives, at a real, measured saving of 3x fewer trainable parameters and 3x less optimizer-state memory. We verify this parity with per-arm learning-rate tuning and three seeds per configuration on a vision-language model (Qwen2.5-VL-3B-Instruct), at the one compression ratio this protocol covers, and replicate it on a text-only testbed across two backbones. Encoder-only healing is therefore a lower-memory drop-in recipe for retrofitting low-rank KV-cache compression at training time, and the shared-learning-rate pitfall we document and correct is a cautionary result for comparing any fine-tuning recipes whose arms differ in trainable-parameter count.
• Abstract（参考訳）: 単一の共有学習率でパラメータ効率の良い微調整レシピを比較することは一般的な慣行であるが、比較対象のアームが訓練可能なパラメータ数が非常に異なる場合、共有レートは大きなアームの手段を同時に減らし、その分散を増大させ、実際の効果ではない最小のアームに対して、大きく、一見多種多様な利点をもたらすことができる。 我々は、この欠点を具体的設定で文書化する: ポストホックSVDベースのKV-cache圧縮では、既定モデルが、キー/値重みをダウンプロジェクション(エンコーダ)とアッププロジェクション(デコーダ)に分解することで、低ランク(マルチヘッドラテントアテンションスタイル)のキャッシュに変換される。 共有学習率の下では、デコーダを凍結し、エンコーダのみを癒すことは、デコーダまたは両方の要素の治癒よりも明らかな勝利のように見える。各アームに調整された学習速度が与えられると、その明らかな優位性が失われ、代わりにエンコーダのみのヒーリングは、実際の3倍のトレーニング可能なパラメータと3倍の最適化可能なメモリで、代替品と同等に達する。 本研究では,本プロトコルがカバーする1つの圧縮比において,各アーム単位の学習速度チューニングと3種構成(Qwen2.5-VL-3B-インストラクタ)で検証し,2つのバックボーンにまたがるテキストのみのテストベッド上で再現する。 したがって、エンコーダのみのヒーリングは、トレーニング時に低ランクのKVキャッシュ圧縮を再現するための低メモリのドロップインレシピであり、私たちが文書化した共有学習率の落とし穴は、トレーニング可能なパラメータ数で腕が異なる微調整レシピを比較するための注意深い結果である。

関連論文リスト

• ReCalKV: Low-Rank KV Cache Compression via Head Reordering and Offline Calibration [69.57122277845293]
  ReCalKVは,キーと値の調整を施した低ランクKVキャッシュ圧縮手法である。 キーズでは、構造的に類似した頭部をグループにクラスタリングし、より正確な低ランク近似を可能にするSimisity aware Recontext (HSR)を提案する。 本稿では,オフラインヘッドワイド値(OVC)を提案する。これはトレーニングなしでキャリブレーションデータを用いて,効率的に値予測行列を校正する。
  論文  参考訳（メタデータ） (2025-05-30T08:49:27Z)
• GEAR: An Efficient KV Cache Compression Recipe for Near-Lossless Generative Inference of LLM [37.87634266742105]
  キーバリュー(KV)キャッシングは,大規模言語モデル(LLM)推論における生成速度を高速化するデファクトとなっている。 既存の方法は、重要でないトークンをドロップしたり、全てのエントリを均一に定量化することに依存している。 本稿では,高速なKVキャッシュ圧縮フレームワークであるGEARを提案する。
  論文  参考訳（メタデータ） (2024-03-08T18:48:30Z)
• Inshrinkerator: Compressing Deep Learning Training Checkpoints via Dynamic Quantization [5.648270790530862]
  最先端のアプローチには、結果のモデル品質(精度)と圧縮比とのトレードオフを引き起こす、損失のあるモデル圧縮機構が含まれる。 モデル重みの圧縮に対する感度がトレーニング中に変化し、異なる重みが異なる量子化レベルから恩恵を受けることを重要視する。 本稿では,この変動を利用した非一様量子化手法,最適な量子化構成を動的に見つける効率的な探索機構,重みを再構成してチェックポイント差を最小限に抑える量子化対応デルタ圧縮機構を提案する。
  論文  参考訳（メタデータ） (2023-06-20T18:00:31Z)
• Quick Dense Retrievers Consume KALE: Post Training Kullback Leibler Alignment of Embeddings for Asymmetrical dual encoders [89.29256833403169]
  我々は,高密度検索手法の推論効率を高めるための効率的かつ正確な手法であるKulback Leibler Alignment of Embeddings (KALE)を紹介した。 KALEは、バイエンコーダトレーニング後の従来の知識蒸留を拡張し、完全なリトレーニングやインデックス生成なしに効率的なクエリエンコーダ圧縮を可能にする。 KALEと非対称トレーニングを用いることで、3倍高速な推論を持つにもかかわらず、DistilBERTの性能を超えるモデルを生成することができる。
  論文  参考訳（メタデータ） (2023-03-31T15:44:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。