論文の概要: FlagRot: Selective Rotation for Low-Bit KV Caches

• arxiv url: http://arxiv.org/abs/2611.03992v1
• Date: Mon, 02 Nov 2026 21:31:33 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-04 17:22:33.554523
• Title: FlagRot: Selective Rotation for Low-Bit KV Caches
• Title（参考訳）: FlagRot: 低ビットKVキャッシュのための選択的ローテーション
• Abstract要約: 長文推論はKVキャッシュによってバインドされ、2ビットのコードはエラーがチェックされている場合、約6倍縮小する可能性がある。 本稿では,各32チャンネルの部品を回転させるFragRotを提案する。 また、4ビット整数とFP4キャッシュのエラーも低減する。
• 参考スコア（独自算出の注目度）: 29.65109828364964
• License:
• Abstract: Long-context inference is bound by the KV cache, which 2-bit codes could shrink about sixfold if their error stays in check. The usual remedy rotates keys before quantizing, assuming rotation always helps. However, we observe that it does not: rotation flattens a spiky piece of a key but can give a flat one a new peak, and both coexist within one key. We therefore propose FlagRot, which stores each 32-channel piece rotated or as is, whichever has the smaller calibrated attention error, and rotates the query instead when reading. We further show that how often to decide follows the quantization axis: per-channel caches such as KIVI need one decision per head, at no write cost, while per-token caches decide per key, with the choice stored in existing sign bits. At 2.5 bits per value, FlagRot lowers the twelve-model KL divergence of KIVI from 18.7 to 12.4 x 10^-3, below RotateKV on 9 of 12 models. Served as a vLLM plugin, it raises RULER at 128k tokens by +2.9 points and the LongBench v1 mean by +0.4 to +1.9 points on the three of four models where 2-bit KIVI loses accuracy. It also lowers the error of 4-bit integer and FP4 caches.
• Abstract（参考訳）: 長文推論はKVキャッシュによってバインドされ、2ビットのコードはエラーがチェックされている場合、約6倍縮小する可能性がある。 通常の治療は、回転が常に役に立つと仮定して、量子化する前に鍵を回転させる。 しかし、回転は鍵のスパイクな部分を平らにするが、平らなものに新しいピークを与え、両方のキーが共存する。 そこで我々はFragRotを提案する。これは32チャンネルの部品を回転させるかそのまま保存するが、これはキャリブレーションされた注意誤差が小さく、読み出し時にクエリを回転させる。 さらに、KIVIのようなキャッシュごとのキャッシュは、書き込みコストを伴わずに、ヘッドごとに1つの決定が必要であり、一方、トークンごとのキャッシュは、既存のシグナビットに格納された選択でキーごとに決定する。 2.5ビット/値で、FragRotはKIVIの12モデルKLの発散を18.7から12.4x10^-3に下げる。 vLLMプラグインとして開発されたこのプラグインは、RULERを128kのトークンで+2.9ポイント、LongBench v1を+0.4から+1.9ポイント引き上げる。 また、4ビット整数とFP4キャッシュのエラーも低減する。

関連論文リスト

• LoopKV: Loop-Aware KV Cache Compression for Serving Looped Transformers [5.763907580180103]
  LoopKVは1回のオフラインプロファイルを使用して4ビットストレージを選択し、各セルに対して最終ループのKVを再利用する。 プランナーは、予測された損傷と保管のための予算の下で読み出しを最小限にする。 vLLM内の1つの融合カーネルがプランを実行する。
  論文  参考訳（メタデータ） (2026-11-03T01:28:57Z)
• KVarN: Variance-Normalized KV-Cache Quantization Mitigates Error Accumulation in Reasoning Tasks [4.530056625101704]
  キャリブレーションフリーなKVキャッシュ量子化器であるKVarNを導入する。 この組み合わせはトークンスケールのエラーを解消し、既存のベースラインに対するエラーの蓄積を大幅に削減する。 KVarNは、2ビット精度で、MATH500、AIME24、HumanEvalを含む生成ベンチマーク上で、KV-cache量子化のための新しい最先端技術を確立する。
  論文  参考訳（メタデータ） (2026-06-02T10:34:56Z)
• RateQuant: Optimal Mixed-Precision KV Cache Quantization via Rate-Distortion Theory [3.307797786204237]
  自然な考え方は、重要な頭により多くのビットを割り当て、残りを減らすことである。 ある量子化器の歪みモデルを別の量子化器に適用すると、割り当て順序が逆になり、均一な量子化よりも性能が悪くなる。 RateQuantは、小さなキャリブレーションセットから量子化器毎の歪みモデルに適合し、結果として生じるビット割り当て問題を閉じた形で解決する。
  論文  参考訳（メタデータ） (2026-04-22T02:31:58Z)
• SpinQuant: LLM quantization with learned rotations [49.07335692298487]
  重み、アクティベーション、KVキャッシュに適用された後トレーニング量子化(PTQ)技術は、大規模言語モデル(LLM)のメモリ使用量、レイテンシ、消費電力を大幅に削減する。 我々は、量子化精度を高めつつ、完全精度のトランスフォーマーアーキテクチャにおいて同一の出力をもたらす、適用可能な回転パラメータ化の集合を同定する。 本研究では,学習した回転行列を最適な量子化ネットワーク精度に組み込む新しい手法であるSpinQuantを提案する。
  論文  参考訳（メタデータ） (2024-05-26T02:15:49Z)
• QuaRot: Outlier-Free 4-Bit Inference in Rotated LLMs [72.26197676852958]
  ローテーションに基づく新しい量子化方式であるQuaRotを紹介する。 QuaRotは、すべての重み、アクティベーション、KVキャッシュを含むエンドツーエンドを4ビットで量子化する。 我々の4ビット量子化LLaMa2-70Bモデルは、少なくとも0.47 WikiText-2パープレキシティが失われ、ゼロショット性能の99%を維持している。
  論文  参考訳（メタデータ） (2024-03-30T19:20:06Z)
• KIVI: A Tuning-Free Asymmetric 2bit Quantization for KV Cache [67.9776980972508]
  我々はKIVIというチューニング不要な2ビットKVキャッシュ量子化アルゴリズムを開発した。 KIVI は Llama, Falcon, Mistral のモデルを $mathbf2.6times$ less peak memory を使用しながらほぼ同じ品質を維持することができる。
  論文  参考訳（メタデータ） (2024-02-05T06:06:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。