論文の概要: RoLaQ: Joint Rotation and Range Calibration for 2-Bit KV Caches in Multi-Head Latent Attention

• arxiv url: http://arxiv.org/abs/2610.20686v1
• Date: Wed, 14 Oct 2026 16:46:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 19:13:15.992604
• Title: RoLaQ: Joint Rotation and Range Calibration for 2-Bit KV Caches in Multi-Head Latent Attention
• Title（参考訳）: RoLaQ:2ビットKVキャッシュの同時回転とレンジ校正
• Abstract要約: RoLaQは、凍結鍵と値投影によって定義される部分空間内の共有回転を洗練する。 DeepSeek-V2-Liteでは、SGLangの実装は同じメモリ予算でBF16 KVの3.96倍の容量を提供する。
• 参考スコア（独自算出の注目度）: 47.07332342240102
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multi-head latent attention (MLA) compresses the content of a key-value cache into a shared latent per token, making low-bit storage attractive for long-context inference. At two bits, errors in this representation perturb both attention matching and value readout, with effects that depend on error direction and reconstruction scale. We introduce RoLaQ (Rotation-calibrated Latent Quantization), an offline method for joint rotation and range calibration. RoLaQ refines a shared rotation within subspaces defined by the frozen key and value projections, and jointly learns quantization ranges whose thresholds and reconstruction gains are coupled to control the shared signal's response. Prediction matching and attention-output supervision guide calibration with model weights frozen. Across three MLA models and six benchmarks, RoLaQ achieves the highest average accuracy among the compared 2-bit methods both without and with token protection. On DeepSeek-V2-Lite, an SGLang implementation provides 3.96 times the BF16 KV capacity under the same memory budget and 2.51 times its decode throughput with 256K input tokens.
• Abstract（参考訳）: MLA(Multi-head Latent attention)は、キー値キャッシュの内容をトークンごとの共有潜在値に圧縮することで、長いコンテキスト推論のために低ビットストレージを魅力的なものにする。 2ビットで、この表現の誤差は、注意マッチングと値の読み出しの両方に影響を与え、エラー方向と再構成スケールに依存する。 共同回転とレンジキャリブレーションのためのオフライン手法であるRoLaQ(Rotation-calibrated Latent Quantization)を導入する。 RoLaQは、凍結鍵と値投影によって定義された部分空間内の共有回転を洗練し、閾値と再構成利得が結合された量子化範囲を共同で学習し、共有信号の応答を制御する。 モデル重み凍結による予測マッチングと注意出力監視ガイド校正 3つのMLAモデルと6つのベンチマークで、RoLaQはトークン保護なしで比較した2ビットメソッドの中で、最も高い平均精度を達成している。 DeepSeek-V2-Liteでは、SGLangの実装は同じメモリ予算でBF16 KVの3.96倍、256K入力トークンでデコードスループットの2.51倍を提供する。

関連論文リスト

• QuantWM: Temporally Consistent 2-Bit KV Cache Quantization for Video World Models [58.40720767342501]
  ビデオワールドモデルは、生成中にKVキャッシュを格納することで、長距離時間一貫性を実現する。 既存の2ビットKVキャッシュ量子化法は、ビデオワールドモデルに適用した場合、時間的フレッカリングと視覚的劣化を引き起こす。 我々は,ビデオワールドモデルのためのトレーニング不要な2ビットKVキャッシュ量子化フレームワークQuantWMを提案する。
  論文  参考訳（メタデータ） (2026-09-22T13:50:54Z)
• Output-Aware Rotation for INT2 KV-Cache Quantization [21.398916187295992]
  我々は,W_O$後の注目出力誤差を最小限に抑える出力対応回転法であるtextitOptRを提案する。 OptRはQuaRotとOSCARの両方を一貫して改善し、長文検索を強化し、ページ化されたKV-cacheフォーマットを無視可能な推論オーバーヘッドで保存する。
  論文  参考訳（メタデータ） (2026-08-03T09:24:23Z)
• LimiX-2M: Mitigating Low-Rank Collapse and Attention Bottlenecks in Tabular Foundation Models [56.999481798138625]
  LimiX-2Mは2Mパラメータモデルであり、広く使われているベンチマークでTabPFN-v2とTabICLのベースラインを上回っている。 本稿では,強力なタブラル基礎モデル(TFM)のための統一トークン化・ルートフレームワークを提案する。 その結果、TFMにおける精度-効率トレードオフを改善するキーレバーとして、バリューアウェアトークン化とリードアウト整列ルーティングが強調された。
  論文  参考訳（メタデータ） (2026-06-03T06:07:33Z)
• Latent-Condensed Transformer for Efficient Long Context Modeling [60.72493959155964]
  大規模言語モデルに対するLCA(Latent-Condensed Attention)を提案する。 LCAはMLAの潜伏空間内のコンテキストを凝縮し、表現はセマンティック潜伏ベクトルと位置キーに切り離される。 LCAは、最大2.5$times$プリフィルスピードアップと128Kコンテキストでの90%のKVキャッシュ削減を実現している。
  論文  参考訳（メタデータ） (2026-04-14T08:40:31Z)
• KVLinC : KV Cache Quantization with Hadamard Rotation and Linear Correction [8.486713415198968]
  我々は,KVキャッシュ量子化による注意欠陥を軽減するフレームワークKVLinCを提案する。 KVLinCは、値の量子化誤差を低減するアダマール回転と、軽量な線形補正アダプタを組み合わせたものである。 KVLinC は高い KV-cache 圧縮を達成しつつ, 高いベースラインを一貫して一致または超えることを示す。
  論文  参考訳（メタデータ） (2025-10-06T21:08:11Z)
• RotateKV: Accurate and Robust 2-Bit KV Cache Quantization for LLMs via Outlier-Aware Adaptive Rotations [4.794762861776729]
  キーバリュー(KV)キャッシュは、過去のKVの再計算を避けることにより、効率的な大言語モデル(LLM)推論を容易にする。 既存のKV量子化は、微細な量子化や高ビット幅キャッシュのかなりの部分の保持に依存している。 本稿では,以下の技術革新を通じて正確で堅牢な性能を実現するRotateKVを提案する。
  論文  参考訳（メタデータ） (2025-01-25T01:45:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。