論文の概要: RAQ-MLA: Role-Aware Quantization for Multi-Head Latent Attention Caches

• arxiv url: http://arxiv.org/abs/2610.33625v1
• Date: Sat, 24 Oct 2026 11:54:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.375671
• Title: RAQ-MLA: Role-Aware Quantization for Multi-Head Latent Attention Caches
• Title（参考訳）: RAQ-MLA:マルチヘッド遅延アテンションキャッシュのためのロールアウェア量子化
• Abstract要約: MLA(Multi-Head Latent Attention)は、最近のフロンティア大言語モデルで採用されている。 我々は、活性化分布と量子化誤差がアテンション出力にどのように伝播するかの両方でMLAキャッシュを解析する。 本稿では,テンソルがアテンション出力に出力する誤差に対して,各キャッシュテンソルに可逆変換可能なRAQ-MLAを提案する。
• 参考スコア（独自算出の注目度）: 24.7989595240404
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Multi-Head Latent Attention (MLA) has been adopted by recent frontier large language models. Instead of per-head keys and values, MLA caches a compressed KV latent that is up-projected into keys and values at decode time, together with a narrow positional key that carries position information into the attention score. Existing KV-cache quantization methods are designed around the keys and values of standard attention and do not account for what MLA actually caches, which costs accuracy at low bit widths. We analyze the MLA cache both in activation distribution and in how quantization error propagates to the attention output, and show that the two cached tensors play different roles: the latent mainly supplies the values, whereas the positional key dominates the attention score. We therefore propose RAQ-MLA (Role-Aware Quantization for Multi-Head Latent Attention Caches), which fits an invertible transform to each cached tensor against the error that tensor delivers to the attention output: attention-weighted value error for the latent and score perturbation for the positional key. Without training, RAQ-MLA quantizes the full MLA cache to about 2.5 bits per element, a 6.5x increase in theoretical KV-cache capacity, while remaining nearly lossless on reasoning and coding tasks across four MLA models.
• Abstract（参考訳）: MLA(Multi-Head Latent Attention)は、最近のフロンティア大言語モデルで採用されている。 ヘッド単位のキーと値の代わりに、MLAは圧縮されたKVラテントをデコード時にキーと値にアッププロジェクションし、位置情報をアテンションスコアに格納する狭い位置キーをキャッシュする。 既存のKV-cache量子化法は、標準的な注意の鍵と値を中心に設計されており、MLAが実際にキャッシュしているものを考慮していない。 我々は,MLAキャッシュを活性化分布と量子化誤差の両方で解析し,2つのキャッシュテンソルが異なる役割を担っていることを示す。 そこで, RAQ-MLA (Role-Aware Quantization for Multi-Head Latent Attention Caches) を提案する。 RAQ-MLAはトレーニングなしで、完全なMLAキャッシュを1要素あたり2.5ビットに量子化し、理論上のKVキャッシュ容量は6.5倍増加するが、4つのMLAモデルにわたる推論やコーディングタスクではほとんど失われない。

関連論文リスト

• RoLaQ: Joint Rotation and Range Calibration for 2-Bit KV Caches in Multi-Head Latent Attention [47.07332342240102]
  RoLaQは、凍結鍵と値投影によって定義される部分空間内の共有回転を洗練する。 DeepSeek-V2-Liteでは、SGLangの実装は同じメモリ予算でBF16 KVの3.96倍の容量を提供する。
  論文  参考訳（メタデータ） (2026-10-14T16:46:48Z)
• QuantMLA: Function-Aligned Dual-Path Quantization for Low-Bit MLA KV Caching [29.861793725319867]
  MLA(Multi-Head Latent Attention)は、コンテンツに対する表現力のあるマルチヘッドアテンションキャッシュと、RoPEパスの非出力を可能にする。 我々は低ビットデュアルパス量子化のための関数整列フレームワークQuantMLAを紹介する。 我々は,アテンション計算に直接アンパックとデクエント化を統合する,ネイティブな低ビットMLAアテンションカーネルを開発した。
  論文  参考訳（メタデータ） (2026-09-29T05:31:42Z)
• QK-Normed MLA: QK normalization without full key caching [65.51862319225098]
  QK正規化は、フルキーキャッシュを必要とせずに、MLAモデルの実用的な安定化オプションであることを示す。 最大100Bトークンでトレーニングされた400Mの実行では、QK-Normed MLAはトレーニング損失の低減と、QKクリッピングよりも下流の精度の向上を実現しています。
  論文  参考訳（メタデータ） (2026-06-15T07:16:30Z)
• Latent-Condensed Transformer for Efficient Long Context Modeling [60.72493959155964]
  大規模言語モデルに対するLCA(Latent-Condensed Attention)を提案する。 LCAはMLAの潜伏空間内のコンテキストを凝縮し、表現はセマンティック潜伏ベクトルと位置キーに切り離される。 LCAは、最大2.5$times$プリフィルスピードアップと128Kコンテキストでの90%のKVキャッシュ削減を実現している。
  論文  参考訳（メタデータ） (2026-04-14T08:40:31Z)
• Towards Economical Inference: Enabling DeepSeek's Multi-Head Latent Attention in Any Transformer-based LLMs [92.7279890407059]
  MLA(Multi-head Latent Attention)は、効率的かつ経済的推論を保証するために設計された革新的なアーキテクチャである。 本稿では,マルチヘッドアテンションからMLAへの移行のための,データ効率の良いファインチューニング手法を提案する。
  論文  参考訳（メタデータ） (2025-02-20T18:50:42Z)
• TransMLA: Multi-Head Latent Attention Is All You Need [34.38934956358534]
  TransMLAはGQAベースのモデルをMLAベースのモデルにシームレスに変換するフレームワークである。 LLaMA-2-7BでKVキャッシュの93%を圧縮することにより、TransMLAは8Kコンテキスト長で10.6倍の推論スピードアップを達成する。
  論文  参考訳（メタデータ） (2025-02-11T18:20:18Z)
• KVQuant: Towards 10 Million Context Length LLM Inference with KV Cache Quantization [67.74400574357472]
  LLMは、大きなコンテキストウィンドウを必要とするアプリケーションでの利用が増えており、この大きなコンテキストウィンドウでは、KVキャッシュのアクティベーションが推論時のメモリ消費の主要な要因として表面化している。 量子化はKVキャッシュのアクティベーションを圧縮する上で有望な手法であるが、既存のソリューションは4ビット以下の精度でアクティベーションを正確に表現できない。 我々の研究であるKVQuantは、いくつかの新しい手法を取り入れることで、低精度のKVキャッシュ量子化を容易にする。
  論文  参考訳（メタデータ） (2024-01-31T18:58:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。