論文の概要: QK-Normed MLA: QK normalization without full key caching

• arxiv url: http://arxiv.org/abs/2606.16310v1
• Date: Mon, 15 Jun 2026 07:16:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-16 16:21:34.14026
• Title: QK-Normed MLA: QK normalization without full key caching
• Title（参考訳）: QK-Normed MLA: フルキーキャッシュなしでのQK正規化
• Authors: Yizhou Han, Yao Zhao, Jun Zhou, Longfei Li, Ruoyu Sun,
• Abstract要約: QK正規化は、フルキーキャッシュを必要とせずに、MLAモデルの実用的な安定化オプションであることを示す。 最大100Bトークンでトレーニングされた400Mの実行では、QK-Normed MLAはトレーニング損失の低減と、QKクリッピングよりも下流の精度の向上を実現しています。
• 参考スコア（独自算出の注目度）: 65.51862319225098
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Query-key (QK) normalization stabilizes attention by controlling the scale of queries and keys before the dot product, but is not immediately compatible with Multi-head Latent Attention (MLA). MLA achieves efficient decoding by caching low-dimensional latent states instead of full keys, whereas post-projection QK RMSNorm appears to require the fully projected key for every cached token. We show this apparent incompatibility is an implementation artifact, not an architectural constraint. RMSNorm decomposes into a static affine weight and a dynamic scalar RMS statistic. The static key-side weight can be absorbed into the MLA query-side projection; the dynamic key statistic reduces to one inverse-RMS scalar per token and KV group. The resulting formulation is exactly equivalent to explicit post-projection QK RMSNorm in exact arithmetic and preserves MLA's latent decode path. In our 400M runs trained for up to 100B tokens, QK-Normed MLA achieves lower training loss and better downstream accuracy than QK clipping, while H800 decode benchmarks show less than 2% latency overhead up to 256k context. These results make QK normalization a practical stabilization option for MLA models without requiring full-key caching.
• Abstract（参考訳）: クエリキー(QK)の正規化は、ドット製品の前にクエリとキーのスケールを制御することで注意を安定化させるが、Multi-head Latent Attention (MLA)とすぐには互換性がない。 MLAはフルキーの代わりに低次元の潜伏状態をキャッシュすることで効率的な復号化を実現しているが、投射後のQK RMSNormはキャッシュされたトークンごとに完全に投影されたキーを必要とする。 この明らかな非互換性は、アーキテクチャ上の制約ではなく、実装成果物であることを示す。 RMSNormは静的アフィン重みと動的スカラーRMS統計量に分解される。 静的キー側重みはMLAクエリ側プロジェクションに吸収され、動的キー統計はトークン当たりの逆RMSスカラーとKVグループに還元される。 結果の定式化は、正確な算術における明示的な投射後のQK RMSNormと全く同じであり、MLAの潜在デコードパスを保存する。 最大100Bトークンでトレーニングされた400Mの実行では、QK-Normed MLAは、トレーニング損失の低減と、QKクリップよりも下流の精度の向上を実現しています。 これらの結果から、QK正規化はフルキーキャッシュを必要とせずに、MLAモデルの実用的な安定化オプションとなる。

関連論文リスト

• Latent-Condensed Transformer for Efficient Long Context Modeling [60.72493959155964]
  大規模言語モデルに対するLCA(Latent-Condensed Attention)を提案する。 LCAはMLAの潜伏空間内のコンテキストを凝縮し、表現はセマンティック潜伏ベクトルと位置キーに切り離される。 LCAは、最大2.5$times$プリフィルスピードアップと128Kコンテキストでの90%のKVキャッシュ削減を実現している。
  論文  参考訳（メタデータ） (2026-04-14T08:40:31Z)
• Controlling changes to attention logits [21.620742229590885]
  ニューラルネットワークの重み付けの安定性は、トランスフォーマーモデルのトレーニングにおいて重要である。 QK norm'として知られるクエリとキーに正規化を適用することで、実際には安定性の問題を修正するが、常に適用可能であるとは限らない。 安価な介入により、ネットワークのベース学習率が向上し、MLA設定における他の手法よりも優れ、QK基準と競合する性能が得られることを示す。
  論文  参考訳（メタデータ） (2025-11-26T13:24:35Z)
• Towards Economical Inference: Enabling DeepSeek's Multi-Head Latent Attention in Any Transformer-based LLMs [92.7279890407059]
  MLA(Multi-head Latent Attention)は、効率的かつ経済的推論を保証するために設計された革新的なアーキテクチャである。 本稿では,マルチヘッドアテンションからMLAへの移行のための,データ効率の良いファインチューニング手法を提案する。
  論文  参考訳（メタデータ） (2025-02-20T18:50:42Z)
• TransMLA: Multi-Head Latent Attention Is All You Need [34.38934956358534]
  TransMLAはGQAベースのモデルをMLAベースのモデルにシームレスに変換するフレームワークである。 LLaMA-2-7BでKVキャッシュの93%を圧縮することにより、TransMLAは8Kコンテキスト長で10.6倍の推論スピードアップを達成する。
  論文  参考訳（メタデータ） (2025-02-11T18:20:18Z)
• Multi-matrix Factorization Attention [59.10039136733939]
  MFA(Multi-Matrix Factorization Attention)とMFA-Key-Reuse(MFA-KR)を提案する。 MFAは、アテンションヘッドの数と次元の両方を効率的にスケールアップすることで、モデルキャパシティを向上させる。 MFA-KRはキーキャッシュを値として再利用することでメモリ要求をさらに削減する。
  論文  参考訳（メタデータ） (2024-12-26T15:45:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。