論文の概要: MLAfication: Efficiently Enabling High-Fidelity MLA for Modern LLMs

• arxiv url: http://arxiv.org/abs/2610.17202v1
• Date: Mon, 12 Oct 2026 17:59:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-18 02:48:37.146098
• Title: MLAfication: Efficiently Enabling High-Fidelity MLA for Modern LLMs
• Title（参考訳）: MLAフィフィケーション:近代LLMのための高忠実度MLAを効果的に実現する
• Abstract要約: 本稿では,MHA2MLAのQKNorm互換なパラメータ効率拡張であるMLAficationを提案する。 MHA と GQA モデル全体で MLAfication は KV-cache 圧縮下での性能を保っている。 Qwen3-30B-A3Bでは、MLAficationは最大5.35タイムでBF16 GQAのスループットを提供する。
• 参考スコア（独自算出の注目度）: 8.451534118061602
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-Head Latent Attention (MLA) compresses the KV cache into a latent representation, reducing inference memory and bandwidth. Existing MHA2MLA/TransMLA methods do not support QKNorm and require costly recovery on modern LLMs, especially MoE. We present MLAfication, a QKNorm-compatible, parameter-efficient extension of MHA2MLA. It combines calibrated KNorm, parameter-efficient distillation, contribution-aware Partial-RoPE, and activation-aware joint KV initialization. Across MHA and GQA models, including QKNorm- and MoE-equipped variants, MLAfication preserves performance under substantial KV-cache compression, surpasses the current SOTA on commonsense and long-context benchmarks, and extends MLA conversion to modern architectures. On Qwen3-30B-A3B, MLAfication delivers up to $5.35\times$ the serving throughput of BF16 GQA and, combined with 4-bit KV quantization, reduces the KV-cache footprint by $94.73\%$. Our code is available at https://github.com/JT-Ushio/MLAfication.
• Abstract（参考訳）: Multi-Head Latent Attention (MLA)はKVキャッシュを遅延表現に圧縮し、推論メモリと帯域幅を削減する。 既存のMHA2MLA/TransMLAメソッドはQKNormをサポートしておらず、現代のLLM、特にMoEではコストがかかる。 本稿では,MHA2MLAのQKNorm互換なパラメータ効率拡張であるMLAficationを提案する。 キャリブレーションされたKNorm、パラメータ効率の蒸留、コントリビューション対応のPartial-RoPE、アクティベーション対応のジョイントKVの初期化を組み合わせている。 QKNormとMoEを搭載したモデルを含むMHAおよびGQAモデル全体では、MLAficationはKV-cache圧縮の下で性能を保ち、コモンセンスと長文のベンチマークで現在のSOTAを上回っ、MLA変換をモダンアーキテクチャに拡張している。 Qwen3-30B-A3Bでは、MLAficationはBF16 GQAのサービススループットを最大5.35\times$で提供し、4ビットKV量子化と組み合わせることで、KVキャッシュのフットプリントを94.73\%$で削減する。 私たちのコードはhttps://github.com/JT-Ushio/MLAfication.comで公開されています。

関連論文リスト

• Beyond KV Reconstruction: Functional Reconstruction for MLA Draft Models in Speculative Decoding [36.446302092919495]
  MLAのドラフト構造をキャッシュ圧縮よりも機能的再構成として定式化する。 Llama/Qwenの4つのドラフトターゲットペア、TransMLAとMHA2MLA、HFとvLLM、200のプロンプトタスクにまたがる192のモデル-コンバータ-バックエンド-メソッド-タスク構成を評価した。
  論文  参考訳（メタデータ） (2026-07-29T10:54:46Z)
• EG-MLA: Embedding-Gated Multi-head Latent Attention for Scalable and Efficient LLMs [8.093922145280326]
  キー値(KV)キャッシュサイズは、大規模言語モデル(LLM)における効率的な推論を実現するための重要なステップである。 最近のMLA(Multi-head Latent Attention)の研究は、KV表現を共有潜在空間に圧縮することでこれを緩和している。 MLAの新たな拡張である textbfEmbedding-Gated Multi-head Latent Attention (EG-MLA) を提案する。
  論文  参考訳（メタデータ） (2025-09-20T13:27:13Z)
• X-EcoMLA: Upcycling Pre-Trained Attention into MLA for Efficient and Extreme KV Compression [30.770661469301544]
  MLA(Multi-head Latent attention)は、KVキャッシュメモリを低ランクキー値のジョイント圧縮により最適化するように設計されている。 提案手法は,ベンチマークの性能を保ちながら,KVキャッシュを効果的に圧縮できることを示す。
  論文  参考訳（メタデータ） (2025-03-14T06:49:37Z)
• Towards Economical Inference: Enabling DeepSeek's Multi-Head Latent Attention in Any Transformer-based LLMs [92.7279890407059]
  MLA(Multi-head Latent Attention)は、効率的かつ経済的推論を保証するために設計された革新的なアーキテクチャである。 本稿では,マルチヘッドアテンションからMLAへの移行のための,データ効率の良いファインチューニング手法を提案する。
  論文  参考訳（メタデータ） (2025-02-20T18:50:42Z)
• TransMLA: Multi-Head Latent Attention Is All You Need [34.38934956358534]
  TransMLAはGQAベースのモデルをMLAベースのモデルにシームレスに変換するフレームワークである。 LLaMA-2-7BでKVキャッシュの93%を圧縮することにより、TransMLAは8Kコンテキスト長で10.6倍の推論スピードアップを達成する。
  論文  参考訳（メタデータ） (2025-02-11T18:20:18Z)
• Multi-matrix Factorization Attention [59.10039136733939]
  MFA(Multi-Matrix Factorization Attention)とMFA-Key-Reuse(MFA-KR)を提案する。 MFAは、アテンションヘッドの数と次元の両方を効率的にスケールアップすることで、モデルキャパシティを向上させる。 MFA-KRはキーキャッシュを値として再利用することでメモリ要求をさらに削減する。
  論文  参考訳（メタデータ） (2024-12-26T15:45:45Z)
• KVQuant: Towards 10 Million Context Length LLM Inference with KV Cache Quantization [67.74400574357472]
  LLMは、大きなコンテキストウィンドウを必要とするアプリケーションでの利用が増えており、この大きなコンテキストウィンドウでは、KVキャッシュのアクティベーションが推論時のメモリ消費の主要な要因として表面化している。 量子化はKVキャッシュのアクティベーションを圧縮する上で有望な手法であるが、既存のソリューションは4ビット以下の精度でアクティベーションを正確に表現できない。 我々の研究であるKVQuantは、いくつかの新しい手法を取り入れることで、低精度のKVキャッシュ量子化を容易にする。
  論文  参考訳（メタデータ） (2024-01-31T18:58:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。