論文の概要: Beyond KV Reconstruction: Functional Reconstruction for MLA Draft Models in Speculative Decoding

• arxiv url: http://arxiv.org/abs/2607.27269v1
• Date: Wed, 29 Jul 2026 10:54:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-31 21:37:00.277625
• Title: Beyond KV Reconstruction: Functional Reconstruction for MLA Draft Models in Speculative Decoding
• Title（参考訳）: KV再構成を超えて:投機的復号におけるMLAドラフトモデルの関数的再構成
• Abstract要約: MLAのドラフト構造をキャッシュ圧縮よりも機能的再構成として定式化する。 Llama/Qwenの4つのドラフトターゲットペア、TransMLAとMHA2MLA、HFとvLLM、200のプロンプトタスクにまたがる192のモデル-コンバータ-バックエンド-メソッド-タスク構成を評価した。
• 参考スコア（独自算出の注目度）: 36.446302092919495
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multi-head latent attention (MLA) is increasingly important for long-context LLM inference because compact latent states replace the growing key-value (KV) cache and reduce decoding memory traffic. Yet most capable open checkpoints use multi-head or grouped-query attention (MHA/GQA), so conversion is needed to obtain MLA's cache efficiency without retraining from scratch. Speculative decoding offers complementary acceleration, but its speedup depends on agreement between draft proposals and target verification. We find that direct MHA/GQA-to-MLA conversion can sharply reduce this agreement: low-rank factorization and RoPE handling introduce attention-function errors that may be tolerable for standalone generation but substantially lower draft-token acceptance. We therefore formulate MLA draft construction as functional reconstruction rather than cache compression. Our end-to-end (E2E) method optimizes each converted MLA attention module to reproduce the post-output-projection response of its original MHA/GQA counterpart on calibration hidden states. This converter-agnostic post-conversion procedure preserves the converted cache and inference graph and requires neither verifier logits nor verifier supervision. We evaluate 192 model-converter-backend-method-task configurations spanning four Llama/Qwen draft-target pairs, TransMLA and MHA2MLA, HF and vLLM, and four 200-prompt tasks. With a 0.5-percentage-point reporting tolerance, Functional Reconstruction materially improves acceptance in 37 of 64 matched task cells, leaves 26 practically unchanged, and materially decreases one. Code and evaluation artifacts are available at https://github.com/swyhahaha/FunctionalMLA.
• Abstract（参考訳）: マルチヘッド潜在注意(MLA)は、増大するキー値(KV)キャッシュに取って代わり、メモリトラフィックを減少させるため、長期LLM推論においてますます重要になっている。 しかし、ほとんどの有能なオープンチェックポイントはマルチヘッドまたはグループクエリアテンション(MHA/GQA)を使用するため、スクラッチから再トレーニングすることなく、MLAのキャッシュ効率を得るのに変換が必要である。 投機的復号化は相補的な加速を提供するが、その高速化はドラフト提案と目標検証との一致に依存する。 直接MHA/GQA-to-MLA変換は、低ランク因数分解とRoPEハンドリングにより、スタンドアローン世代では許容できるが、ドラフト・ツー・ケンの受け入れが著しく低い注意機能エラーが生じる。 したがって、キャッシュ圧縮よりも機能的再構成としてMLAのドラフト構造を定式化する。 エンド・ツー・エンド(E2E)法は変換された各MLAアテンションモジュールを最適化し、元のMHA/GQAのキャリブレーション隠蔽状態に対する出力後プロジェクション応答を再現する。 この変換器に依存しない変換後処理は、変換されたキャッシュと推論グラフを保存し、検証者ログインも検証者監督も必要としない。 Llama/Qwenの4つのドラフトターゲットペア、TransMLAとMHA2MLA、HFとvLLM、200のプロンプトタスクにまたがる192のモデル-コンバータ-バックエンド-メソッド-タスク構成を評価した。 0.5ポイントのレポーティング耐性により、機能再構成は64のタスクセルの37の受け入れを大幅に改善し、26の葉は実質的に変化せず、1の葉は実質的に減少する。 コードと評価アーティファクトはhttps://github.com/swyhahaha/FunctionalMLA.comで入手できる。

関連論文リスト

• QK-Normed MLA: QK normalization without full key caching [65.51862319225098]
  QK正規化は、フルキーキャッシュを必要とせずに、MLAモデルの実用的な安定化オプションであることを示す。 最大100Bトークンでトレーニングされた400Mの実行では、QK-Normed MLAはトレーニング損失の低減と、QKクリッピングよりも下流の精度の向上を実現しています。
  論文  参考訳（メタデータ） (2026-06-15T07:16:30Z)
• Latent-Condensed Transformer for Efficient Long Context Modeling [60.72493959155964]
  大規模言語モデルに対するLCA(Latent-Condensed Attention)を提案する。 LCAはMLAの潜伏空間内のコンテキストを凝縮し、表現はセマンティック潜伏ベクトルと位置キーに切り離される。 LCAは、最大2.5$times$プリフィルスピードアップと128Kコンテキストでの90%のKVキャッシュ削減を実現している。
  論文  参考訳（メタデータ） (2026-04-14T08:40:31Z)
• Whisper-MLA: Reducing GPU Memory Consumption of ASR Models based on MHA2MLA Conversion [47.317377282106015]
  本稿では,WhisperモデルにMLA(Multi-Head Latent Attention)を組み込んだ新しいアーキテクチャであるWhisper-MLAを紹介する。 我々は,Whisper-MLAにより,競合精度を維持しつつ,KVキャッシュサイズを最大87.5%削減できることを示す。
  論文  参考訳（メタデータ） (2026-02-28T09:24:01Z)
• EG-MLA: Embedding-Gated Multi-head Latent Attention for Scalable and Efficient LLMs [8.093922145280326]
  キー値(KV)キャッシュサイズは、大規模言語モデル(LLM)における効率的な推論を実現するための重要なステップである。 最近のMLA(Multi-head Latent Attention)の研究は、KV表現を共有潜在空間に圧縮することでこれを緩和している。 MLAの新たな拡張である textbfEmbedding-Gated Multi-head Latent Attention (EG-MLA) を提案する。
  論文  参考訳（メタデータ） (2025-09-20T13:27:13Z)
• Towards Economical Inference: Enabling DeepSeek's Multi-Head Latent Attention in Any Transformer-based LLMs [92.7279890407059]
  MLA(Multi-head Latent Attention)は、効率的かつ経済的推論を保証するために設計された革新的なアーキテクチャである。 本稿では,マルチヘッドアテンションからMLAへの移行のための,データ効率の良いファインチューニング手法を提案する。
  論文  参考訳（メタデータ） (2025-02-20T18:50:42Z)
• TransMLA: Multi-Head Latent Attention Is All You Need [34.38934956358534]
  TransMLAはGQAベースのモデルをMLAベースのモデルにシームレスに変換するフレームワークである。 LLaMA-2-7BでKVキャッシュの93%を圧縮することにより、TransMLAは8Kコンテキスト長で10.6倍の推論スピードアップを達成する。
  論文  参考訳（メタデータ） (2025-02-11T18:20:18Z)
• LoRC: Low-Rank Compression for LLMs KV Cache with a Progressive Compression Strategy [59.1298692559785]
  キーバリュー(KV)キャッシュは、トランスフォーマーベースの自己回帰型大言語モデル(LLM)を提供する上で重要なコンポーネントである。 この問題を緩和するためのアプローチとしては、(1) アップサイクルステージに統合された効率的な注意変動、(2) テスト時のKVキャッシュ圧縮、(3) テスト時のKVキャッシュ圧縮がある。 そこで我々は,KV重み行列の低ランク近似を提案し,モデル再学習なしに既存のトランスフォーマーベースLCMとのプラグイン統合を実現する。 本手法は,テスト段階におけるアップサイクリング段階のモデルチューニングやタスク固有のプロファイリングを伴わずに機能するように設計されている。
  論文  参考訳（メタデータ） (2024-10-04T03:10:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。