論文の概要: Through the Bottleneck: How Multi-head Latent Attention Separates Content from Position in Language Models

• arxiv url: http://arxiv.org/abs/2607.23054v1
• Date: Sat, 25 Jul 2026 05:45:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-28 22:34:14.983637
• Title: Through the Bottleneck: How Multi-head Latent Attention Separates Content from Position in Language Models
• Title（参考訳）: ボトルネックを通して:多頭部潜在注意が言語モデルの位置からコンテンツを切り離す方法
• Abstract要約: DeepSeek-V2で導入されたMulti-head Latent Attention (MLA)は、共有低ランクボトルネックを通じてキーと値のペアを圧縮する。 これまでの研究では、このボトルネックが保持または破棄する情報や、内部変圧器回路を再設定する方法については研究されていない。 本研究は,MLAの総合的機械論的解釈可能性に関する最初の研究である。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multi-head Latent Attention (MLA), introduced in DeepSeek-V2, compresses key-value pairs through a shared low-rank bottleneck (cKV), achieving 81% KV-cache reduction during inference. Despite its adoption in massive production models, no prior work has studied what information this bottleneck preserves or discards, nor how it reshapes internal transformer circuits. We present the first comprehensive mechanistic interpretability study of MLA, training a 114M-parameter transformer (pretrained on a web/code/math mixture, fine-tuned on TinyStories) and analyzing its representations through SVD, attention head taxonomy, linear probing, and a disruption-attribution analysis. Our key findings are: (1) the cKV bottleneck learns a pure content representation, preserving entity identity (98% retention) while discarding positional information, validating MLA's separation of content from position via RoPE; (2) induction heads co-locate at a single layer (Layer 12), unlike their distributed formation in standard MHA; (3) a single "semantic hub" layer (Layer 15) simultaneously exhibits the highest SVD effective rank and strongest disruption-attribution score; and (4) the bottleneck is globally over-provisioned, using only 46% of its capacity on average. These findings suggest MLA does not merely compress attention passively, but reshapes how the model organizes content, position, and circuit structure. We view this as an initial data point and detail scope limitations in Section 5.
• Abstract（参考訳）: DeepSeek-V2で導入されたMulti-head Latent Attention (MLA)は、共有低ランクボトルネック(cKV)を通じてキー-値ペアを圧縮し、推論中に81%のKV-cache還元を達成する。 大量生産モデルに採用されているにもかかわらず、このボトルネックが保持または破棄する情報や、内部のトランスフォーマー回路を再設定する方法について、事前の研究は行われていない。 114Mパラメータ変換器(Web/code/math混合でトレーニングし、TinyStoriesで微調整)を訓練し、SVD、注意頭分類、線形探索、破壊帰属分析によりその表現を分析する。 主な知見は,(1)cKVボトルネックは,位置情報を捨てつつ,エンティティアイデンティティ(98%の保持)を保ちながら純粋なコンテンツ表現を学習し,MLAの位置分離をRoPE経由で検証し,(2)単一層(レイヤ12)に共配置する誘導ヘッド,(3)単一「セマンティックハブ」層(レイヤ15)が同時に,SVDの有効ランクと最大の破壊貢献スコアを同時に示すこと,(4)ボトルネックは,平均で46%の能力しか使用せず,グローバルにオーバープロビジョンされていること,である。 これらの結果は、MLAが単に注意を受動的に圧縮するだけでなく、モデルがコンテンツ、位置、回路構造をどう整理するかを再考することを示している。 私たちはこれを第5節で、初期データポイントと詳細範囲の制限とみなしています。

関連論文リスト

• QK-Normed MLA: QK normalization without full key caching [65.51862319225098]
  QK正規化は、フルキーキャッシュを必要とせずに、MLAモデルの実用的な安定化オプションであることを示す。 最大100Bトークンでトレーニングされた400Mの実行では、QK-Normed MLAはトレーニング損失の低減と、QKクリッピングよりも下流の精度の向上を実現しています。
  論文  参考訳（メタデータ） (2026-06-15T07:16:30Z)
• Enabling KV Caching of Shared Prefix for Diffusion Language Models [0.2740273306918099]
  共有プレフィックスに対するキーバリュー(KV)キャッシュは、高スループットの大規模言語モデル(LLM)サービスに不可欠である。 拡散言語モデル(DLM)における共有プレフィックスのための最初のKVキャッシュ手法であるbicacheを提案する。 従来の精度崩壊のない手法と比較して,bicacheはサービススループットを36.3%～98.3%向上させることがわかった。
  論文  参考訳（メタデータ） (2026-05-26T05:27:57Z)
• Latent-Condensed Transformer for Efficient Long Context Modeling [60.72493959155964]
  大規模言語モデルに対するLCA(Latent-Condensed Attention)を提案する。 LCAはMLAの潜伏空間内のコンテキストを凝縮し、表現はセマンティック潜伏ベクトルと位置キーに切り離される。 LCAは、最大2.5$times$プリフィルスピードアップと128Kコンテキストでの90%のKVキャッシュ削減を実現している。
  論文  参考訳（メタデータ） (2026-04-14T08:40:31Z)
• Low-Rank Key Value Attention [3.7728602841318426]
  トランスフォーマーの事前訓練は、メモリと計算要求によってますます制限される。 マルチヘッドアテンションの簡易な修正として,テキストトローランクKV適応(LRKV)を提案する。 LRKVは標準的なマルチヘッドアテンションの代替品である。
  論文  参考訳（メタデータ） (2026-01-16T17:56:40Z)
• Discrete Diffusion VLA: Bringing Discrete Diffusion to Action Decoding in Vision-Language-Action Policies [62.653984010274485]
  VLA(Vision-Language-Action)モデルは、画像や命令をロボットアクションにマッピングするために、大きな視覚言語バックボーンを適応させる。 prevailingAsは、固定された左から右への順序で自動回帰的にアクションを生成するか、バックボーンの外側で分離または拡散ヘッドをアタッチする。 本稿では離散拡散を伴う離散化作用チャンクをモデル化する統一変換器ポリシである離散拡散VLAを提案する。
  論文  参考訳（メタデータ） (2025-08-27T17:39:11Z)
• A Random Matrix Theory Perspective on the Learning Dynamics of Multi-head Latent Attention [3.7802450241986945]
  本研究では,マルチヘッド潜時注意がプレトレーニング中の変圧器の内部能力に与える影響について検討する。 Marchenko-Pastur(MP)診断の軽量なスイートを用いて、トレーニング中に$W_QW_Ktop$ gram行列のスペクトルを分析する。
  論文  参考訳（メタデータ） (2025-07-12T20:31:07Z)
• Towards Economical Inference: Enabling DeepSeek's Multi-Head Latent Attention in Any Transformer-based LLMs [92.7279890407059]
  MLA(Multi-head Latent Attention)は、効率的かつ経済的推論を保証するために設計された革新的なアーキテクチャである。 本稿では,マルチヘッドアテンションからMLAへの移行のための,データ効率の良いファインチューニング手法を提案する。
  論文  参考訳（メタデータ） (2025-02-20T18:50:42Z)
• Unlocking Data-free Low-bit Quantization with Matrix Decomposition for KV Cache Compression [87.5604418100301]
  キー値(KV)キャッシングは,大規模言語モデルの推論を高速化する重要な手法である。 既存の手法はしばしば精度を損なうか、キャリブレーションのために余分なデータを必要とする。 テンソル分解法に基づく新しいデータフリー低ビット量子化手法である textbfDecoQuant を導入する。
  論文  参考訳（メタデータ） (2024-05-21T08:35:10Z)
• KVQuant: Towards 10 Million Context Length LLM Inference with KV Cache Quantization [67.74400574357472]
  LLMは、大きなコンテキストウィンドウを必要とするアプリケーションでの利用が増えており、この大きなコンテキストウィンドウでは、KVキャッシュのアクティベーションが推論時のメモリ消費の主要な要因として表面化している。 量子化はKVキャッシュのアクティベーションを圧縮する上で有望な手法であるが、既存のソリューションは4ビット以下の精度でアクティベーションを正確に表現できない。 我々の研究であるKVQuantは、いくつかの新しい手法を取り入れることで、低精度のKVキャッシュ量子化を容易にする。
  論文  参考訳（メタデータ） (2024-01-31T18:58:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。