論文の概要: TransMLA: Multi-head Latent Attention Is All You Need

• arxiv url: http://arxiv.org/abs/2502.07864v1
• Date: Tue, 11 Feb 2025 18:20:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-13 13:49:52.919484
• Title: TransMLA: Multi-head Latent Attention Is All You Need
• Title（参考訳）: TransMLA: マルチヘッドの潜入注意は必要なだけ
• Authors: Fanxu Meng, Zengwei Yao, Muhan Zhang,
• Abstract要約: マルチヘッド遅延注意(MLA)は、キーバリュー層で低ランク行列を使用することによって、この問題に対処する。 我々は、同じKVキャッシュのオーバーヘッドを維持しながら、GQAを常にMLAで表現できることを示すが、その逆は保たない。 我々は、広く使われているGQAベースの事前学習モデルをMLAベースのモデルに変換するポストトレーニング法**TransMLA*を導入する。
• 参考スコア（独自算出の注目度）: 22.354283924006786
• License:
• Abstract: Modern large language models (LLMs) often encounter communication bottlenecks on current hardware, rather than purely computational constraints. Multi-head Latent Attention (MLA) tackles this challenge by using low-rank matrices in the key-value (KV) layers, thereby allowing compressed latent KV states to be cached. This approach significantly reduces the KV cache size relative to traditional multi-head attention, leading to faster inference. Moreover, MLA employs an up-projection matrix to increase expressiveness, trading additional computation for reduced communication overhead. Although MLA has demonstrated efficiency and effectiveness in Deepseek V2/V3/R1, many major model providers still rely on Group Query Attention (GQA) and have not announced any plans to adopt MLA. In this paper, we show that GQA can always be represented by MLA while maintaining the same KV cache overhead, but the converse does not hold. To encourage broader use of MLA, we introduce **TransMLA**, a post-training method that converts widely used GQA-based pre-trained models (e.g., LLaMA, Qwen, Mixtral) into MLA-based models. After conversion, the model can undergo additional training to boost expressiveness without increasing the KV cache size. Furthermore, we plan to develop MLA-specific inference acceleration techniques to preserve low latency in transformed models, thus enabling more efficient distillation of Deepseek R1.
• Abstract（参考訳）: 現代の大規模言語モデル(LLM)は、純粋な計算制約ではなく、現在のハードウェア上の通信ボトルネックに遭遇することが多い。 MLA(Multi-head Latent Attention)はキー値(KV)層で低ランク行列を使用することで、圧縮された潜在KV状態をキャッシュ可能にする。 このアプローチにより、従来のマルチヘッドアテンションと比較してKVキャッシュサイズが大幅に削減され、推論が高速化される。 さらに、MLAは表現性を高めるためにアッププロジェクション行列を使用し、通信オーバーヘッドを減らすために追加計算を交換する。 MLAはDeepseek V2/V3/R1で効率と有効性を示したが、主要なモデルプロバイダの多くは依然としてGQA(Group Query Attention)に依存しており、MLAを採用する計画を発表していない。 本稿では,同じKVキャッシュのオーバーヘッドを維持しながら,GQAを常にMLAで表現できることを示すが,逆は成立しない。 MLAをより広く活用するために、広く使われているGQAベースの事前学習モデル(例えば、LLaMA、Qwen、Mixtral)をMLAベースのモデルに変換するポストトレーニング手法**TransMLA*を導入する。 変換後、モデルはKVキャッシュサイズを増大させることなく表現性を高めるための追加のトレーニングを行うことができる。 さらに,変換モデルの低レイテンシを保ち,Deepseek R1のより効率的な蒸留を可能にするため,MLA固有の推論加速技術を開発することを計画している。

関連論文リスト

• Anchor Attention, Small Cache: Code Generation with Large Language Models [15.94784908771546]
  NLPの現在のプラクティスは、コード生成タスクにおいて、不正確な、あるいは幻覚を引き起こす可能性のある、スパースアテンションを使用することが多い。 本稿では,コンテキスト情報を抽出・圧縮するトークン・アンカー・アテンションを特徴とする新しいアプローチであるAnchorCoderを提案する。 モデルの性能の大部分を保ちながら、KVキャッシュの要求を大幅に削減できる(少なくとも70%)。
  論文  参考訳（メタデータ） (2024-11-11T02:47:05Z)
• LoRC: Low-Rank Compression for LLMs KV Cache with a Progressive Compression Strategy [59.1298692559785]
  キーバリュー(KV)キャッシュは、トランスフォーマーベースの自己回帰型大言語モデル(LLM)を提供する上で重要なコンポーネントである。 この問題を緩和するためのアプローチとしては、(1) アップサイクルステージに統合された効率的な注意変動、(2) テスト時のKVキャッシュ圧縮、(3) テスト時のKVキャッシュ圧縮がある。 そこで我々は,KV重み行列の低ランク近似を提案し,モデル再学習なしに既存のトランスフォーマーベースLCMとのプラグイン統合を実現する。 本手法は,テスト段階におけるアップサイクリング段階のモデルチューニングやタスク固有のプロファイリングを伴わずに機能するように設計されている。
  論文  参考訳（メタデータ） (2024-10-04T03:10:53Z)
• ThinK: Thinner Key Cache by Query-Driven Pruning [63.13363917871414]
  大規模言語モデル(LLM)は自然言語処理の分野に革命をもたらし、様々なアプリケーションで前例のない性能を達成した。 本稿では,KVキャッシュのメモリ消費の非効率性に対処する長文シナリオに焦点を当てた。 我々は,最小のチャネルを選択的に切断しながら,注目重量損失を最小限に抑える新しいクエリ依存型KVキャッシュプルーニング手法であるThinKを提案する。
  論文  参考訳（メタデータ） (2024-07-30T17:59:08Z)
• Beyond KV Caching: Shared Attention for Efficient LLMs [5.801044612920816]
  本稿では,大規模言語モデル(LLM)の効率を高めるための新しい共有注意機構を提案する。 提案手法は,先進LLMにおいて観測される注意分布の等方性傾向を利用して,予測に必要な計算フロップとKVキャッシュのサイズを減少させる。 以上の結果から,SAは計算資源の保存だけでなく,頑健なモデル性能も維持し,資源制約環境におけるより効率的なLCMの展開を容易にすることが示唆された。
  論文  参考訳（メタデータ） (2024-07-13T07:23:07Z)
• Effectively Compress KV Heads for LLM [28.0801697946958]
  キーバリュー(KV)キャッシュを圧縮する新しい手法を提案する。 提案手法は,従来のLLMに匹敵する性能を維持しつつ,KVヘッドの4分の1以上を圧縮することができる。
  論文  参考訳（メタデータ） (2024-06-11T08:37:33Z)
• CORM: Cache Optimization with Recent Message for Large Language Model Inference [57.109354287786154]
  メモリフットプリントを大幅に最小化するKVキャッシュを最適化する革新的な手法を提案する。 KVキャッシュ消去ポリシーであるCORMは、モデル微調整を必要とせずに、推論に必要なキーと値のペアを動的に保持する。 検証の結果,CORMはKVキャッシュの推論メモリ使用量を最大70%削減し,LongBenchの6つのタスクで性能劣化を無視できることがわかった。
  論文  参考訳（メタデータ） (2024-04-24T16:11:54Z)
• FFN-SkipLLM: A Hidden Gem for Autoregressive Decoding with Adaptive Feed Forward Skipping [49.66872823080736]
  自己回帰型大規模言語モデル(LLaMa, GPT)は、言語理解と生成において顕著な成功を収めている。 発生時に発生する過負荷を軽減するため、いくつかの早期退避および層下降戦略が提案されている。 本稿では,入力適応型フィードフォワードスキップ戦略であるFFN-SkipLLMを提案する。
  論文  参考訳（メタデータ） (2024-04-05T02:35:43Z)
• Not All Attention is Needed: Parameter and Computation Efficient Transfer Learning for Multi-modal Large Language Models [73.48675708831328]
  MLLM(Multi-modal Large Language Models)のための新しいパラメータと計算効率のチューニング手法を提案する。 The Efficient Attention Skipping (EAS) method evaluate the attention redundancy and skips the less important MHAs to speed up inference。 実験により、EASは高い性能とパラメータ効率を維持するだけでなく、推論速度を大幅に高速化することが示された。
  論文  参考訳（メタデータ） (2024-03-22T14:20:34Z)
• KVQuant: Towards 10 Million Context Length LLM Inference with KV Cache Quantization [67.74400574357472]
  LLMは、大きなコンテキストウィンドウを必要とするアプリケーションでの利用が増えており、この大きなコンテキストウィンドウでは、KVキャッシュのアクティベーションが推論時のメモリ消費の主要な要因として表面化している。 量子化はKVキャッシュのアクティベーションを圧縮する上で有望な手法であるが、既存のソリューションは4ビット以下の精度でアクティベーションを正確に表現できない。 我々の研究であるKVQuantは、いくつかの新しい手法を取り入れることで、低精度のKVキャッシュ量子化を容易にする。
  論文  参考訳（メタデータ） (2024-01-31T18:58:14Z)
• FineQuant: Unlocking Efficiency with Fine-Grained Weight-Only Quantization for LLMs [9.072821427818557]
  大規模言語モデル(LLM)は、様々な言語タスクで最先端のパフォーマンスを達成しているが、実用的なデプロイメントには課題がある。 メモリ消費を削減し,LLMの推論を高速化する,効率的な重みのみの量子化法を提案する。 我々は,OPT-175Bや内部MoEモデルのような大規模オープンソースモデルに対するアプローチを評価し,スループットを最大3.65倍に向上しながら,最小限の精度の損失を示す。
  論文  参考訳（メタデータ） (2023-08-16T23:57:41Z)
• Large Product Key Memory for Pretrained Language Models [12.932177565788974]
  製品キーメモリ(PKM)は、計算オーバーヘッドの少ないモデル容量を効率的に増やし、予測精度を向上させる。 近年のPLM(Pretrained Language Model)の成功に触発されて,多種多様なNLPタスクに適する大規模なPKMをPLMに組み込む方法について検討した。
  論文  参考訳（メタデータ） (2020-10-08T10:19:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。