論文の概要: GQLA: Group-Query Latent Attention for Hardware-Adaptive Large Language Model Decoding

• arxiv url: http://arxiv.org/abs/2605.15250v1
• Date: Thu, 14 May 2026 15:50:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-18 21:22:26.035582
• Title: GQLA: Group-Query Latent Attention for Hardware-Adaptive Large Language Model Decoding
• Title（参考訳）: GQLA: ハードウェア適応型大規模言語モデルデコードのためのグループクエリ遅延注意
• Authors: Fanxu Meng,
• Abstract要約: Group-Query Latent Attention (GQLA)はMulti-head Latent Attention (MLA)の最小限の変更である Group-Query Latent Attention (GQLA)はMulti-head Latent Attention (MLA)の最小限の変更である
• 参考スコア（独自算出の注目度）: 5.930949606554186
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multi-head Latent Attention (MLA), the attention used in DeepSeek-V2/V3, jointly compresses keys and values into a low-rank latent and matches the H100 roofline almost perfectly. Its trained weights, however, expose only one decoding path - an absorbed MQA form - which ties efficient inference to H100-class compute-bandwidth ratios, forfeits tensor parallelism along the head axis, and yields no Multi-Token Prediction (MTP) gain on commodity inference GPUs such as the export-restricted H20. We propose Group-Query Latent Attention (GQLA), a minimal modification of MLA whose trained weights expose two algebraically equivalent decoding paths over the same parameters: an MQA-absorb path identical to MLA's, and a GQA path with a per-group expanded cache. The runtime picks the path that matches the target hardware - no retraining, no custom kernels - so a single set of GQLA weights pins the rooflines of both H100 (MQA-absorb, s_q=1) and H20 (GQA + MTP, s_q=2), while supporting up to 8-way zero-redundancy tensor parallelism on the GQA path. To avoid pretraining from scratch we extend TransMLA into TransGQLA, which converts a pretrained GQA checkpoint into a GQLA model; on LLaMA-3-8B it compresses the per-token KV cache to 28.125% of the GQA baseline on the MQA-absorb path while structurally preserving GQA-level traffic on the per-group path.
• Abstract（参考訳）: MLA(Multi-head Latent Attention, MLA)はDeepSeek-V2/V3で使われる、キーと値を低ランクの潜水機に共同で圧縮し、H100の屋根線とほぼ完全に一致する。 しかし、トレーニングされたウェイトは、H100クラスの計算帯域幅比に効率的な推論を結び、ヘッド軸に沿ったテンソル並列性を許し、輸出制限されたH20のようなコモディティ推論GPUでMTP(Multi-Token Prediction)が得られない、という1つのデコードパス(吸収されたMQA形式)のみを公開する。 本稿では,MLAと同一のMQA-absorbパスと,グループ毎に拡張されたキャッシュを持つGQAパスという,2つの代数的に等価なデコードパスを同一パラメータ上で公開する,MLAの最小限の修正であるグループクエリ遅延注意(GQLA)を提案する。 ランタイムはターゲットのハードウェアにマッチするパスを選択する - トレーニングなし、カスタムカーネルなし – なので、単一のGQLA重みセットは、GQAパス上で最大8ウェイのゼロ冗長テンソル並列性をサポートしながら、H100(MQA-absorb, s_q=1)とH20(GQA + MTP, s_q=2)のルーフラインをピン留めする。 トレーニング済みのGQAチェックポイントをGQLAモデルに変換するTransGQLAに拡張する。LLaMA-3-8Bでは、グループごとのGQAレベルのトラフィックを構造的に保存しながら、MQA-absorbパス上のGQAベースラインの28.125%に、トークン毎のKVキャッシュを圧縮する。

関連論文リスト

• Latent-Condensed Transformer for Efficient Long Context Modeling [60.72493959155964]
  大規模言語モデルに対するLCA(Latent-Condensed Attention)を提案する。 LCAはMLAの潜伏空間内のコンテキストを凝縮し、表現はセマンティック潜伏ベクトルと位置キーに切り離される。 LCAは、最大2.5$times$プリフィルスピードアップと128Kコンテキストでの90%のKVキャッシュ削減を実現している。
  論文  参考訳（メタデータ） (2026-04-14T08:40:31Z)
• Compressed Convolutional Attention: Efficient Attention in a Compressed Latent Space [12.98205656003145]
  MHA(Multi-headed Attention's)の二次計算と線形に成長するKV-cacheは、長いコンテキストトランスフォーマーの訓練と提供に費用がかかる。 本稿では,CCA(Compressed Convolutional Attention)を提案する。クエリ,キー,値をダウンプロジェクションし,共有潜在空間内でのアテンション操作全体を実行する新しいアテンション手法である。 実験の結果、CCGQAはGQA(Grouped Query Attention)とMLA(Multi-Latent Attention)の両方を高密度モデルとMoEモデルで同等のKV-cache圧縮で一貫して上回っていることがわかった。
  論文  参考訳（メタデータ） (2025-10-06T04:24:23Z)
• TPLA: Tensor Parallel Latent Attention for Efficient Disaggregated Prefill and Decode Inference [48.40143137402824]
  MLA(Multi-Head Latent Attention)は、キー値の状態を低ランクの潜在ベクトルに圧縮し、このベクトルだけをキャッシュしてメモリを減少させる。 しかし、テンソル並列性(TP)では、アテンションヘッドは複数のデバイスにまたがって計算され、各デバイスはフルキャッシュをロードしなければならない。 本稿では,潜在表現と各頭部の入力次元をデバイス間で分割し,シャード毎に独立して注目を行い,結果を全再現と組み合わせる方式であるTPLAを提案する。
  論文  参考訳（メタデータ） (2025-08-21T15:25:40Z)
• TransMLA: Multi-Head Latent Attention Is All You Need [34.38934956358534]
  TransMLAはGQAベースのモデルをMLAベースのモデルにシームレスに変換するフレームワークである。 LLaMA-2-7BでKVキャッシュの93%を圧縮することにより、TransMLAは8Kコンテキスト長で10.6倍の推論スピードアップを達成する。
  論文  参考訳（メタデータ） (2025-02-11T18:20:18Z)
• GWQ: Gradient-Aware Weight Quantization for Large Language Models [56.22507677736051]
  大規模言語モデル(LLM)は、複雑な言語タスクの解決における優れたパフォーマンスを示している。 LLMを低ビットに圧縮することで、リソース制約のあるデバイスにデプロイできる。 低ビット重み量子化のための最初の量子化手法である勾配対応重み量子化(GWQ)を提案する。
  論文  参考訳（メタデータ） (2024-10-30T11:16:04Z)
• GQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints [25.154477500940626]
  本稿では,既存のマルチヘッド言語モデルのチェックポイントを MQA モデルにアップトレーニングする手法を提案する。 トレーニングされたGQAはMQAに匹敵する速度でマルチヘッドで品質を向上することを示す。
  論文  参考訳（メタデータ） (2023-05-22T17:16:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。