論文の概要: Virtual Head Attention

• arxiv url: http://arxiv.org/abs/2610.17959v1
• Date: Tue, 13 Oct 2026 08:39:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.561168
• Title: Virtual Head Attention
• Title（参考訳）: バーチャルヘッドアテンション
• Abstract要約: VHA(Virtual Head Attention)は、2つの軽量線形演算によって3つの頂点を同時に改善する。 VHAは12ベンチマークのベースモデル評価スイートで、MLAとGQA-4を$+0.70,/,$+$2.60,%で上回る。 VHAは8K--128Kで平均84.4点、GQAでは73.0点、フルアテンション層では4点ではなく2点である。
• 参考スコア（独自算出の注目度）: 7.388534019706831
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The design of attention mechanisms in long-context large language models faces an ``impossible triangle'' among KV cache size, training and prefill FLOPs, and model quality. GQA achieves strong quality but incurs high KV cache overhead; alternative approaches such as MLA and MFA can compress the cache, but MLA suffers from quality loss while MFA substantially increases training and prefill compute. We propose Virtual Head Attention (VHA), which simultaneously improves all three vertices through two lightweight linear operations: Q Premix applies a near-identity transformation to queries within each KV group to recover virtual head diversity from halved physical query heads, and Linear Postmix fuses inter-head features via a low-rank $I + AB^\top$ residual structure. Since VHA introduces no nonlinear operations, Premix can be folded into the query projection and Postmix into the output projection at inference time, reducing the model to a standard GQA-2 architecture that directly reuses all existing GQA inference optimizations. With only two KV heads, the group size in large models readily reaches 64, fully exploiting Tensor Core parallelism during decoding. Across four scales with 4K-context 50B-token pretraining, VHA consistently surpasses the standard GQA baseline at every scale ($+$0.05\% to $+$0.81\%), while reducing KV cache by $4\times$ vs.\ GQA-8 at dense scales and $2\times$ vs.\ GQA-4 at the MoE scale, and lowering training and prefill FLOPs by 7.9\% (1.7B, $S{=}4096$). On an industrial 30B-A3B MoE model trained on 500B tokens at 8K context, VHA outperforms both MLA and GQA-4 by $+$0.70\,/\,$+$2.60\,\% on a 12-benchmark base-model evaluation suite; in a separate matched 10B-A1B MoE comparison after long-context mid-training, VHA attains an average RULER score of 84.4 over 8K--128K versus 73.0 for GQA, while using two rather than four KV heads in the full-attention layers.
• Abstract（参考訳）: 長文大言語モデルにおけるアテンション機構の設計は、KVキャッシュサイズ、トレーニングとプレフィルFLOP、モデル品質の「不可能な三角形」に直面している。 MLAやMFAはキャッシュを圧縮できるが、MLAは品質損失に悩まされ、MFAはトレーニングとプリフィル計算を大幅に増加させる。 Q Premixは、KVグループ内のクエリにほぼ同一の変換を適用して、半分の物理クエリヘッドから仮想ヘッドの多様性を回復し、Linear Postmixは低ランクの$I + AB^\top$残基構造を介してヘッド間機能を融合する。 VHAは非線形演算を導入しないため、PremixはクエリプロジェクションとPostmixに推論時に出力プロジェクションに折り畳むことができ、既存のGQA推論最適化を直接再利用する標準GQA-2アーキテクチャにモデルを還元する。 2つのKVヘッドしか持たず、大きなモデルのグループサイズは容易に64に到達し、デコード中にTensor Core並列性を完全に活用する。 4K-context 50B-tokenプリトレーニングを持つ4つのスケールで、VHAはすべてのスケールで標準GQAベースライン(+$0.05\%から$+$0.81\%)を一貫して上回り、KVキャッシュを4\times$ vs。 高密度スケールでのGQA-8と2\times$ vs。 GQA-4をMoEスケールで設定し、FLOPsを7.9\%(1.7B、$S{=}4096$)下げる。 産業用30B-A3B MoEモデルは8Kコンテキストで500Bトークンでトレーニングされ、VHAはMLAとGQA-4を$$0.70\,/\,$+2.60\,\%で上回る。

関連論文リスト

• A Universal Context-Reuse Layer for Cross-Model KV Sharing [7.914652203965336]
  我々は、ソースモデルによって生成されたKV状態を異なるターゲットモデルによって消費される表現に変換するエンフクロスモデルKV共有について検討する。 Qwen2.5-7B$rightarrow$ Qwen2.5-1.5Bの場合、翻訳されたKV状態はLongBench2の精度を27.59%から34.48%に改善し、ネイティブ1.5Bベースラインよりも6.89ポイント向上した。 クロスファミリーQwen2.5-1.5B$rightarrow$ Gemma-2-2B設定の場合、KVハンドオフは目標側のプリフィルコストを削減します。
  論文  参考訳（メタデータ） (2026-08-31T15:28:17Z)
• On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability [57.03393882933515]
  Qwen3.8-Flash-Nextは125Bパラメータ、トークンあたり6Bアクティベートされ、加速器から保持されるn-gram埋め込みテーブルの51Bパラメータを持つスパースミックス・オブ・エキスパートモデルである。 トレーニング前の14のベンチマークでは、このモデルは前モデルの397B-A17Bを8点、残りを少なくとも2.6ポイント、アクティベートされたパラメータが1/3、トレーニングトークンが1/3、トレーニング用FLOPが1/9であった。
  論文  参考訳（メタデータ） (2026-08-31T06:35:07Z)
• YouZhi: Towards High-Concurrency Financial LLMs via Adaptive GQA-to-MLA Transition [78.52944812151664]
  大きな言語モデル(LLM)は、大きな金融革新をもたらすが、そのデプロイメントはKVキャッシュメモリのオーバーヘッドによってボトルネックになる。 我々は,Huawei Ascendエコシステム上に構築された包括的な構造遷移とトレーニングパイプラインによって強化された,高効率な金融LLMであるYouZhi-LLMを提案する。
  論文  参考訳（メタデータ） (2026-06-04T08:44:37Z)
• Measuring Maximum Activations in Open Large Language Models [60.3514350516308]
  集中度, MoE, 視覚言語, 中間訓練, 命令調整型変異にまたがる8つのオープンファミリーから27個のチェックポイントで, グローバルおよび階層的に最大値を測定した。 最大アクティベーションサイズは、単純なサイズの副産物ではなく、ファミリー、アーキテクチャ、トレーニングステージに結びついているモデル特性である、と結論付けます。
  論文  参考訳（メタデータ） (2026-05-15T03:31:51Z)
• Linearizing Vision Transformer with Test-Time Training [54.52616866374482]
  事前訓練されたトランスフォーマーからウェイトを継承することは、魅力的なショートカットを提供するが、ソフトマックスと線形アテンションの基本的な表現的ギャップは、効果的なウェイト転送を妨げている。 テスト時間トレーニング(TTT)は2層動的定式化がSoftmaxの注意と構造的に一致している線形複雑アーキテクチャである。 安定拡散3.5を線形化して、SD3.5-T$5$(Transformer to Test Time Training)を導入することで、我々のアプローチを検証する。
  論文  参考訳（メタデータ） (2026-05-04T16:16:26Z)
• Thin Keys, Full Values: Reducing KV Cache via Low-Dimensional Attention Selection [15.230462656535034]
  標準変換器の注意は、クエリ、キー、および値(d_q = d_k = d_v = dmodel$)に同じ次元を使用する。 我々の洞察では、これらの成分は基本的に異なる役割を担っており、この対称性は不要である。 我々は、選択は本質的に値移動よりも低次元の操作であり、$Nの関連パターンを区別するためには$BigO(log N)次元しか必要としないと主張している。
  論文  参考訳（メタデータ） (2026-02-16T23:45:39Z)
• Compressed Convolutional Attention: Efficient Attention in a Compressed Latent Space [12.98205656003145]
  MHA(Multi-headed Attention's)の二次計算と線形に成長するKV-cacheは、長いコンテキストトランスフォーマーの訓練と提供に費用がかかる。 本稿では,CCA(Compressed Convolutional Attention)を提案する。クエリ,キー,値をダウンプロジェクションし,共有潜在空間内でのアテンション操作全体を実行する新しいアテンション手法である。 実験の結果、CCGQAはGQA(Grouped Query Attention)とMLA(Multi-Latent Attention)の両方を高密度モデルとMoEモデルで同等のKV-cache圧縮で一貫して上回っていることがわかった。
  論文  参考訳（メタデータ） (2025-10-06T04:24:23Z)
• Align Attention Heads Before Merging Them: An Effective Way for Converting MHA to GQA [8.305827430948654]
  KVヘッドの圧縮比によらず,MHAをGQAに変換するコスト効率の良い方法を提案する。 冗長パラメータをプループするために$mathitL$正規化を使用します。 実験の結果,LLaMA2-7Bモデルでは87.5%のKVヘッドを圧縮し,75%のKVヘッドをせん断型LLaMA-1.3Bで圧縮し,性能劣化を許容できることがわかった。
  論文  参考訳（メタデータ） (2024-12-30T03:05:45Z)
• QCQA: Quality and Capacity-aware grouped Query Attention [5.121164018825873]
  キー・アンド・バリュー機能(KV-cache)の過剰なメモリ要件は、大規模言語モデル(LLM)の自動回帰推論において重大な課題をもたらす。 本稿では,QCQA(Quality and Aware Grouped Query Attention)を提案する。
  論文  参考訳（メタデータ） (2024-06-08T07:49:55Z)
• DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model [118.06260386652778]
  We present DeepSeek-V2, a strong Mixture-of-Experts (MoE) language model characterized by economical training and efficient inference。 DeepSeek-V2は、MLA(Multi-head Latent Attention)やDeepSeekMoEといった革新的なアーキテクチャを採用している。 DeepSeek-V2はDeepSeek 67Bと比較して大幅に性能が向上し、トレーニングコストは42.5%削減された。
  論文  参考訳（メタデータ） (2024-05-07T15:56:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。