論文の概要: Kronecker Product Attention: Memory-Efficient KV Compression via Structured Factorization

• arxiv url: http://arxiv.org/abs/2610.12657v1
• Date: Thu, 08 Oct 2026 19:23:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.25828
• Title: Kronecker Product Attention: Memory-Efficient KV Compression via Structured Factorization
• Title（参考訳）: Kronecker製品注意: 構造因子化によるメモリ効率の良いKV圧縮
• Abstract要約: 既存のアプローチとしては、MQA(Multi-Query Attention)、GQA(Grouped-Query Attention)、MLA(Multi-Head Latent Attention)、TPA(Product Attention)などがある。 そこで我々は,Kronecker Product Attention (KPA) を提案する。
• 参考スコア（独自算出の注目度）: 7.520760869868447
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Efficient autoregressive generation is increasingly limited by the memory footprint of the key-value (KV) cache, which grows linearly with sequence length, batch size, and model depth. Existing approaches such as Multi-Query Attention (MQA), Grouped-Query Attention (GQA), Multi-Head Latent Attention (MLA), and Tensor Product Attention (TPA) reduce this cost through different trade-offs, but often sacrifice expressivity, require additional positional-encoding machinery, or impose restrictive low-rank structure. We propose Kronecker Product Attention (KPA), which represents key and value activations as sums of Kronecker products of compact, token-dependent matrix factors. KPA strictly generalizes TPA: rank-one vector-outer-product factorization arises as a degenerate Kronecker split, while non-degenerate matrix factors can represent richer block-structured patterns. We further show that a structured rotary embedding operator matched to the Kronecker representation preserves the relative-position property of RoPE while rotating only the compact factors, removing the need for a decoupled RoPE branch as in MLA. Empirically, KPA matches or exceeds TPA, MHA, MQA, GQA, and MLA across four model scales and nine downstream benchmarks under identical training conditions, while achieving up to 10x KV cache compression. The Kronecker head split is a tuneable hyperparameter that allows practitioners to navigate the compression-accuracy trade-off at design time without architectural changes.
• Abstract（参考訳）: 効率の良い自己回帰生成は、キー値(KV)キャッシュのメモリフットプリントによってますます制限される。 既存のアプローチとしては、MQA(Multi-Query Attention)、GQA(Grouped-Query Attention)、MLA(Multi-Head Latent Attention)、TPA(Tensor Product Attention)などがある。 そこで我々は,Kronecker Product Attention (KPA) を提案する。 KPA は TPA を厳密に一般化する: ランク 1 のベクトル-外積因子分解は Kronecker の分解として生じるが、非退化行列因子はよりリッチなブロック構造パターンを表現することができる。 さらに、Kronecker表現と一致する構造付き回転埋め込み演算子は、コンパクトな要素のみを回転させながら、RoPEの相対配置特性を保ち、MLAのように疎結合のRoPE分岐を必要としないことを示す。 経験的に、KPAはTPA、MHA、MQA、GQA、MLAの4つのモデルスケールと、同じトレーニング条件下で9つのダウンストリームベンチマークで一致し、最大10倍のKVキャッシュ圧縮を実現している。 Kroneckerのヘッドスプリットは調整可能なハイパーパラメータで、設計時にアーキテクチャの変更なしに圧縮精度のトレードオフをナビゲートすることができる。

関連論文リスト

• Latent-Condensed Transformer for Efficient Long Context Modeling [60.72493959155964]
  大規模言語モデルに対するLCA(Latent-Condensed Attention)を提案する。 LCAはMLAの潜伏空間内のコンテキストを凝縮し、表現はセマンティック潜伏ベクトルと位置キーに切り離される。 LCAは、最大2.5$times$プリフィルスピードアップと128Kコンテキストでの90%のKVキャッシュ削減を実現している。
  論文  参考訳（メタデータ） (2026-04-14T08:40:31Z)
• Tensor Product Attention Is All You Need [61.3442269053374]
  プロダクトアテンション(TPA)は、テンソル分解を使用してクエリ、キー、値をコンパクトに表現する新しいアテンションメカニズムである。 TPAは、メモリ効率とともに改善されたモデル品質を実現する。 TPAに基づいて,シーケンスモデリングのための新しいモデルアーキテクチャであるProducT ATTion Transformer (T6)を紹介する。
  論文  参考訳（メタデータ） (2025-01-11T03:37:10Z)
• Effectively Compress KV Heads for LLM [28.0801697946958]
  キーバリュー(KV)キャッシュを圧縮する新しい手法を提案する。 提案手法は,従来のLLMに匹敵する性能を維持しつつ,KVヘッドの4分の1以上を圧縮することができる。
  論文  参考訳（メタデータ） (2024-06-11T08:37:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。