論文の概要: Grouped Value Attention: Efficient KV Caching via On-Demand Key Reconstruction

• arxiv url: http://arxiv.org/abs/2609.13285v2
• Date: Tue, 15 Sep 2026 15:00:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 14:56:08.07812
• Title: Grouped Value Attention: Efficient KV Caching via On-Demand Key Reconstruction
• Title（参考訳）: Grouped Value Attention: On-Demand Key Restructionによる効率的なKVキャッシング
• Abstract要約: Grouped Value Attention (GVA)は、グループ化された値を格納し、学習された線形マップでコンテンツキーを再構築する。 16次元の位置変化は5つのタスクの平均精度44.18に達し、GQAは44.36、MLAは43.88である。
• 参考スコア（独自算出の注目度）: 0.7391823486666543
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The KV cache is a primary bottleneck for Transformer decoding: its memory footprint and cache-read traffic grow with sequence length. Grouped-query attention (GQA) reduces this cost by sharing key-value heads, but still stores both a key and a value at every step. We introduce Grouped Value Attention (GVA), which stores grouped values and reconstructs content keys with a learned linear map. At inference, the map can be absorbed into the query, eliminating the need to materialize content keys in the intended decode path. A small shared decoupled RoPE channel retains positional information through a separately cached positional key. For the configurations studied, this representation reduces persistent cache scalars by approximately 45-47% relative to matched GQA. At the 350M-parameter scale with 30B FineWeb-Edu tokens, the 16-dimensional positional variant reaches 44.18 average accuracy across five tasks, compared with 44.36 for GQA and 43.88 for MLA. These results demonstrate near-GQA benchmark accuracy with a more compact cache representation. To translate this compact representation into faster autoregressive inference, we have developed custom decoding kernels and are currently evaluating their end-to-end inference performance with an open-source release planned soon.
• Abstract（参考訳）: KVキャッシュはTransformerデコードの主要なボトルネックであり、メモリフットプリントとキャッシュ読み取りトラフィックはシーケンス長とともに増加する。 Grouped-query attention (GQA) はキーバリューヘッドを共有することでこのコストを削減するが、キーと値の両方をステップ毎に格納する。 我々は,GVA(Grouped Value Attention)を導入し,学習された線形マップを用いて,グループ化された値を格納し,コンテントキーを再構築する。 推論時に、マップはクエリに吸収され、意図したデコードパスでコンテントキーを実体化する必要がなくなる。 小さな共有分離されたRoPEチャネルは、別途キャッシュされた位置キーを介して位置情報を保持する。 検討した構成について、この表現は、一致したGQAと比較して、永続的なキャッシュスカラーを約45-47%削減する。 30B FineWeb-Eduトークンを持つ350Mパラメータスケールでは、16次元の位置変化は5つのタスクの平均精度44.18に達し、GQAは44.36、MLAは43.88である。 これらの結果は、よりコンパクトなキャッシュ表現を伴うGQAベンチマークの精度を示す。 このコンパクト表現を高速な自己回帰推論に変換するため、我々はカスタムデコードカーネルを開発し、間もなくオープンソースリリースでエンドツーエンドの推論性能を評価している。

関連論文リスト

• Back from the Future: Key-Value Cache Management by Counter-Causal Surprise [67.1056509495879]
  近年,キーバリュー(KV)キャッシュ管理が重要な研究方向として注目されている。 より最近のトークンからよく予測できる過去のトークンは冗長である,という洞察に動機づけられた,単純かつ効果的なKV消去スキームを提案する。 我々は,他の最先端手法と比較して,競争力や性能向上を示す各種オープンソースLCMとベンチマークデータセットについて,我々の戦略を評価した。
  論文  参考訳（メタデータ） (2026-07-30T02:42:51Z)
• Fractal KV-Cache Archives: Lossless Symbolic Storage with In-Place Retrieval for Long-Context LLM Inference [0.0]
  キー値(KV)キャッシュは、長文の自動回帰推論のメモリコストを支配している。 我々は、位置のKV状態がコードブックインデックスに量子化されると、結果のシンボルストリームを格納する方法を研究する。 記号列を低次元実ベクトルの列にシリアライズする縮約反復写像の族を再検討する。
  論文  参考訳（メタデータ） (2026-07-08T08:37:49Z)
• The Residual Stream Is All You Need: On the Redundancy of the KV Cache in Transformer Inference [3.378773775514883]
  キー値(KV)キャッシュは、トランスフォーマー推論において必須の状態として広く扱われる。 各層におけるキーと値が残留ストリームの決定論的射影であることを証明する。 我々は、境界メモリ推論スキームであるKV-Directを用いて、この結果に基づいて構築する。
  論文  参考訳（メタデータ） (2026-03-20T05:59:50Z)
• ReCalKV: Low-Rank KV Cache Compression via Head Reordering and Offline Calibration [69.57122277845293]
  ReCalKVは,キーと値の調整を施した低ランクKVキャッシュ圧縮手法である。 キーズでは、構造的に類似した頭部をグループにクラスタリングし、より正確な低ランク近似を可能にするSimisity aware Recontext (HSR)を提案する。 本稿では,オフラインヘッドワイド値(OVC)を提案する。これはトレーニングなしでキャリブレーションデータを用いて,効率的に値予測行列を校正する。
  論文  参考訳（メタデータ） (2025-05-30T08:49:27Z)
• Quantize What Counts: More for Keys, Less for Values [63.51476878610841]
  大規模言語モデル(LLM)は、キーバリュー(KV)キャッシュに支配される推論時のメモリボトルネックに悩まされる。 本稿ではトランスフォーマーモデルの内在幾何学における混合精度KV量子化を固定する2つの定理を提案する。
  論文  参考訳（メタデータ） (2025-02-20T22:24:27Z)
• Cache Me If You Must: Adaptive Key-Value Quantization for Large Language Models [28.16603647353951]
  AQUA-KVは、コンパクトアダプタに依存するキーバリューキャッシュの適応量子化である。 パープレキシティとLongBenchスコアの相対誤差を1%以下の値で2-2.5ビットで近似する。
  論文  参考訳（メタデータ） (2025-01-31T18:47:42Z)
• Efficient Inference of Vision Instruction-Following Models with Elastic Cache [76.44955111634545]
  我々は,命令追従型大規模視覚言語モデルの効率的なデプロイのための新しい戦略であるElastic Cacheを紹介する。 本稿では,冗長キャッシュを具現化する重要なキャッシュマージ戦略を提案する。 命令符号化では,キャッシュの重要性を評価するために周波数を利用する。 様々なLVLMの結果は、Elastic Cacheが効率を向上するだけでなく、言語生成における既存のプルーニングメソッドよりも優れていることを示している。
  論文  参考訳（メタデータ） (2024-07-25T15:29:05Z)
• LoCoCo: Dropping In Convolutions for Long Context Compression [77.26610232994508]
  本稿では,Long Context Compression(LoCoCo)のための新しいアプローチであるDropping In Convolutionsを提案する。 LoCoCoは、固定サイズキーバリュー(KV)キャッシュのみを使用し、推論と微調整の両方のステージで効率を向上させることができる。
  論文  参考訳（メタデータ） (2024-06-08T01:35:11Z)
• MiniCache: KV Cache Compression in Depth Dimension for Large Language Models [48.03117580340151]
  キーバリュー(KV)キャッシュは、以前に生成されたトークンのキー値状態を格納する。 KVキャッシュのサイズはシーケンス長とともに線形に増加し、長いコンテキスト入力と広範囲なシーケンス生成を必要とするアプリケーションの課題を提起する。 レイヤ間のKVキャッシュを,新しい奥行きの観点から圧縮する,MiniCacheという,シンプルで効果的なアプローチを提案する。
  論文  参考訳（メタデータ） (2024-05-23T09:43:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。