論文の概要: KVPath: Connecting Key-Value Representations Across Transformer Layers
- arxiv url: http://arxiv.org/abs/2611.16072v1
- Date: Wed, 11 Nov 2026 22:29:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.285361
- Title: KVPath: Connecting Key-Value Representations Across Transformer Layers
- Title(参考訳): KVPath: トランスフォーマー層間のキーバリュー表現の接続
- Abstract要約: トランスフォーマーは通常、各トークンの独立キー値(KV)表現を各層にキャッシュする。
最近の研究は、トークンのKV表現が隣り合う層に相関し、共有情報を含んでいることを明らかにしている。
ネットワーク奥行きのKV表現を経路に接続する新しいKV表現パラダイムであるKVPathを提案する。
- 参考スコア(独自算出の注目度): 25.46510457222848
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Transformers typically cache an independent key-value (KV) representation for each token at every layer. Recent work reveals that a token's KV representations across neighboring layers are correlated and contain shared information. We hypothesize that this correlation implies incremental inter-layer changes, which can be effectively captured by low-dimensional deltas. Motivated by this, we propose KVPath, a new KV representation paradigm that connects KV representations across the network depth into a path. The path establishes a full-dimensional base KV at the first layer, while subsequent layers generate low-dimensional delta KVs to update the preceding KV, thereby constructing their own KV states. By caching the base KV once alongside these compact delta KVs, KVPath preserves distinct layer-specific representations without storing full KV states at every layer. We develop two variants of KVPath: KVPath-Residual, which updates vector values via residual addition, and KVPath-Rolling, which progressively updates feature dimensions in a rolling manner. Under matched parameter counts, KVPath reduces KV-cache storage by up to 68\% for Grouped-Query Attention (GQA) and 55\% for Multi-Head Latent Attention (MLA), while maintaining or even improving model performance.
- Abstract(参考訳): トランスフォーマーは通常、各トークンの独立キー値(KV)表現を各層にキャッシュする。
最近の研究は、トークンのKV表現が隣り合う層に相関し、共有情報を含んでいることを明らかにしている。
この相関は、低次元のデルタによって効果的に捉えられる層間変化の増進を意味すると仮定する。
そこで我々は,ネットワーク奥行きのKV表現を経路に接続する新しいKV表現パラダイムKVPathを提案する。
この経路は、第1の層でフル次元基底KVを確立し、続く層は、前のKVを更新するために低次元デルタKVを生成して、独自のKV状態を構築する。
これらのコンパクトなデルタKVと共にベースKVをキャッシュすることで、KVPathはすべての層に完全なKV状態を保存することなく、異なる層固有の表現を保持する。
KVPath-Residual,KVPath-Rolling,KVPath-Rolling,KVPath-Residual,KVPath-Rollingの2つの変種を開発した。
一致したパラメータ数の下では、KVPathは、GQA(Grouped-Query Attention)で最大68\%、MLA(Multi-Head Latent Attention)で最大55\%のKVキャッシュストレージを削減し、モデルパフォーマンスを維持または改善する。
関連論文リスト
- BeNice! Closing Looping's Inference-Memory Gap via KV-Sharing [30.87385668501741]
ループモデルでKV共有を有効にする方法を示す。
KV共有はキャッシュヒット率を最大31.4%改善し、スループットを最大23.6%向上し、p90のタイム・ツー・ファースト・トークンを最大83.6%削減する。
論文 参考訳(メタデータ) (2026-10-22T17:49:44Z) - RedKnot: Efficient Long-Context LLM Serving with Head-Aware KV Reuse and SegPagedAttention [20.633983983180812]
LLMサービスのためのヘッドアウェアKVキャッシュ管理システムであるRedKnotを提案する。
RedKnotは、KVヘッドに沿ってKVキャッシュを分解することで、従来のモノリシックなKVキャッシュの抽象化を破る。
論文 参考訳(メタデータ) (2026-06-04T14:57:07Z) - STaR-KV: Spatio-Temporal Adaptive Re-weighting for KV Cache Compression in GUI Vision-Language Models [21.506039893153332]
ビジョンモデルベースのグラフィカルユーザインタフェース(GUI)エージェントは、幅広い自動化機能を示している。
デプロイメントは、インタラクションステップと線形に成長するキーバリュー(KV)キャッシュによってボトルネックされる。
トレーニング不要なKVキャッシュ圧縮フレームワークSTaR-KVを提案する。
論文 参考訳(メタデータ) (2026-06-01T07:10:00Z) - KV-CAR: KV Cache Compression using Autoencoders and KV Reuse in Large Language Models [3.5171501100868876]
KVキャッシュはシーケンス長と埋め込み次元で成長し、しばしばモデル自体のメモリフットプリントを超える。
KV CARは,モデル忠実性を維持しつつ,KVキャッシュストレージを大幅に削減する,統一的で非依存なアーキテクチャフレームワークである。
Wikitext、C4、PIQA、WinograndeデータセットにわたるGPT 2とTinyLLaMAモデルの評価は、KV CARが最大47.85パーセントのKVキャッシュメモリ削減を達成したことを示している。
論文 参考訳(メタデータ) (2025-12-07T08:40:52Z) - R-KV: Redundancy-aware KV Cache Compression for Reasoning Models [77.84539432982307]
共振モデル(R-KV)のための冗長性を考慮したKVキャッシュ圧縮を提案する。
R-KVはKVキャッシュの10%しか使用せず、完全なKVキャッシュ性能のほぼ100%を保っている。
驚くべきことに、R-KVは完全なKVキャッシュ性能の105%を達成し、KVキャッシュの16%を達成している。
論文 参考訳(メタデータ) (2025-05-30T02:03:24Z) - xKV: Cross-Layer SVD for KV-Cache Compression [8.250015628919098]
長いコンテキストウィンドウを持つ大規模言語モデル(LLM)は強力なアプリケーションを実現するが、メモリ消費のコストがかかる。
近年の研究では、KV-cacheを複数の層から共有表現にマージする試みが試みられている。
支配的な特異ベクトルは、KV-Cacheの複数の層に驚くほどよく整合していることが分かる。
xKVは複数のレイヤのKVキャッシュを共有低ランクサブスペースに統合し、KVキャッシュのサイズを大幅に削減する。
論文 参考訳(メタデータ) (2025-03-24T17:06:37Z) - KVSharer: Efficient Inference via Layer-Wise Dissimilar KV Cache Sharing [58.29726147780976]
我々は,層間をKVキャッシュで共有し,層間圧縮を実現する,textit KVSharerと呼ばれるプラグアンドプレイ方式を提案する。
実験の結果、textit KVSharerはKVキャッシュの計算を30%削減し、メモリ消費を削減できることがわかった。
我々は,textit KVSharerが既存の層内KVキャッシュ圧縮手法と互換性があることを検証する。
論文 参考訳(メタデータ) (2024-10-24T08:06:41Z) - PyramidKV: Dynamic KV Cache Compression based on Pyramidal Information Funneling [38.732413451399]
ピラミッドKVは新規かつ効果的なKVキャッシュ圧縮法である。
提案手法は,KVキャッシュの12%しか保持せず,完全なKVキャッシュでモデルの性能と一致していることを示す。
Needle-in-a-Haystack実験では、Praamid KVは長文理解の維持において競合する手法より優れている。
論文 参考訳(メタデータ) (2024-06-04T07:51:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。