論文の概要: Looped Latent Attention: Cross-Loop KV Compression for Looped Transformers
- arxiv url: http://arxiv.org/abs/2607.15456v1
- Date: Thu, 16 Jul 2026 20:58:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-20 17:56:52.701591
- Title: Looped Latent Attention: Cross-Loop KV Compression for Looped Transformers
- Title（参考訳）: Looped Latent Attention: Looped Transformers におけるクロスループ KV 圧縮
- Abstract要約: 学習後キャッシュであるLooped Latent Attention (LLA)を導入し, ループ固有のK/Vベクトルを, 注目が集まるとのみ再構成する。
キャッシュ予算の整合により、ヘッド軸MLA、層間共有、KV量子化、最終ループ再利用に優れる。
同じ利点は、Ouro-2.6B-シンキングを抑え、Huginn-3.5Bに転送する。
- 参考スコア（独自算出の注目度）: 4.632241550169362
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Looped, weight-tied Transformers reduce parameters by reusing a block, but decoding still stores a separate K/V cache for every recurrence step. We show that this loop-indexed cache is highly structured. For a fixed token, layer and head, K/V vectors trace a short low-rank trajectory across loops, while the head and layer axes remain much flatter. We introduce Looped Latent Attention (LLA), a post-training cache codec that stores compact K and V latents and reconstructs loop-specific K/V vectors only when attention reads them. The default per-head codec compresses recurrence, while LLA-2D also folds heads into one latent for the extreme-compression regime. The codec is initialized from SVD of teacher activations and refined with KL and attention-output distillation. At matched cache budget, per-head LLA outperforms head-axis MLA, cross-layer sharing, KV quantization and final-loop reuse, showing that the recurrent cache is low-rank but not safely collapsible to a single state. The same axis advantage holds on Ouro-2.6B-Thinking and transfers to Huginn-3.5B, where an SVD codec remains near-lossless to 32x in decoder-independent evaluation. The cache reduction is exact. On one H200, the latent-store path increases measured Ouro-1.4B batch capacity at 4k context from 32 to 768 sequences at 21.3x compression. For long math rollouts, on-policy refinement on student-generated prefixes raises MATH-500 at 4x from 0.43 to 0.66 and reduces no-answer generations.
- Abstract（参考訳）: ループで重み付けされたトランスフォーマーはブロックを再利用することでパラメータを減らすが、復号化は繰り返しステップ毎に別のK/Vキャッシュを格納する。
このループインデックスキャッシュは高度に構造化されていることを示す。
固定されたトークンでは、K/Vベクトルはループを横切る短い低ランク軌道を辿るが、ヘッドとレイヤーの軸はより平坦なままである。
学習後キャッシュコーデックであるLooped Latent Attention (LLA)を導入し, ループ固有のK/Vベクトルを, 注意を読めばのみ再構成する。
デフォルトのper-headコーデックは繰り返しを圧縮し、LA-2Dは極端に圧縮された状態のために頭部を1つの潜伏状態に折り畳む。
コーデックは教師活性化のSVDから初期化され、KLおよび注意出力蒸留で精製される。
一致したキャッシュ予算では、ヘッド軸MLA、クロス層共有、KV量子化、最終ループ再利用よりも性能が優れており、リカレントキャッシュはローランクであるが、1つの状態に安全に折り畳むことはできない。
同じ軸のアドバンテージはOuro-2.6B-Thinkingを抑え、Huginn-3.5Bに転送する。
キャッシュの削減は正確です。
1つのH200では、遅延ストアパスは、21.3倍圧縮で32から768のシーケンスから4kコンテキストで測定されたOuro-1.4Bのバッチ容量を増大させる。
長い数学のロールアウトのために、学生が生成した接頭辞の政治上の洗練は、MATH-500を0.43から0.66に引き上げ、答えのない世代を減らす。
関連論文リスト
- A JoLT for the KV Cache: Near-Lossless KV Cache Compression via Joint Tucker and JL-Residual Allocation for LLMs [0.0]
キー値(KV)キャッシュは、トランスフォーマー推論の主要なメモリコストとなっている。
低ランク法はキャッシュの2次元スライス、またはヘッド当たり行列またはクロス層特徴ブロックを分解し、量子化法は各エントリのビット幅を下げる。
提案手法は,トークンと特徴軸のみを圧縮し,頭部と層軸をそのまま残す部分的タッカー分解法である。
ランダム化されたSVDの派生型であるFlashJoLTは、1024のコンテキストで5-13倍の圧縮時間のスピードアップと品質の一致を提供する。
論文 参考訳（メタデータ） (2026-07-14T09:23:20Z) - Codec-Gauge: Learning Compression-Friendly Gauges for Transformer KV Caches [25.55174329283001]
長文トランスフォーマー推論は、KVキャッシュ圧縮や量子化にますます依存している。
我々は,キャッシュ調整後のレイヤであるCodec-Gaugeを紹介した。
論文 参考訳（メタデータ） (2026-07-10T17:18:25Z) - FreqDepthKV: Frequency-Guided Depth Sharing for Robust KV Cache Compression in Long-Context LLM Inference [0.0]
FreqDepthKVは、隣接層KV状態を共有低周波深さ成分とスパース高周波残差に分解する推論時キャッシュ圧縮法である。
軽量なオンラインプローブは、リコンストラクションに敏感なアテンションログへの貢献に応じて、アテンションヘッドを共有深度、残留深度、または正確なキャッシュモードに割り当てる。
FreqDepthKVは、長いコンテキストの質問応答、針の検索、要約、コード生成ベンチマークを通じて、かなり小さなキャッシュ予算の下でタスクの正確性を保持する。
論文 参考訳（メタデータ） (2026-07-07T17:26:28Z) - End-to-End Context Compression at Scale [81.70601323130997]
長期コンテキスト言語モデル推論は、KVキャッシュがコンテキスト長とともに増加するにつれて、メモリによってボトルネックとなる。
KVキャッシュを圧縮する最近の技術は、モデル品質を著しく低下させるか、あるいはかなりの時間を要するか、1つの長いプロンプトを圧縮するために計算する。
既存のアプローチは、精度-効率のフロンティア上のKVキャッシュ圧縮と競合しない。
論文 参考訳（メタデータ） (2026-06-08T15:43:16Z) - RDKV: Rate-Distortion Bit Allocation for Joint Eviction and Quantization of the KV Cache [28.54642982960947]
大規模言語モデル(LLM)は様々なタスクにまたがって高い性能を示すが、長い入力コンテキストでの推論はメモリサイズと帯域幅によってボトルネックとなる。
既存のメソッドは、消去または量子化によってキャッシュを減らすが、通常は2つを分離して扱う。
本稿では、KVキャッシュ圧縮をレート歪み問題とみなし、同じビット割り当て方式の2つの端点の消去と量子化を行う。
論文 参考訳（メタデータ） (2026-05-08T15:15:06Z) - KVSculpt: KV Cache Compression as Distillation [7.085426079187912]
KVキャッシュ圧縮は、効率的なLLM推論に重要である。
既存のメソッドは、純粋な消去 -- どのKVペアを保持するかを選択する -- から、類似のペアをより少ないものに組み合わせたマージまで、さまざまです。
我々は、このスペクトルの反対側に移動するKVSculptを提案する。
鍵はL-BFGSで最適化され、最小二乗で閉形式で解かれる。
論文 参考訳（メタデータ） (2026-03-29T19:14:25Z) - PackCache: A Training-Free Acceleration Method for Unified Autoregressive Video Generation via Compact KV-Cache [61.57938553036056]
トレーニング不要なKVキャッシュ管理手法であるPackCacheを導入し,KVキャッシュを3つの協調機構でコンパクト化する。
効率の面では、PackCacheは48フレームの長いシーケンスで1.7-2.2倍のエンドツーエンド生成を高速化する。
論文 参考訳（メタデータ） (2026-01-07T19:51:06Z) - CommVQ: Commutative Vector Quantization for KV Cache Compression [50.37946553931796]
本稿では,長期LLM推論におけるメモリ使用量を大幅に削減するために,CommVQ(CommVQ)を提案する。
まず、KVキャッシュを圧縮するための軽量エンコーダとコードブックを用いた加算量子化を導入する。
提案手法は,RoPE-commutative codebook を用いた加算量子化と低オーバーヘッド化により高い精度を実現する。
論文 参考訳（メタデータ） (2025-06-23T17:50:11Z) - ReCalKV: Low-Rank KV Cache Compression via Head Reordering and Offline Calibration [69.57122277845293]
ReCalKVは,キーと値の調整を施した低ランクKVキャッシュ圧縮手法である。
キーズでは、構造的に類似した頭部をグループにクラスタリングし、より正確な低ランク近似を可能にするSimisity aware Recontext (HSR)を提案する。
本稿では,オフラインヘッドワイド値(OVC)を提案する。これはトレーニングなしでキャリブレーションデータを用いて,効率的に値予測行列を校正する。
論文 参考訳（メタデータ） (2025-05-30T08:49:27Z) - KVSharer: Efficient Inference via Layer-Wise Dissimilar KV Cache Sharing [58.29726147780976]
我々は,層間をKVキャッシュで共有し,層間圧縮を実現する,textit KVSharerと呼ばれるプラグアンドプレイ方式を提案する。
実験の結果、textit KVSharerはKVキャッシュの計算を30%削減し、メモリ消費を削減できることがわかった。
我々は,textit KVSharerが既存の層内KVキャッシュ圧縮手法と互換性があることを検証する。
論文 参考訳（メタデータ） (2024-10-24T08:06:41Z) - KIVI: A Tuning-Free Asymmetric 2bit Quantization for KV Cache [67.9776980972508]
我々はKIVIというチューニング不要な2ビットKVキャッシュ量子化アルゴリズムを開発した。
KIVI は Llama, Falcon, Mistral のモデルを $mathbf2.6times$ less peak memory を使用しながらほぼ同じ品質を維持することができる。
論文 参考訳（メタデータ） (2024-02-05T06:06:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。