論文の概要: LoopVQ: Sub 1-bit KV Cache Quantization for Looped Transformers
- arxiv url: http://arxiv.org/abs/2611.05304v1
- Date: Tue, 03 Nov 2026 18:16:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-07 13:01:25.246981
- Title: LoopVQ: Sub 1-bit KV Cache Quantization for Looped Transformers
- Title（参考訳）: LoopVQ:ループ変換器のサブ1ビットKVキャッシュ量子化
- Abstract要約: ループ変換器は、言語モデリングのための標準変換器に代わるパラメータ効率の良い代替品である。
ループ変換器のKVキャッシュベクトル量子化手法であるLoopVQを提案する。
0.5ビットで、LoopVQは標準LLMの既存のKVキャッシュベクトル量子化手法を、一般的な長鎖の推論、長いコンテキストの検索タスクで上回る。
- 参考スコア（独自算出の注目度）: 9.188178438603975
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Looped transformers are a parameter-efficient alternative to standard transformers for language modeling. By reapplying the same layers across multiple loop steps, recent looped language models match the performance of non-looped models several times their size. While this architecture effectively reduces parameter memory, each loop step still stores its own keys and values, so the key-value (KV) cache grows linearly with the number of loop steps and becomes the main memory bottleneck. We observe that the KV cache of looped models is highly redundant along the loop axis and that the loop steps differ substantially in their sensitivity to quantization. Based on these observations, we propose $\textbf{LoopVQ}$, a KV cache vector quantization method for looped transformers that codes channels of multiple loop steps jointly, and fine-tunes the codebooks to match the output of the full-precision model. At 0.5 bits per element, LoopVQ outperforms existing KV cache vector quantization methods for standard LLMs on general, long chain-of-thought reasoning, and long-context retrieval tasks with Ouro and Huginn models. Its design is orthogonal to these methods, and combined with TaSQ, it retains much of the BF16 accuracy even at 0.25 bits per element. We also implement LoopVQ in SGLang, where it nearly halves the decode latency at a 32K-token context and raises the peak serving throughput by up to $4.3\times$ and $6.1\times$ on the 1.4B and 2.6B Ouro models compared to the BF16 baseline.
- Abstract（参考訳）: ループ変換器は、言語モデリングのための標準変換器に代わるパラメータ効率の良い代替品である。
同じレイヤを複数のループステップに再適用することで、最近のループ言語モデルはループしないモデルのパフォーマンスを数倍に向上させる。
このアーキテクチャはパラメータメモリを効果的に削減するが、各ループステップには独自のキーと値が格納されているため、キー値(KV)キャッシュはループステップの数とともに線形に増加し、メインメモリボトルネックとなる。
ループモデルのKVキャッシュはループ軸に沿って非常に冗長であり、ループステップは量子化に対する感度に大きく異なる。
これらの観測に基づいて、ループ変換器のKVキャッシュベクトル量子化法である$\textbf{LoopVQ}$を提案する。
0.5ビットで、LoopVQは標準LLMの既存のKVキャッシュベクトル量子化手法を、OuroとHuginnモデルによる長鎖の推論、長いコンテキストの検索タスクで上回っている。
設計はこれらの手法に直交しており、TaSQと組み合わせて、1要素あたり0.05ビットでもBF16の精度を保っている。
また、SGLangでLoopVQを実装しており、32Kトーケンのコンテキストでデコードレイテンシをほぼ半分にし、BF16ベースラインと比較して最大4.3\times$と6.1\times$のスループットを最大6.6BのOuroモデルで増加させています。
関連論文リスト
- LoopKV: Loop-Aware KV Cache Compression for Serving Looped Transformers [5.763907580180103]
LoopKVは1回のオフラインプロファイルを使用して4ビットストレージを選択し、各セルに対して最終ループのKVを再利用する。
プランナーは、予測された損傷と保管のための予算の下で読み出しを最小限にする。
vLLM内の1つの融合カーネルがプランを実行する。
論文 参考訳（メタデータ） (2026-11-03T01:28:57Z) - ResidualQuant: KV Cache Quantization for Looped Transformers with 2-Bit Residuals [15.662099173724677]
KVキャッシュメモリはループ数に応じてスケールする。
KVキャッシュの量子化は、このボトルネックを軽減することができるが、既存の手法は、攻撃的な低精度のレシエーションにおいて、かなりの精度の劣化に悩まされることが多い。
本稿では、最終ループKV状態を参照として用いて、低精度残差を持つ残りのループを表すResidualQuantを提案する。
論文 参考訳（メタデータ） (2026-10-07T16:40:21Z) - WUSH-KV: KV Cache Quantization with Data-Adaptive Transforms [49.191043733828856]
低ビット KV-cache 量子化のための WUSH-KV を導入する。
WUSHは行列生成物の両方の因子の2次統計からデータ認識変換を構築し、量子化誤差を低減する。
WUSH-KVをOSCAR型パーセンタイルクラッピングアフィン量子化によりSGLangに統合する。
論文 参考訳（メタデータ） (2026-09-29T17:50:50Z) - LoopCoder-v2: Only Loop Once for Efficient Test-Time Computation Scaling [72.71005779366162]
本研究では,ゲインコストの観点から,ループ数選択について検討する。
この研究は18Tトークンのスクラッチからループ数が異なるループ数でLoopCoder-v2をトレーニングし、それにマッチした命令チューニングと評価を行う。
実証的には、この2ループ版はコード生成、コード推論、エージェントソフトウェアエンジニアリング、ツールスベンチマークなど、非ループベースラインよりも幅広い利益をもたらしている。
論文 参考訳（メタデータ） (2026-06-16T15:03:05Z) - Parallel Loop Transformer for Efficient Test-Time Computation Scaling [34.8255648599522]
大規模言語モデル(LLM)は強力だが、推論中に現実世界で使うには遅すぎるしコストもかかる。
ループ変換器は、複数の計算ステップで同じ重みを再利用することでパラメータを節約する。
ループが次々と実行され、各追加ループで推論遅延とメモリ要求が増大する。
論文 参考訳（メタデータ） (2025-10-28T15:35:50Z) - CommVQ: Commutative Vector Quantization for KV Cache Compression [50.37946553931796]
本稿では,長期LLM推論におけるメモリ使用量を大幅に削減するために,CommVQ(CommVQ)を提案する。
まず、KVキャッシュを圧縮するための軽量エンコーダとコードブックを用いた加算量子化を導入する。
提案手法は,RoPE-commutative codebook を用いた加算量子化と低オーバーヘッド化により高い精度を実現する。
論文 参考訳（メタデータ） (2025-06-23T17:50:11Z) - QuantSpec: Self-Speculative Decoding with Hierarchical Quantized KV Cache [67.84112700032007]
大きな言語モデル(LLM)は、長いコンテキスト設定のためにエッジデバイスにデプロイされることが増えている。
これらのシナリオでは、キーバリュー(KV)キャッシュがGPUメモリとレイテンシの両方において主要なボトルネックとなっている。
そこで本研究では,ターゲットモデルのアーキテクチャを共有するが,階層的な4ビット量子化KVキャッシュと4ビット量子化重みを併用して高速化を行う,新たな自己推論型デコーディングフレームワークであるQuantSpecを提案する。
論文 参考訳（メタデータ） (2025-02-05T20:43:48Z) - LoRC: Low-Rank Compression for LLMs KV Cache with a Progressive Compression Strategy [59.1298692559785]
キーバリュー(KV)キャッシュは、トランスフォーマーベースの自己回帰型大言語モデル(LLM)を提供する上で重要なコンポーネントである。
この問題を緩和するためのアプローチとしては、(1) アップサイクルステージに統合された効率的な注意変動、(2) テスト時のKVキャッシュ圧縮、(3) テスト時のKVキャッシュ圧縮がある。
そこで我々は,KV重み行列の低ランク近似を提案し,モデル再学習なしに既存のトランスフォーマーベースLCMとのプラグイン統合を実現する。
本手法は,テスト段階におけるアップサイクリング段階のモデルチューニングやタスク固有のプロファイリングを伴わずに機能するように設計されている。
論文 参考訳（メタデータ） (2024-10-04T03:10:53Z) - QJL: 1-Bit Quantized JL Transform for KV Cache Quantization with Zero Overhead [10.067037913589175]
LLMをシリアル化するには、KVキャッシュにキーバリューの埋め込みを格納する必要があるため、かなりのメモリを必要とする。
従来の量子化法は、量子化定数を保存する必要があるため、大きなメモリオーバーヘッドに直面している。
ジョンソン-リンデンシュトラウス変換とサインビット量子化を組み合わせた新しい量子化手法であるQJLを導入する。
論文 参考訳（メタデータ） (2024-06-05T17:42:05Z) - KIVI: A Tuning-Free Asymmetric 2bit Quantization for KV Cache [67.9776980972508]
我々はKIVIというチューニング不要な2ビットKVキャッシュ量子化アルゴリズムを開発した。
KIVI は Llama, Falcon, Mistral のモデルを $mathbf2.6times$ less peak memory を使用しながらほぼ同じ品質を維持することができる。
論文 参考訳（メタデータ） (2024-02-05T06:06:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。