論文の概要: LoopKV: Loop-Aware KV Cache Compression for Serving Looped Transformers

• arxiv url: http://arxiv.org/abs/2611.04137v1
• Date: Tue, 03 Nov 2026 01:28:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-11 01:42:15.627597
• Title: LoopKV: Loop-Aware KV Cache Compression for Serving Looped Transformers
• Title（参考訳）: LoopKV:ループ変換処理のためのループ対応KVキャッシュ圧縮
• Abstract要約: LoopKVは1回のオフラインプロファイルを使用して4ビットストレージを選択し、各セルに対して最終ループのKVを再利用する。 プランナーは、予測された損傷と保管のための予算の下で読み出しを最小限にする。 vLLM内の1つの融合カーネルがプランを実行する。
• 参考スコア（独自算出の注目度）: 5.763907580180103
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Looped transformers apply a shared block several times per token to improve accuracy without adding parameters. For models such as Ouro that keep a separate key-value (KV) cache per loop, cache memory limits the batch size that amortizes repeated weight reads. Uniform-bit quantization and fixed rules per loop do not allocate precision according to each layer's sensitivity in each loop. Measurements on Ouro show that quantization sensitivity varies across (loop, layer) cells, and the sum of individual cell damages approximates the overall output damage. Sharing damage also varies by cell, with later loops generally tolerating sharing better. Skipping low-attention values to save reads produces errors that compound across loops. LoopKV uses a one-time offline profile to choose 4-bit storage, 2-bit storage or reuse of the final loop's KV for each cell. The planner minimizes reads under budgets for predicted damage and storage. During decoding, each loop reads the high 2 bits of each 4-bit value and fetches the low bits only where its own attention weights require 4-bit precision. A single fused kernel in vLLM executes the plan. Serving Ouro-1.4B on one RTX PRO 6000, the memory-optimized LoopKV-M plan stores 35% less KV than uniform 4-bit quantization (KIVI-4) on the same fused kernel and CUDA graph. It sustains 1.7-2.2x KIVI-4's goodput under a latency service-level objective with a 16K-token maximum length. None of its averages on six public benchmarks falls significantly below BF16's.
• Abstract（参考訳）: ループ変換器はトークン毎に複数回共有ブロックを適用し、パラメータを追加することなく精度を向上させる。 ループ毎に別々のキー値(KV)キャッシュを保持するOuroのようなモデルでは、キャッシュメモリは繰り返しの重み付けを記憶するバッチサイズを制限する。 均一ビット量子化とループ毎の固定規則は各ループにおける各層の感度に応じて精度を割り当てない。 オウロの測定では、(ループ、層)細胞間で量子化感度が変化し、個々の細胞損傷の総和が全体の出力損傷を近似していることが示されている。 共有障害は細胞によっても異なり、後続のループは一般的に共有を許容する。 読み込みを保存するために低アテンション値をスキーピングすると、ループをまたいだエラーが発生する。 LoopKVは1時間のオフラインプロファイルを使用して、4ビットストレージ、2ビットストレージ、または各セルに対する最終ループのKVの再利用を選択する。 プランナーは、予測された損傷と保管のための予算の下で読み出しを最小限にする。 デコード中、各ループは4ビット値の上位2ビットを読み出し、注意重みが4ビットの精度を必要とする場合にのみ低ビットを取得する。 vLLM内の1つの融合カーネルがプランを実行する。 RTX PRO 6000上でOuro-1.4Bを実行すると、メモリ最適化のLoopKV-Mプランは、同じ核とCUDAグラフ上の均一な4ビット量子化(KIVI-4)よりも35%少ないKVを記憶する。 1.7-2.2x KIVI-4の出力を16Kの最大長を持つ遅延サービスレベルの目標で維持する。 6つの公開ベンチマークの平均はいずれもBF16よりも大幅に下がらない。

関連論文リスト

• LoopVQ: Sub 1-bit KV Cache Quantization for Looped Transformers [9.188178438603975]
  ループ変換器は、言語モデリングのための標準変換器に代わるパラメータ効率の良い代替品である。 ループ変換器のKVキャッシュベクトル量子化手法であるLoopVQを提案する。 0.5ビットで、LoopVQは標準LLMの既存のKVキャッシュベクトル量子化手法を、一般的な長鎖の推論、長いコンテキストの検索タスクで上回る。
  論文  参考訳（メタデータ） (2026-11-03T18:16:29Z)
• Read What Matters: Query-Adaptive Quantization for KV Caches [6.942025710859187]
  KV-cacheエントリは、将来のクエリが知られる前に格納されるが、それぞれのデコードクエリは、異なる場所で精度を必要とする。 我々はこのミスマッチを,クエリ毎に取得した保持ビットとビットに対して,個別の予算を用いて検討する。 各クエリに対して、ReadKVはクエリを使用してキーチャネルのプレフィックスを割り当て、再構成されたキーから注意を計算し、そのアテンションを使用してバリュートークンのプレフィックスを割り当てる。
  論文  参考訳（メタデータ） (2026-10-08T04:47:41Z)
• ResidualQuant: KV Cache Quantization for Looped Transformers with 2-Bit Residuals [15.662099173724677]
  KVキャッシュメモリはループ数に応じてスケールする。 KVキャッシュの量子化は、このボトルネックを軽減することができるが、既存の手法は、攻撃的な低精度のレシエーションにおいて、かなりの精度の劣化に悩まされることが多い。 本稿では、最終ループKV状態を参照として用いて、低精度残差を持つ残りのループを表すResidualQuantを提案する。
  論文  参考訳（メタデータ） (2026-10-07T16:40:21Z)
• Interface-Aware KV Cache Quantization for Dense On-Chip NVM in Long-Context LLM Decoding [5.984068900226547]
  キーバリュー(KV)キャッシュは、Long-context Large Language Model(LLM)デコードにおいて、主要なメモリボトルネックである。 既存のKV量子化法はGPUスタイルのメモリシステムのために設計された。 本稿では,KVキャッシュが固定レンジコンバータの背後にNVM内に存在する場合のコストについて検討する。
  論文  参考訳（メタデータ） (2026-09-04T22:58:21Z)
• LoopCoder-v2: Only Loop Once for Efficient Test-Time Computation Scaling [72.71005779366162]
  本研究では,ゲインコストの観点から,ループ数選択について検討する。 この研究は18Tトークンのスクラッチからループ数が異なるループ数でLoopCoder-v2をトレーニングし、それにマッチした命令チューニングと評価を行う。 実証的には、この2ループ版はコード生成、コード推論、エージェントソフトウェアエンジニアリング、ツールスベンチマークなど、非ループベースラインよりも幅広い利益をもたらしている。
  論文  参考訳（メタデータ） (2026-06-16T15:03:05Z)
• RDKV: Rate-Distortion Bit Allocation for Joint Eviction and Quantization of the KV Cache [28.54642982960947]
  大規模言語モデル(LLM)は様々なタスクにまたがって高い性能を示すが、長い入力コンテキストでの推論はメモリサイズと帯域幅によってボトルネックとなる。 既存のメソッドは、消去または量子化によってキャッシュを減らすが、通常は2つを分離して扱う。 本稿では、KVキャッシュ圧縮をレート歪み問題とみなし、同じビット割り当て方式の2つの端点の消去と量子化を行う。
  論文  参考訳（メタデータ） (2026-05-08T15:15:06Z)
• CommVQ: Commutative Vector Quantization for KV Cache Compression [50.37946553931796]
  本稿では,長期LLM推論におけるメモリ使用量を大幅に削減するために,CommVQ(CommVQ)を提案する。 まず、KVキャッシュを圧縮するための軽量エンコーダとコードブックを用いた加算量子化を導入する。 提案手法は,RoPE-commutative codebook を用いた加算量子化と低オーバーヘッド化により高い精度を実現する。
  論文  参考訳（メタデータ） (2025-06-23T17:50:11Z)
• Quantize What Counts: More for Keys, Less for Values [63.51476878610841]
  大規模言語モデル(LLM)は、キーバリュー(KV)キャッシュに支配される推論時のメモリボトルネックに悩まされる。 本稿ではトランスフォーマーモデルの内在幾何学における混合精度KV量子化を固定する2つの定理を提案する。
  論文  参考訳（メタデータ） (2025-02-20T22:24:27Z)
• QuantSpec: Self-Speculative Decoding with Hierarchical Quantized KV Cache [67.84112700032007]
  大きな言語モデル(LLM)は、長いコンテキスト設定のためにエッジデバイスにデプロイされることが増えている。 これらのシナリオでは、キーバリュー(KV)キャッシュがGPUメモリとレイテンシの両方において主要なボトルネックとなっている。 そこで本研究では,ターゲットモデルのアーキテクチャを共有するが,階層的な4ビット量子化KVキャッシュと4ビット量子化重みを併用して高速化を行う,新たな自己推論型デコーディングフレームワークであるQuantSpecを提案する。
  論文  参考訳（メタデータ） (2025-02-05T20:43:48Z)
• KIVI: A Tuning-Free Asymmetric 2bit Quantization for KV Cache [67.9776980972508]
  我々はKIVIというチューニング不要な2ビットKVキャッシュ量子化アルゴリズムを開発した。 KIVI は Llama, Falcon, Mistral のモデルを $mathbf2.6times$ less peak memory を使用しながらほぼ同じ品質を維持することができる。
  論文  参考訳（メタデータ） (2024-02-05T06:06:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。