論文の概要: Bridging KV-Cache Quantization and Linear Attention: From Theory to Pretrained Weight Migration

• arxiv url: http://arxiv.org/abs/2610.11214v1
• Date: Thu, 08 Oct 2026 04:12:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:53.795996
• Title: Bridging KV-Cache Quantization and Linear Attention: From Theory to Pretrained Weight Migration
• Title（参考訳）: ブリッジングKVキャッシュ量子化と線形アテンション:理論から事前制約ウェイトマイグレーションへ
• Abstract要約: KV-cache量子化は個々のKVエントリを離散コードに圧縮するが、全てのエントリを保持する。 線形注意は、複数の歴史的KVコントリビューションを固定サイズの連続状態に繰り返し集約するが、干渉を起こすことがある。 離散アドレス空間上のソフトな割り当てを通してRAM-Netをそのようなブリッジとして識別する。
• 参考スコア（独自算出の注目度）: 11.262593123857995
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: KV-cache quantization and linear attention are two representative approaches to tackling the storage and computational costs of Transformers. KV-cache quantization compresses individual KV entries into discrete codes but retains all entries, whereas linear attention recurrently aggregates multiple historical KV contributions into a fixed-size continuous state but can introduce interference. This contrast raises the question of whether per-KV compression and multi-KV aggregation can be bridged within a single mechanism for efficient attention. We identify RAM-Net as such a bridge through soft assignments over a discrete address space. These assignments determine recurrent updates to the continuous slot state associated with each address. Under a restricted RAM-Net construction, we prove that soft address assignments extend hard quantized matching to a separable read-write overlap that locally approximates full-attention similarity and supports recurrent aggregation. These connections further enable Transformer-to-RAM-Net weight migration through a new path based on a soft-quantized intermediate construction. Across nine pretrained Transformer models from 0.3B to 7B parameters, RAM-Net recovers an average of 87.1% of the teachers' accuracy gains over random guessing across six commonsense and knowledge tasks using only a 500M-token budget per model.
• Abstract（参考訳）: KV-cache量子化と線形アテンションは、トランスフォーマーの記憶と計算コストに取り組むための2つの代表的なアプローチである。 KV-cache量子化は個々のKVエントリを離散コードに圧縮するが、すべてのエントリを保持する。 このコントラストは、KVごとの圧縮とマルチKV集約を1つのメカニズムにブリッジして効率よく注目できるかどうかという問題を提起する。 離散アドレス空間上のソフトな割り当てを通してRAM-Netをそのようなブリッジとして識別する。 これらの割り当ては、各アドレスに関連付けられた連続したスロット状態に対する繰り返し更新を決定する。 制限されたRAM-Net構成の下では、ソフトアドレス代入がハード量子化マッチングを分離可能なリード-ライトオーバーラップに拡張し、局所的にフルアテンション類似性を近似し、繰り返しアグリゲーションをサポートすることを示す。 これらの接続により、Transformer-to-RAM-Net の重み付けが、ソフト量子化中間構造に基づく新しい経路を移動できるようになる。 0.3Bから7Bパラメータの9つの事前訓練されたトランスフォーマーモデルの中で、RAM-Netは教師の精度の87.1%を、500Mの予算しか使っていない6つのコモンセンスと知識タスクのランダムな推測よりも回収する。

関連論文リスト

• Interface-Aware KV Cache Quantization for Dense On-Chip NVM in Long-Context LLM Decoding [5.984068900226547]
  キーバリュー(KV)キャッシュは、Long-context Large Language Model(LLM)デコードにおいて、主要なメモリボトルネックである。 既存のKV量子化法はGPUスタイルのメモリシステムのために設計された。 本稿では,KVキャッシュが固定レンジコンバータの背後にNVM内に存在する場合のコストについて検討する。
  論文  参考訳（メタデータ） (2026-09-04T22:58:21Z)
• SemKV: Semantic Mixed-Precision KV Cache Quantization Guided by the Quality Cliff for Long-Context LLM Inference [3.2938220347051175]
  分数ビットグリッド上の均一なKV量子化は、優雅に分解されないことを示す。 本稿では,アフィンベースを歪み最適化量子化器 (TurboQuant-MSE) に置き換えることによって,テスト対象のプロトコルの崖を突破することを示す。
  論文  参考訳（メタデータ） (2026-08-28T22:19:47Z)
• PuzzleKV: Page-Wise Low-Rank Decomposition for KV Cache Compression [6.397490960170785]
  PuzzleKVは大規模言語モデルの低ランク圧縮法である。 各層とKVヘッド内のページを分解し、高密度で分解されたページに直接注意を計算し、新たに利用可能なページを漸進的に圧縮する。 評価されたモデルとすべてのベンチマーク設定で、フルKVパフォーマンスの96%以上を達成する。
  論文  参考訳（メタデータ） (2026-08-24T21:30:11Z)
• TriAxialKV: Toward Extreme Low-Precision KV-Cache Quantization for Agentic Inference Tasks [20.031258206130154]
  エージェントワークロードのための新しい混合精度KV-cache量子化スキームであるTriAxialKVを紹介する。 我々は、キャリブレーション、混合精度量子化、メモリ管理を含むエンドツーエンドサービスシステムとしてTriAxialKVを実装した。
  論文  参考訳（メタデータ） (2026-05-16T21:58:28Z)
• KV-Fold: One-Step KV-Cache Recurrence for Long-Context Inference [9.84177443010824]
  KV-Foldは、キー値(KV)キャッシュを列チャンク上の左折り重なりのアキュムレータとして扱う、トレーニング不要な長文推論プロトコルである。 各ステップで、モデルは蓄積されたキャッシュに条件付けられた次のチャンクを処理し、新しく生成されたキーと値を付加し、拡張されたキャッシュを前方に渡す。 Llama-3.1-8Bでは、16Kから128Kのトークンのコンテキストにまたがる152のトライアルで100%の正確なマッチ検索を実現し、単一の40GB GPUのメモリ制限内に留まっている。
  論文  参考訳（メタデータ） (2026-05-12T17:53:47Z)
• LoRC: Low-Rank Compression for LLMs KV Cache with a Progressive Compression Strategy [59.1298692559785]
  キーバリュー(KV)キャッシュは、トランスフォーマーベースの自己回帰型大言語モデル(LLM)を提供する上で重要なコンポーネントである。 この問題を緩和するためのアプローチとしては、(1) アップサイクルステージに統合された効率的な注意変動、(2) テスト時のKVキャッシュ圧縮、(3) テスト時のKVキャッシュ圧縮がある。 そこで我々は,KV重み行列の低ランク近似を提案し,モデル再学習なしに既存のトランスフォーマーベースLCMとのプラグイン統合を実現する。 本手法は,テスト段階におけるアップサイクリング段階のモデルチューニングやタスク固有のプロファイリングを伴わずに機能するように設計されている。
  論文  参考訳（メタデータ） (2024-10-04T03:10:53Z)
• ThinK: Thinner Key Cache by Query-Driven Pruning [63.13363917871414]
  大規模言語モデル(LLM)は自然言語処理の分野に革命をもたらし、様々なアプリケーションで前例のない性能を達成した。 本稿では,KVキャッシュのメモリ消費の非効率性に対処する長文シナリオに焦点を当てた。 我々は,最小のチャネルを選択的に切断しながら,注目重量損失を最小限に抑える新しいクエリ依存型KVキャッシュプルーニング手法であるThinKを提案する。
  論文  参考訳（メタデータ） (2024-07-30T17:59:08Z)
• LoCoCo: Dropping In Convolutions for Long Context Compression [77.26610232994508]
  本稿では,Long Context Compression(LoCoCo)のための新しいアプローチであるDropping In Convolutionsを提案する。 LoCoCoは、固定サイズキーバリュー(KV)キャッシュのみを使用し、推論と微調整の両方のステージで効率を向上させることができる。
  論文  参考訳（メタデータ） (2024-06-08T01:35:11Z)
• KVQuant: Towards 10 Million Context Length LLM Inference with KV Cache Quantization [67.74400574357472]
  LLMは、大きなコンテキストウィンドウを必要とするアプリケーションでの利用が増えており、この大きなコンテキストウィンドウでは、KVキャッシュのアクティベーションが推論時のメモリ消費の主要な要因として表面化している。 量子化はKVキャッシュのアクティベーションを圧縮する上で有望な手法であるが、既存のソリューションは4ビット以下の精度でアクティベーションを正確に表現できない。 我々の研究であるKVQuantは、いくつかの新しい手法を取り入れることで、低精度のKVキャッシュ量子化を容易にする。
  論文  参考訳（メタデータ） (2024-01-31T18:58:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。