論文の概要: Lynx: Progressive Speculative Quantization for accelerating KV Transfer in Long-Context Inference

• arxiv url: http://arxiv.org/abs/2607.01831v1
• Date: Thu, 02 Jul 2026 07:52:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-03 19:45:08.736178
• Title: Lynx: Progressive Speculative Quantization for accelerating KV Transfer in Long-Context Inference
• Title（参考訳）: Lynx: 長期推論におけるKV転送促進のためのプログレッシブな投機量子化
• Abstract要約: 長文推論は、検索拡張生成とエージェントシステムによって駆動される大規模言語モデル(LLM)において、ますます一般的になっている。 近年のKV量子化技術はデータ量を削減し、このボトルネックを軽減するが、既存のスキームでは低レイテンシと高い推論精度を達成できない。 我々は、KVキャッシュを、最も重要なビットを持つ高優先度アンカーストリームと、残りの精度を持つ低優先度残留ストリームに分割することで、プログレッシブな分割ストリームKV転送を可能にするLynxを提案する。
• 参考スコア（独自算出の注目度）: 1.9857559596234147
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Long-context inference is increasingly common in large language model (LLM) serving, driven by retrieval-augmented generation and agentic systems. In disaggregated inference, these workloads require transferring large Key-Value (KV) caches across the network, where decoding cannot begin until the transfer completes. Recent KV quantization techniques reduce data volume and alleviate this bottleneck, but existing schemes fail to achieve both low network-exposed latency and high inference accuracy. We challenge the assumption that the KV cache is an indivisible unit that must be fully received before use. We leverage the observation that different bits in the KV cache contribute unequally to attention computation and inference precision: the most significant bits capture the coarse structure of attention and the least significant bits refine precision. This property enables partial use of the KV cache during decoding. We present Lynx, a system that enables progressive, split-stream KV transfer by partitioning the KV cache into a high-priority Anchor stream carrying the most significant bits and a low-priority Residual stream carrying remaining precision. Decoding begins upon receipt of the Anchor stream and proceeds speculatively while the Residual stream is transferred concurrently, followed by verification that ensures equivalence to higher-precision decoding. Across multiple models and serving workloads, Lynx achieves Time-to-First-Token (TTFT) comparable to aggressive 4-bit KV quantization, while matching the accuracy of high-precision (BF16) inference, improving TTFT over standard 8-bit KV quantization by up to $1.43\times$ and improving accuracy over state-of-the-art by up to $5.1\%$.
• Abstract（参考訳）: 長文推論は、検索拡張生成とエージェントシステムによって駆動される大規模言語モデル(LLM)において、ますます一般的になっている。 分離された推論では、これらのワークロードはネットワーク全体にわたって大きなキーバリュー(KV)キャッシュを転送する必要がある。 近年のKV量子化技術はデータ量を削減し、このボトルネックを軽減するが、既存のスキームでは低レイテンシと高い推論精度を達成できない。 KVキャッシュは、使用前に完全に受信しなければならない分割不可能なユニットである、という仮定に挑戦する。 我々は、KVキャッシュ内の異なるビットが注意計算や推論精度に不等に寄与しているという観察を活用し、最も重要なビットは注意の粗い構造を捉え、最小のビットは精度を向上する。 この特性により、デコード中にKVキャッシュを部分的に使用することができる。 我々は、KVキャッシュを、最も重要なビットを持つ高優先度アンカーストリームと、残りの精度を持つ低優先度残留ストリームに分割することで、プログレッシブな分割ストリームKV転送を可能にするLynxを提案する。 デコーディングはAnchorストリームの受信時に始まり、Residualストリームが同時に転送される間、投機的に進行する。 複数のモデルとサービスワークロードにわたって、Lynxは攻撃的な4ビットKV量子化に匹敵するTTFT(Time-to-First-Token)を達成し、高精度(BF16)推論の精度を一致させ、標準8ビットKV量子化よりもTTFTを最大1.43\times$で改善し、最先端技術の精度を最大5.1\%$で改善した。

関連論文リスト

• CateKV: On Sequential Consistency for Long-Context LLM Inference Acceleration [67.17709877327232]
  ケイトKVは、一貫したヘッドに対して重要なトークン情報のみを保持するハイブリッドKVキャッシュ方式である。 Cate KV はメモリ使用量を最大$2.72 times$に減らし、シングルサンプル入力で$2.18times$に減らした。
  論文  参考訳（メタデータ） (2026-08-31T06:02:37Z)
• DepthWeave-KV: Token-Adaptive Cross-Layer Residual Factorization for Long-Context KV Cache Compression [0.0]
  DepthWeave-KVはトークン適応型キャッシュ圧縮手法で、近隣のトランスフォーマー層にまたがるキーと値の状態を分解する。 DepthWeave-KVは、メモリ使用量を大幅に削減した、ほぼ完全なタスク品質を実現する。
  論文  参考訳（メタデータ） (2026-07-07T17:29:01Z)
• Towards Joint Quantization and Token Pruning of Vision-Language Models [53.978753457744055]
  トークンプルーニングと低ビット量子化は、推論コストの削減を補完する。 我々は、低ビット推論と決定論的視覚トーケンプルーニングを統一する協調量子化&プルーニングフレームワークを提案する。 標準VLMベンチマークの実験では、同じ低ビット状態下でのステージワイドベースラインよりもロバスト性が改善された。
  論文  参考訳（メタデータ） (2026-04-19T08:18:29Z)
• RelayCaching: Accelerating LLM Collaboration via Decoding KV Cache Reuse [5.597099794399441]
  RelayCachingはトレーニング不要な推論手法で、前のエージェントから復号フェーズKVキャッシュを直接再利用する。 RelayCachingは80%以上のKVキャッシュの再利用を実現し、TTFTを標準パイプラインと比較して最大4.7倍のコストで削減できることを示す。
  論文  参考訳（メタデータ） (2026-02-28T04:46:28Z)
• XQuant: Achieving Ultra-Low Bit KV Cache Quantization with Cross-Layer Compression [54.28208936996186]
  大規模言語モデル(LLM)は、様々な自然言語処理タスクにまたがる顕著な機能を示している。 量子化は、歴史的情報を保持しながらメモリ消費を減らすための有望な解決策として現れてきた。 超低等価ビット幅KVキャッシュ量子化を実現するトレーニングフリーでプラグアンドプレイのフレームワークであるXQuantを提案する。
  論文  参考訳（メタデータ） (2025-10-13T10:17:21Z)
• PatternKV: Flattening KV Representation Expands Quantization Headroom [37.83913102876393]
  自己回帰 LLM における KV キャッシュは冗長な再計算を排除しているが、推論時に支配的なメモリと帯域幅のボトルネックとして出現している。 KV量子化はキャッシュコストを削減するキーレバーであるが、ネイティブなKV分布が平坦性に欠けるため、精度は急激に低下する。 Kキャッシュは、コンテキストとともに徐々に進化する安定した構造を維持し、Vキャッシュは潜在意味規則性を持つことを示す。
  論文  参考訳（メタデータ） (2025-10-05T12:09:14Z)
• NQKV: A KV Cache Quantization Scheme Based on Normal Distribution Characteristics [6.048883141729117]
  大規模言語モデル(LLM)は、幅広いタスクにまたがる卓越した習熟度を示してきた。 LLMは、スループットを高めるためにより大きなバッチサイズを必要とすることや、タスク要求を満たすために長いコンテキスト長を必要とすることも多い。
  論文  参考訳（メタデータ） (2025-05-22T04:23:19Z)
• KVCrush: Key value cache size-reduction using similarity in head-behaviour [40.792661186062396]
  大規模言語モデル(LLM)における推論を高速化する重要な最適化手法としてキーバリューキャッシュ(KV)が登場している。 しかしながら、KVのメモリフットプリントは、モデルのバッチサイズに直接影響を与えるモデルデプロイメントにおいて、大きなボトルネックとなります。 我々は,KVCrushと多くのKV圧縮技術を組み合わせることで,より小さなメモリでモデル精度を向上させることを提案する。
  論文  参考訳（メタデータ） (2025-02-24T02:57:51Z)
• QuantSpec: Self-Speculative Decoding with Hierarchical Quantized KV Cache [67.84112700032007]
  大きな言語モデル(LLM)は、長いコンテキスト設定のためにエッジデバイスにデプロイされることが増えている。 これらのシナリオでは、キーバリュー(KV)キャッシュがGPUメモリとレイテンシの両方において主要なボトルネックとなっている。 そこで本研究では,ターゲットモデルのアーキテクチャを共有するが,階層的な4ビット量子化KVキャッシュと4ビット量子化重みを併用して高速化を行う,新たな自己推論型デコーディングフレームワークであるQuantSpecを提案する。
  論文  参考訳（メタデータ） (2025-02-05T20:43:48Z)
• FastKV: KV Cache Compression for Fast Long-Context Processing with Token-Selective Propagation [14.33163594016033]
  大規模言語モデル(LLM)は、かなりのプリフィル計算とキー値(KV)キャッシュを必要とする。 KVキャッシュをプレフィルアクセラレーションで圧縮する最近の作業は、このコストを低減しているが、誤ってプリフィル計算の削減をデコードKV予算に結び付ける。 FastKVはKVキャッシュ圧縮フレームワークで、プリフィルとデコードの両方の遅延を減らし、後のレイヤでのトークンの重要性の安定化を活用する。
  論文  参考訳（メタデータ） (2025-02-03T05:25:09Z)
• More Tokens, Lower Precision: Towards the Optimal Token-Precision Trade-off in KV Cache Compression [71.42818367729573]
  大規模言語モデル(LLM)では、KVキャッシュのメモリ使用量は推論において重大なボトルネックとなっている。 KVプルーニングやKV量子化を含む主流のKV圧縮法は、主にトークンまたは精度寸法を別々に扱う。 本稿では,KVキャッシュ圧縮におけるトークン精度トレードオフを包括的に検討する。
  論文  参考訳（メタデータ） (2024-12-17T09:20:31Z)
• PrefixKV: Adaptive Prefix KV Cache is What Vision Instruction-Following Models Need for Efficient Generation [97.41972925670508]
  大規模視覚言語モデル(LVLM)は、推論中に重要な計算とメモリオーバーヘッドを引き起こす。 ここでは、PrefixKVについて述べる。ここでは、Prefixは、元のシーケンスの位置ではなく、重要度に基づいて、上位ランクのKVを意味する。 本手法は他の手法と比較して最先端の性能を実現する。
  論文  参考訳（メタデータ） (2024-12-04T15:48:59Z)
• ThinK: Thinner Key Cache by Query-Driven Pruning [63.13363917871414]
  大規模言語モデル(LLM)は自然言語処理の分野に革命をもたらし、様々なアプリケーションで前例のない性能を達成した。 本稿では,KVキャッシュのメモリ消費の非効率性に対処する長文シナリオに焦点を当てた。 我々は,最小のチャネルを選択的に切断しながら,注目重量損失を最小限に抑える新しいクエリ依存型KVキャッシュプルーニング手法であるThinKを提案する。
  論文  参考訳（メタデータ） (2024-07-30T17:59:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。