論文の概要: SparPR: Runtime KV-Cache Recovery for Resource-Constrained LLM Inference on Consumer Hardware
- arxiv url: http://arxiv.org/abs/2610.18140v1
- Date: Tue, 13 Oct 2026 10:47:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-17 07:13:36.90866
- Title: SparPR: Runtime KV-Cache Recovery for Resource-Constrained LLM Inference on Consumer Hardware
- Title（参考訳）: SparPR: リソース制約付きLLM推論のためのコンシューマハードウェア上でのKVキャッシュのリカバリ
- Abstract要約: SparPRは、モデルウェイトを変更せず、オフライントレーニングを必要としないKV-cacheリカバリメカニズムである。
エンドツーエンドのレイテンシを31%,52%,63%,1k,2k,4kの各プロンプトトークンで削減し,スループットは1.4x-2.7倍になった。
8k-tokenのワークロードを44分で完了し、FlexGenのベースラインがタイムアウトする。
- 参考スコア（独自算出の注目度）: 1.8037873691445556
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Running large language models (LLMs) on consumer hardware is bottlenecked by the key-value (KV) cache, which grows with every decoded token and quickly exhausts the memory and bandwidth of a single consumer GPU. We present SparPR (Sparse Partial Recomputation), a runtime KV-cache recovery mechanism that does not modify model weights and requires no offline training. SparPR couples three online decisions: Query-Aware key-block selection scores historical blocks against the current query; dynamic budget control estimates per-block copy and recompute costs to decide how many blocks to retain; and on-demand local recomputation with cost-aware fallback merges retained blocks into continuous spans and switches between sparse recomputation and full recovery according to a runtime cost comparison. Implemented on FlexGen/FlexLLMGen, SparPR is evaluated on a single consumer laptop (RTX 3070 Ti 8GB, Ryzen 9 6900HX, 16GB RAM). It cuts end-to-end latency by 31%, 52%, and 63% at 1k, 2k, and 4k prompt tokens respectively, with 1.4x-2.7x higher throughput, and completes an 8k-token workload in 44 minutes where the FlexGen baseline times out. Under a fixed cache budget, SparPR retains a Needle Accuracy that stays well above StreamingLLM and H2O at every keep ratio, and ablation studies confirm that the three mechanisms act jointly.
- Abstract（参考訳）: コンシューマハードウェア上での大規模言語モデル(LLM)の実行は、キー値(KV)キャッシュによってボトルネックとなる。
SparPR(Sparse partial Recomputation)は,モデル重みを変更せず,オフライントレーニングを必要としないランタイムKVキャッシュ回復機構である。
クエリ対応キーブロック選択は、現在のクエリに対して履歴ブロックをスコアする 動的予算制御では、保持するブロック数を決定するためにブロック単位のコピーと再計算のコストを見積もる コスト対応フォールバックによるオンデマンドローカル再計算では、保持されたブロックを連続スパンにマージし、スパース再計算とフルリカバリをランタイムコスト比較で切り替える 。
FlexGen/FlexLLMGenで実装されたSparPRは、単一の消費者向けラップトップ(RTX 3070 Ti 8GB、Ryzen 9 6900HX、16GB RAM)で評価される。
エンドツーエンドのレイテンシを31%,52%,63%,1k,2k,4kのプロンプトトークンでそれぞれ削減し,1.4x-2.7倍のスループットを実現した。
固定キャッシュの予算の下では、SparPRはStreamingLLMとH2Oよりずっと高い精度を維持しており、アブレーション研究は3つのメカニズムが共同で動作することを確認している。
関連論文リスト
- Cache the Encoder Within:Compact, Reusable Memory across LLM Queries [8.513400393183987]
CoMemの中間状態インタフェース上に構築されたEncBankは、その出力を適応された上位層リーダーにコンパクトに格納する。
自己蒸留サフィックスアダプタは、量子化固有のリトレーニングなしで、各バックボーン内の記憶精度で共有される。
ネイティブ精度のQwen3.8-27B構成も89のターミナルベンチ2.1タスクのうち70タスクをパスしている。
論文 参考訳（メタデータ） (2026-10-07T13:28:25Z) - An Empirical Cost Attribution of Context-Compression Gateways in Multi-Turn Coding Agents [0.9689471757238836]
符号化エージェント (Claude Code, Codex) とフロンティア LLM (Claude Sonnet, GPT-5) 間の生産圧縮ゲートウェイ (Paritok) を実装。
実際のセッションのトークン請求書を3つの独立したレバーに分解する。ツールスキーマフィルタリング、ファイル読み込みとツール出力のコンテンツ圧縮、履歴要約である。
強力なシングルショット圧縮ベンチマーク - SWEベンチの品質の86.5%が25.7%の圧縮速度で維持されており、このゲートウェイがデプロイするモデルによって達成されている - はマルチターンエージェントのコストであり、コスト削減の議論として言及されてはならない。
論文 参考訳（メタデータ） (2026-08-19T07:43:01Z) - Back from the Future: Key-Value Cache Management by Counter-Causal Surprise [67.1056509495879]
近年,キーバリュー(KV)キャッシュ管理が重要な研究方向として注目されている。
より最近のトークンからよく予測できる過去のトークンは冗長である,という洞察に動機づけられた,単純かつ効果的なKV消去スキームを提案する。
我々は,他の最先端手法と比較して,競争力や性能向上を示す各種オープンソースLCMとベンチマークデータセットについて,我々の戦略を評価した。
論文 参考訳（メタデータ） (2026-07-30T02:42:51Z) - Make Each Token Count: Towards Improving Long-Context Performance with KV Cache Eviction [65.710271475739]
我々は,各トークンの将来のユーティリティを統一メモリ予算の下で学習する,グローバルな保持に基づくKV消去手法を提案する。
提案手法は,フルキャッシュ推論に適合したり,超えたりしながら,KVメモリを大幅に削減することを示す。
これらの結果から,世界規模で校正されたKV消去は圧縮技術であるだけでなく,長文推論を改善するメカニズムでもあることが示唆された。
論文 参考訳（メタデータ） (2026-05-10T16:47:50Z) - SparKV: Overhead-Aware KV Cache Loading for Efficient On-Device LLM Inference [8.037785679532316]
SparKVは、クラウドベースのKVストリーミングとオンデバイス計算を組み合わせた、適応的なKVローディングフレームワークである。
また,SparKVは,リクエスト毎のエネルギー消費を1.5倍から3.3倍に抑えつつ,応答品質に無視できる影響を与えながら,第1次から第1次までの時間を1.3$x-5.1x削減することを示した。
論文 参考訳（メタデータ） (2026-04-23T02:55:31Z) - Joint Encoding of KV-Cache Blocks for Scalable LLM Serving [3.3230675313521716]
既存のKV-cache圧縮手法は剛性に依存し、テンソルレイアウトを乱したり、特別な計算を必要とする。
KV-cacheブロックの連成符号化を提案し、要求と入力チャンクに類似したブロックを融合して共有表現を生成する。
これにより、KV-cacheメモリのボトルネックが軽減され、特別なハードウェアを使わずに高コンカレンシー機能をサポートする。
論文 参考訳（メタデータ） (2026-01-06T14:50:58Z) - CXL-SpecKV: A Disaggregated FPGA Speculative KV-Cache for Datacenter LLM Serving [5.216774377033164]
大規模言語モデル(LLM)は自然言語処理タスクに革命をもたらした。
LLMはキー値(KV)キャッシュの大規模なメモリ要求のため、課題に直面している。
我々は,新しい分散KV-cacheアーキテクチャである textbfCXL-SpecKV を提案する。
論文 参考訳（メタデータ） (2025-12-11T15:40:36Z) - XQuant: Breaking the Memory Wall for LLM Inference with KV Cache Rematerialization [58.92253769255316]
LLM推論はメモリフットプリントと帯域幅の要求のために困難である。
XQuantは、ハードウェアプラットフォームの急速に増加する計算能力を利用して、メモリボトルネックを取り除く。
XQuant-CLは、極端な圧縮のためにX埋め込みの層間類似性を利用する。
論文 参考訳（メタデータ） (2025-08-14T06:52:38Z) - QuantSpec: Self-Speculative Decoding with Hierarchical Quantized KV Cache [67.84112700032007]
大きな言語モデル(LLM)は、長いコンテキスト設定のためにエッジデバイスにデプロイされることが増えている。
これらのシナリオでは、キーバリュー(KV)キャッシュがGPUメモリとレイテンシの両方において主要なボトルネックとなっている。
そこで本研究では,ターゲットモデルのアーキテクチャを共有するが,階層的な4ビット量子化KVキャッシュと4ビット量子化重みを併用して高速化を行う,新たな自己推論型デコーディングフレームワークであるQuantSpecを提案する。
論文 参考訳（メタデータ） (2025-02-05T20:43:48Z) - vTensor: Flexible Virtual Tensor Management for Efficient LLM Serving [53.972175896814505]
大規模言語モデル(LLM)は様々なドメインで広く使われ、数百万の日次要求を処理する。
大規模言語モデル(LLM)は様々なドメインで広く使われ、数百万の日次要求を処理する。
論文 参考訳（メタデータ） (2024-07-22T14:37:58Z) - KIVI: A Tuning-Free Asymmetric 2bit Quantization for KV Cache [67.9776980972508]
我々はKIVIというチューニング不要な2ビットKVキャッシュ量子化アルゴリズムを開発した。
KIVI は Llama, Falcon, Mistral のモデルを $mathbf2.6times$ less peak memory を使用しながらほぼ同じ品質を維持することができる。
論文 参考訳（メタデータ） (2024-02-05T06:06:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。