論文の概要: KV-Rescue: Recovering Reasoning Language Model KV Eviction Loss via Stepwise Interleaving

• arxiv url: http://arxiv.org/abs/2608.15797v1
• Date: Sun, 16 Aug 2026 15:23:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-18 19:59:03.426226
• Title: KV-Rescue: Recovering Reasoning Language Model KV Eviction Loss via Stepwise Interleaving
• Title（参考訳）: KV-Rescue:ステップワイドインターリービングによる推論言語モデルKV消去損失の回復
• Abstract要約: KV-cache消去は、長い推論トレースのメモリコストを抑えるが、モデルが歴史の部分的なビューからデコードされるため、本質的に損失がある。 KV-Rescueは,KVによる情報ギャップを橋渡しする学習自由推論フレームワークである。 KV-Rescueは、補正予算B=64で失った精度の87%を回収する。
• 参考スコア（独自算出の注目度）: 7.553569483953289
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: KV-cache eviction caps the memory cost of long reasoning traces but is inherently lossy because the model decodes from a partial view of its history. Under aggressive budgets, this not only lowers accuracy but can also cause runaway degeneration, where the model produces incoherent or repetitive tokens until reaching the length limit. We characterize much of this loss as an information gapf caused by missing context, rather than a capability gap caused by limited model capacity. An evicted 7B model and a full-context 1.5B model make complementary errors, and an oracle choice between their answers recovers 79% of the accuracy gap to the full-KV 7B model. Based on this observation, we propose KV-Rescue, a training-free inference framework that bridges the information gap introduced by KV eviction using a lightweight full-context helper. KV-Rescue interleaves reasoning steps from the two models into a shared trajectory. An online detector uses entropy and compressibility to terminate the generation of incoherent or repetitive base-model candidates early. Across five math benchmarks with Qwen2.5-Math 7B and 72B, KV-Rescue recovers an average of 87% of the accuracy lost to eviction at eviction budget B=64. A decode-cost analysis further shows that preventing runaway degeneration cuts base-model token generation by 43% on average.
• Abstract（参考訳）: KV-cache消去は、長い推論トレースのメモリコストを抑えるが、モデルが歴史の部分的なビューからデコードされるため、本質的に損失がある。 攻撃的な予算の下では、これは精度を低下させるだけでなく、モデルが長さ制限に達するまで不整合または繰り返しトークンを発生させる暴走劣化を引き起こす可能性がある。 この損失の多くは、限られたモデルキャパシティによって引き起こされる能力のギャップよりも、コンテキストの欠如によって引き起こされる情報ギャップとして特徴づけられる。 除去された7Bモデルとフルコンテキスト1.5Bモデルは相補的なエラーを発生し、回答間のオラクル選択はフルKV 7Bモデルに対する精度ギャップの79%を回復する。 そこで本研究では,KV-Rescueを提案する。KV-Rescueは,KV消去によって導入された情報ギャップを,軽量のフルコンテキストヘルパを用いてブリッジする学習自由推論フレームワークである。 KV-レスキューは2つのモデルから共通の軌道への推論ステップをインターリーブする。 オンライン検出器はエントロピーと圧縮性を使用して、不整合または反復的なベースモデル候補の生成を早期に終了する。 Qwen2.5-Math 7B と 72B の 5 つのベンチマークで、KV-Rescue は、補正予算 B=64 で失った精度の 87% を回復する。 さらに,脱コードコスト分析により,脱走防止により,ベースモデルトークン生成が平均43%削減された。

関連論文リスト

• A Universal Context-Reuse Layer for Cross-Model KV Sharing [7.914652203965336]
  我々は、ソースモデルによって生成されたKV状態を異なるターゲットモデルによって消費される表現に変換するエンフクロスモデルKV共有について検討する。 Qwen2.5-7B$rightarrow$ Qwen2.5-1.5Bの場合、翻訳されたKV状態はLongBench2の精度を27.59%から34.48%に改善し、ネイティブ1.5Bベースラインよりも6.89ポイント向上した。 クロスファミリーQwen2.5-1.5B$rightarrow$ Gemma-2-2B設定の場合、KVハンドオフは目標側のプリフィルコストを削減します。
  論文  参考訳（メタデータ） (2026-08-31T15:28:17Z)
• A Probabilistic Interpretation of KV Cache Eviction [52.196873305708955]
  キャッシュ消去は、KVキャッシュからいくつかのエントリを削除することで、より高いスループットを達成することができる。 本稿では,確率論的推論のレンズによるKV放出問題の定式化を行う。 この確率的バージョンのKV消去と復号時間補正は、異なるタスクに対してより堅牢であることを示す。
  論文  参考訳（メタデータ） (2026-08-28T12:57:07Z)
• KVpop -- Key-Value Cache Compression with Predictive Online Pruning [22.664867330302517]
  我々は,KVpopを導入する。これは,固定予算のKV消去ポリシーを,直接監視することで学習する。 スコアラーは、高密度の注意マップを具体化せずに効率的に計算される、新しい未来の注意対象に対して訓練される。 KVpopは、Qwen3-4Bのフルアテンション性能の98%を75% KVキャッシュ圧縮で、97%を88%圧縮で維持し、確立されたエビクションベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2026-07-06T13:32:34Z)
• Make Each Token Count: Towards Improving Long-Context Performance with KV Cache Eviction [65.710271475739]
  我々は,各トークンの将来のユーティリティを統一メモリ予算の下で学習する,グローバルな保持に基づくKV消去手法を提案する。 提案手法は,フルキャッシュ推論に適合したり,超えたりしながら,KVメモリを大幅に削減することを示す。 これらの結果から,世界規模で校正されたKV消去は圧縮技術であるだけでなく,長文推論を改善するメカニズムでもあることが示唆された。
  論文  参考訳（メタデータ） (2026-05-10T16:47:50Z)
• When Hidden States Drift: Can KV Caches Rescue Long-Range Speculative Decoding? [19.77569541429818]
  投機的復号化はLLM推論を加速させるが、SOTAの隠れ状態に基づく起草者は長距離減衰に悩まされる。 我々はコンテキスト情報保存の観点から長距離減衰を再考する。 KVShotは3つの再利用パラダイムを比較する診断フレームワークである。
  論文  参考訳（メタデータ） (2026-04-29T08:25:01Z)
• Towards Joint Quantization and Token Pruning of Vision-Language Models [53.978753457744055]
  トークンプルーニングと低ビット量子化は、推論コストの削減を補完する。 我々は、低ビット推論と決定論的視覚トーケンプルーニングを統一する協調量子化&プルーニングフレームワークを提案する。 標準VLMベンチマークの実験では、同じ低ビット状態下でのステージワイドベースラインよりもロバスト性が改善された。
  論文  参考訳（メタデータ） (2026-04-19T08:18:29Z)
• ForesightKV: Optimizing KV Cache Eviction for Reasoning Models by Learning Long-Term Contribution [84.41751286055909]
  我々は、長文世代におけるどのKVペアを退避させるかを予測する訓練ベースのKVキャッシュ消去フレームワークを開発した。 我々は、マルコフ決定過程としてキャッシュ消去を定式化し、GRPOアルゴリズムを適用し、低エントロピートークンにおける言語モデリング損失の増加を緩和する。
  論文  参考訳（メタデータ） (2026-02-03T07:16:51Z)
• CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
  検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。 エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。 CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
  論文  参考訳（メタデータ） (2025-12-22T16:34:21Z)
• SkipKV: Selective Skipping of KV Generation and Storage for Efficient Inference with Large Reasoning Models [25.509962883211]
  大きな推論モデル(LRM)は、チェーン・オブ・ソート(CoT)推論プロセスで線形に成長するため、重要なキー値(KV)キャッシュのオーバーヘッドがかかることが多い。 粗い文レベルのシーケンスを除去するKV圧縮手法である textbfSkipKV を提案する。
  論文  参考訳（メタデータ） (2025-12-08T19:32:06Z)
• R-KV: Redundancy-aware KV Cache Compression for Reasoning Models [77.84539432982307]
  共振モデル(R-KV)のための冗長性を考慮したKVキャッシュ圧縮を提案する。 R-KVはKVキャッシュの10%しか使用せず、完全なKVキャッシュ性能のほぼ100%を保っている。 驚くべきことに、R-KVは完全なKVキャッシュ性能の105%を達成し、KVキャッシュの16%を達成している。
  論文  参考訳（メタデータ） (2025-05-30T02:03:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。