論文の概要: RaReCache: Bridging the Gap in Cross-Model KV Cache Reuse via Rank disagreement-based Selective Recomputation
- arxiv url: http://arxiv.org/abs/2610.11358v1
- Date: Thu, 08 Oct 2026 06:49:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-10 02:36:53.844916
- Title: RaReCache: Bridging the Gap in Cross-Model KV Cache Reuse via Rank disagreement-based Selective Recomputation
- Title（参考訳）: RaReCache: ランク不一致に基づく選択再計算によるクロスモデルKVキャッシュ再利用におけるギャップのブリッジ
- Abstract要約: クロスモデル KV-cache の再利用は現代の LLM サービスにおいて重要な課題である。
最近の研究によると、閉形式線形写像は同じ家系のモデル間でKVキャッシュを変換できるが、モデルサイズのギャップが広がるにつれて転送精度は低下する。
より小さなソースでプリフィルされたキャッシュから、大きなターゲットモデルを正確にデコードできるフレームワークであるRaReCacheを紹介します。
- 参考スコア（独自算出の注目度）: 17.413769482487933
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Cross-model KV-cache reuse remains a key challenge in modern LLM serving. Coding agents and multi-model systems increasingly route a shared context across models: a user may switch models mid-session, or a cascade may escalate a difficult query. Because KV caches contain model-specific representations, each switch typically forces the receiving model to prefill the entire context from scratch. Recent work shows that closed-form linear maps can translate KV caches between models in the same family, but transfer accuracy degrades as the model-size gap widens. In this paper, we establish that these transfer failures are concentrated in a small subset of information-dense tokens. To bridge this gap, we introduce RaReCache, a framework that enables a large target model to decode accurately from a cache prefilled by a much smaller source via selective recomputation. RaReCache identifies these critical positions using a novel rank disagreement metric, scoring each token by the energy of its mapped KV in output directions weakly supported by the calibration data. Across two model families and five benchmarks, on a 23x parameter gap (Qwen3-0.6B to 14B) recomputing just 30% of positions retains 95-99% of the target accuracy, whereas on a 8.8x gap (Llama3-8B to 70B), recomputing 40% retains 96.5% of the target accuracy. RaReCache largely removes sensitivity to source-model size, and achieves up to a 3.04x prefill speedup. For online serving, it handles 1.8x the request throughput of target prefill on a single GPU, and at the target's saturation load, reduces median and 99th-percentile time-to-first-token (TTFT) by 5.0x and 6.4x respectively, with a 30% recompute budget. RaReCache establishes an efficient serving paradigm where small models prefill on behalf of massive targets, enabling large models to recompute only critical tokens, drastically reducing prefill latency.
- Abstract（参考訳）: クロスモデル KV-cache の再利用は現代の LLM サービスにおいて重要な課題である。
コーディングエージェントとマルチモデルシステムは、モデル間で共有コンテキストをルーティングする傾向にある。
KVキャッシュにはモデル固有の表現が含まれているため、各スイッチは通常、受信モデルにコンテキスト全体をスクラッチからプリフィルするよう強制する。
最近の研究によると、閉形式線形写像は同じ家系のモデル間でKVキャッシュを変換できるが、モデルサイズのギャップが広がるにつれて転送精度は低下する。
本稿では、これらの転送障害が、情報密度トークンの小さなサブセットに集中していることを確立する。
このギャップを埋めるために、我々はRaReCacheを紹介します。これは、大きなターゲットモデルを選択的再計算によって、より小さなソースによってプリフィルされたキャッシュから正確にデコードできるフレームワークです。
RaReCacheは、これらの重要な位置を、新しいランクの不一致指標を用いて識別し、それぞれのトークンを、キャリブレーションデータによって弱い支持された出力方向のマップされたKVのエネルギーでスコア付けする。
2つのモデルファミリと5つのベンチマークで、23倍のパラメータギャップ(Qwen3-0.6Bから14B)で、わずか30%の位置が目標精度の95-99%を維持し、一方8.8倍のギャップ(Llama3-8Bから70B)では、40%で目標精度の96.5%を維持している。
RaReCacheはソースモデルサイズに対する感度を大幅に削減し、最大3.04倍のプリフィルスピードアップを実現している。
オンラインサービスでは、単一のGPU上でターゲットプリフィルの要求スループットの1.8倍を処理し、飽和負荷では、中央値と99分の1のタイム・ツー・ファースト・トケン(TTFT)をそれぞれ5.0倍と6.4倍に削減し、30%の計算予算を削減している。
RaReCacheは、大規模なターゲットのために小さなモデルをプリフィルする効率的なサービスパラダイムを確立し、大規模なモデルで重要なトークンのみをリコンプリートし、プリフィルのレイテンシを大幅に削減する。
関連論文リスト
- Learning Functional Subspaces for Neural Network Compression [79.78451551969097]
Learnable Subspace Projections (LSP) は、エンドツーエンドを捨てるためにサブスペースを学習する。
LSPは、小さなバッチサイズで高密度モデルよりも1.6倍高速にデコードする。
論文 参考訳（メタデータ） (2026-09-30T16:47:35Z) - KV-Lingo: Learning KV-Cache Translators with Distillation [29.441743863780136]
KV-Lingoは、ソースモデルのKVキャッシュをターゲットモデルで読み取ることのできるキャッシュに変換する方法である。
蒸留を用いてこれらのマップをトレーニングし、ターゲットモデルの予測と翻訳されたキャッシュとのばらつきを最小化する。
論文 参考訳（メタデータ） (2026-09-26T13:34:19Z) - CacheBridge: Efficient Cross-Model KV Cache Transfer [12.058564378845373]
フルヘッドマッピングは、ターゲットのKVヘッドを各ソースのKVヘッドから選択したレイヤにマッピングすることで、アーキテクチャ上の違いに敏感な転送品質を実現する。
CacheBridgeは、アーキテクチャインデクシングされたマッパーサポート、アテンションアラインなキャリブレーション、バウンダリされたマッパー構築を共同設計する。
Qwen3 $14mathrmBto32mathrmB$では、マッパーストレージを8times$に減らし、アプリケーションを3.0times$に加速し、キャリブレーションデータの10分の1とフルヘッドにマッチし、500シークエンス構築を92.63から8に短縮する。
論文 参考訳（メタデータ） (2026-09-01T08:20:35Z) - A Universal Context-Reuse Layer for Cross-Model KV Sharing [7.914652203965336]
我々は、ソースモデルによって生成されたKV状態を異なるターゲットモデルによって消費される表現に変換するエンフクロスモデルKV共有について検討する。
Qwen2.5-7B$rightarrow$ Qwen2.5-1.5Bの場合、翻訳されたKV状態はLongBench2の精度を27.59%から34.48%に改善し、ネイティブ1.5Bベースラインよりも6.89ポイント向上した。
クロスファミリーQwen2.5-1.5B$rightarrow$ Gemma-2-2B設定の場合、KVハンドオフは目標側のプリフィルコストを削減します。
論文 参考訳（メタデータ） (2026-08-31T15:28:17Z) - Cross-Model KV Cache Transfer in LLM Families: A Closed-Form Linear Mapping for Prefill Reuse [3.9548951874725433]
本稿では,ソースのKVキャッシュを再利用し,プリフィルをスキップするクロスモデルKVキャッシュ転送を提案する。
モデルKVは、ソースとターゲットが共有するKVヘッド数とヘッド次元が一致するような、マッチングされたKV対にまたがる線形構造を持つことがわかった。
このリニアマッパーは4対でレシーバーのスタンドアローンプリフィル精度の73-98%を保持し、2つが急降下する。
論文 参考訳（メタデータ） (2026-08-04T16:26:47Z) - PackCache: A Training-Free Acceleration Method for Unified Autoregressive Video Generation via Compact KV-Cache [61.57938553036056]
トレーニング不要なKVキャッシュ管理手法であるPackCacheを導入し,KVキャッシュを3つの協調機構でコンパクト化する。
効率の面では、PackCacheは48フレームの長いシーケンスで1.7-2.2倍のエンドツーエンド生成を高速化する。
論文 参考訳（メタデータ） (2026-01-07T19:51:06Z) - Progressive Supernet Training for Efficient Visual Autoregressive Modeling [56.15415456746672]
本稿では,パラダイムとフルネットワークの両方の世代品質のフロンティアを突破するトレーニング戦略を提案する。
ImageNetの実験では、事前訓練されたVAR-d30、VARiant-d16、VARiant-d8と比べ、ほぼ同等の品質を実現している。
VARiant-d2は3.5倍のスピードアップと80%のメモリ削減を実現している。
論文 参考訳（メタデータ） (2025-11-20T16:59:24Z) - CacheClip: Accelerating RAG with Effective KV Cache Reuse [8.016679032026824]
CacheClipは、高速TTFTとハイジェネレーション品質の両方を実現する新しいフレームワークである。
本手法は,(1)選択的KVキャッシュ再計算のための補助モデル誘導トークン選択,(2)冗長な注意シンクを排除するための共有プレフィックス,(3)局所コヒーレンスを維持するためのグループ化戦略の3つの手法を統合する。
論文 参考訳（メタデータ） (2025-10-11T09:28:26Z) - ThinK: Thinner Key Cache by Query-Driven Pruning [63.13363917871414]
大規模言語モデル(LLM)は自然言語処理の分野に革命をもたらし、様々なアプリケーションで前例のない性能を達成した。
本稿では,KVキャッシュのメモリ消費の非効率性に対処する長文シナリオに焦点を当てた。
我々は,最小のチャネルを選択的に切断しながら,注目重量損失を最小限に抑える新しいクエリ依存型KVキャッシュプルーニング手法であるThinKを提案する。
論文 参考訳（メタデータ） (2024-07-30T17:59:08Z) - Dynamic Pre-training: Towards Efficient and Scalable All-in-One Image Restoration [100.54419875604721]
オールインワン画像復元は、各分解に対してタスク固有の非ジェネリックモデルを持たずに、統一されたモデルで異なるタイプの劣化に対処する。
我々は、オールインワン画像復元タスクのためのエンコーダデコーダ方式で設計されたネットワークの動的ファミリであるDyNetを提案する。
我々のDyNetは、よりバルク化と軽量化をシームレスに切り替えることができるので、効率的なモデルデプロイメントのための柔軟性を提供します。
論文 参考訳（メタデータ） (2024-04-02T17:58:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。