論文の概要: Cross-Model KV Cache Transfer in LLM Families: A Closed-Form Linear Mapping for Prefill Reuse

• arxiv url: http://arxiv.org/abs/2608.03893v1
• Date: Tue, 04 Aug 2026 16:26:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-05 15:30:23.281642
• Title: Cross-Model KV Cache Transfer in LLM Families: A Closed-Form Linear Mapping for Prefill Reuse
• Title（参考訳）: LLMファミリーにおけるクロスモデルKVキャッシュ転送:プリフィルリユースのための閉形式線形マッピング
• Abstract要約: 本稿では,ソースのKVキャッシュを再利用し,プリフィルをスキップするクロスモデルKVキャッシュ転送を提案する。 モデルKVは、ソースとターゲットが共有するKVヘッド数とヘッド次元が一致するような、マッチングされたKV対にまたがる線形構造を持つことがわかった。 このリニアマッパーは4対でレシーバーのスタンドアローンプリフィル精度の73-98%を保持し、2つが急降下する。
• 参考スコア（独自算出の注目度）: 3.9548951874725433
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Production deployments often swap between different-sized models in a family for cost-quality cascading, mid-conversation switching, and routing, and each swap forces the receiver to repay the prefill from scratch. We propose cross-model KV cache transfer, where the receiver reuses the source's KV cache, skipping prefill. We find that cross-model KV has substantial linear structure across matched-KV pairs, where source and target share KV head count and per-head dimension. On Qwen3 14B->32B, one source layer explains 56% of variance in the target's keys and 32% in values, rising to 79% and 65% with multiple source layers. Building on this, we design a closed-form ridge mapper that operates per head and proceeds in three steps. First, for each target layer we select the top-k most predictive source layers and concatenate their KV as input. Second, we strip RoPE from the keys before mapping, so the fit is position-free and reusable across context lengths. Third, we fit ridge regression on a small calibration set of 500 FineWeb-Edu sequences of 1,024 tokens each. Surprisingly, across six pairs in three families, this linear mapper retains 73-98% of the receiver's standalone-prefill accuracy on four pairs, while two degrade sharply. A nonlinear MLP recovers up to +37 pp HellaSwag retention on the failures. The mapper runs 2.7-25x faster than re-prefill and remains stable across multi-turn handoff, making cross-model KV cache transfer practical.
• Abstract（参考訳）: 生産配置は、コスト品質の高いカスケーディング、中間会話切替、ルーティングのために、ファミリー内の異なるサイズのモデル間で交換されることが多く、それぞれのスワップはレシーバーにプレフィルをスクラッチから返さざるを得ない。 本稿では,ソースのKVキャッシュを再利用し,プリフィルをスキップするクロスモデルKVキャッシュ転送を提案する。 モデルKVは、ソースとターゲットが共有するKVヘッド数とヘッド次元が一致するような、マッチングされたKV対にまたがる線形構造を持つことがわかった。 Qwen3 14B->32Bでは、あるソース層がターゲットのキーのばらつきの56%、値の32%を説明し、複数のソース層で79%、65%まで上昇した。 そこで我々は,頭ごとの操作と3段階の処理を行うクローズドフォーム・リッジ・マッパーを設計した。 まず、各ターゲット層に対して、トップkの最も予測可能なソース層を選択し、KVを入力として結合する。 次に、マッピングの前にRoPEをキーから取り除きます。 第3に,それぞれ1,024個のトークンからなる500 FineWeb-Edu シーケンスの小さなキャリブレーションセットにリッジレグレッションを適合させる。 驚くべきことに、このリニアマッパーは3つのファミリーで6対で4対でレシーバーのスタンドアローンプリフィル精度の73-98%を保ち、2つは急降下している。 非線形MLPは、故障時に+37 pp HellaSwag の保持を回復する。 マッパーは再充填よりも2.7-25倍速く動作し、マルチターンハンドオフで安定しているため、クロスモデルKVキャッシュ転送は実用的である。

関連論文リスト

• CacheBridge: Efficient Cross-Model KV Cache Transfer [12.058564378845373]
  フルヘッドマッピングは、ターゲットのKVヘッドを各ソースのKVヘッドから選択したレイヤにマッピングすることで、アーキテクチャ上の違いに敏感な転送品質を実現する。 CacheBridgeは、アーキテクチャインデクシングされたマッパーサポート、アテンションアラインなキャリブレーション、バウンダリされたマッパー構築を共同設計する。 Qwen3 $14mathrmBto32mathrmB$では、マッパーストレージを8times$に減らし、アプリケーションを3.0times$に加速し、キャリブレーションデータの10分の1とフルヘッドにマッチし、500シークエンス構築を92.63から8に短縮する。
  論文  参考訳（メタデータ） (2026-09-01T08:20:35Z)
• A Universal Context-Reuse Layer for Cross-Model KV Sharing [7.914652203965336]
  我々は、ソースモデルによって生成されたKV状態を異なるターゲットモデルによって消費される表現に変換するエンフクロスモデルKV共有について検討する。 Qwen2.5-7B$rightarrow$ Qwen2.5-1.5Bの場合、翻訳されたKV状態はLongBench2の精度を27.59%から34.48%に改善し、ネイティブ1.5Bベースラインよりも6.89ポイント向上した。 クロスファミリーQwen2.5-1.5B$rightarrow$ Gemma-2-2B設定の場合、KVハンドオフは目標側のプリフィルコストを削減します。
  論文  参考訳（メタデータ） (2026-08-31T15:28:17Z)
• On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability [57.03393882933515]
  Qwen3.8-Flash-Nextは125Bパラメータ、トークンあたり6Bアクティベートされ、加速器から保持されるn-gram埋め込みテーブルの51Bパラメータを持つスパースミックス・オブ・エキスパートモデルである。 トレーニング前の14のベンチマークでは、このモデルは前モデルの397B-A17Bを8点、残りを少なくとも2.6ポイント、アクティベートされたパラメータが1/3、トレーニングトークンが1/3、トレーニング用FLOPが1/9であった。
  論文  参考訳（メタデータ） (2026-08-31T06:35:07Z)
• SemKV: Semantic Mixed-Precision KV Cache Quantization Guided by the Quality Cliff for Long-Context LLM Inference [3.2938220347051175]
  分数ビットグリッド上の均一なKV量子化は、優雅に分解されないことを示す。 本稿では,アフィンベースを歪み最適化量子化器 (TurboQuant-MSE) に置き換えることによって,テスト対象のプロトコルの崖を突破することを示す。
  論文  参考訳（メタデータ） (2026-08-28T22:19:47Z)
• IntentKV: Cross-Turn Intent-Aware KV Cache Pruning for Agent Inference [12.04455190856202]
  マルチターンLLMエージェントはショートクエリを、ツールコール、検索結果、中間推論の長い軌跡に扇動する。 我々は,基地LLMを凍結状態に保つための学習KVプルーニングであるIntentKVを紹介する。 IntentKVは、厳しいKV予算の下では精度の低下がほとんどなく、未完成のフルキャッシュベースラインと一致します。
  論文  参考訳（メタデータ） (2026-06-06T15:54:48Z)
• CONF-KV: Confidence-Aware KV Cache Eviction with Mixed-Precision Storage for Long-Horizon LLM [8.82843279804122]
  ステップごとのキャッシュ予算を選択するKVキャッシュマネージャであるConF-KVを紹介する。 トークンは、蓄積された注目質量と相対性の複合物によってランク付けされます。 75のVisualWebArenaタスクでは、全KV成功の95.3%をピークメモリの2.8倍に維持する。
  論文  参考訳（メタデータ） (2026-05-24T00:15:34Z)
• Linear Predictability of Attention Heads in Large Language Models [0.5833117322405447]
  事前学習したトランスフォーマーは,頭部間線形構造が広範に存在することを示す。 我々は、参照ヘッドKV状態のみをキャッシュし、残りのヘッドをオンザフライで再構築することでこれを活用します。
  論文  参考訳（メタデータ） (2026-03-04T09:04:03Z)
• ManifoldKV: Training-Free KV Cache Compression via Euclidean Outlier Detection [8.362927764080203]
  キーセントロイドにユークリッド距離でトークンをランク付けする学習自由スコアラを提案する。 ManifoldKVは4K-16Kコンテキストで95.7%の精度を実現し、圧縮率は20%である。 WindowedManifoldKV は 25% 圧縮で 84.3% まで精度を回復し、グローバル L2 では 49 点、キーディフでは +3.2 点を回復する。
  論文  参考訳（メタデータ） (2026-02-09T07:28:55Z)
• Reconstructing KV Caches with Cross-layer Fusion For Enhanced Transformers [35.286226181391754]
  層間KVキャッシュの共有は、KVキャッシュのボトルネックを軽減するための経路を提供するが、通常、GQAのような層内メソッドでは性能が劣る。 最上層KVキャッシュは,最下層と中層からの最も情報性の高いキャッシュの融合であるFusedKVを提案する。 FusedKVと比較すると、FusedKV-Liteは難易度をわずかに増加させるコストでI/Oオーバーヘッドを低減する。
  論文  参考訳（メタデータ） (2025-12-03T15:22:00Z)
• Improving Model Representation and Reducing KV Cache via Skip Connections with First Value Heads [47.05385031325841]
  SkipV1Formerは、第1層のバリューヘッドからのスキップ接続を使用して表現を強化し、KVキャッシュを削減するトランスフォーマーである。 我々は、SkipV1FormerがKVキャッシュの約25%の一貫性のある削減を実現していることを示す。 YOCOと組み合わせると、KVキャッシュサイズが50%近く削減され、パフォーマンスが向上する。
  論文  参考訳（メタデータ） (2025-10-19T12:17:42Z)
• CommonKV: Compressing KV Cache with Cross-layer Parameter Sharing [54.34080239841088]
  CommonKVは、隣接パラメータ共有による層間KVキャッシュ圧縮のトレーニング不要な方法である。 提案手法は,様々な圧縮比で既存の低ランクおよびクロスレイヤーの手法より一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2025-08-22T06:55:45Z)
• KV-Latent: Dimensional-level KV Cache Reduction with Frequency-aware Rotary Positional Embedding [72.12756830560217]
  Transformer Decodersをベースとした大規模言語モデル(LLM)が、会話生成AIの選択肢として好まれている。 デコーダアーキテクチャの全体的な優位性にもかかわらず、推論中にキーバリューキャッシュが徐々に増加し、主要な効率ボトルネックとなっている。 キーバリューベクトル次元を潜在空間にダウンサンプリングすることで、KVキャッシュのフットプリントを大幅に削減し、推論速度を向上させることができる。
  論文  参考訳（メタデータ） (2025-07-15T12:52:12Z)
• More Tokens, Lower Precision: Towards the Optimal Token-Precision Trade-off in KV Cache Compression [71.42818367729573]
  大規模言語モデル(LLM)では、KVキャッシュのメモリ使用量は推論において重大なボトルネックとなっている。 KVプルーニングやKV量子化を含む主流のKV圧縮法は、主にトークンまたは精度寸法を別々に扱う。 本稿では,KVキャッシュ圧縮におけるトークン精度トレードオフを包括的に検討する。
  論文  参考訳（メタデータ） (2024-12-17T09:20:31Z)
• KVQuant: Towards 10 Million Context Length LLM Inference with KV Cache Quantization [67.74400574357472]
  LLMは、大きなコンテキストウィンドウを必要とするアプリケーションでの利用が増えており、この大きなコンテキストウィンドウでは、KVキャッシュのアクティベーションが推論時のメモリ消費の主要な要因として表面化している。 量子化はKVキャッシュのアクティベーションを圧縮する上で有望な手法であるが、既存のソリューションは4ビット以下の精度でアクティベーションを正確に表現できない。 我々の研究であるKVQuantは、いくつかの新しい手法を取り入れることで、低精度のKVキャッシュ量子化を容易にする。
  論文  参考訳（メタデータ） (2024-01-31T18:58:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。