論文の概要: CacheLink: Functional KV Transport for Zero-Prefill Cross-Model Context Handoff

• arxiv url: http://arxiv.org/abs/2610.15509v1
• Date: Sun, 11 Oct 2026 10:19:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.219646
• Title: CacheLink: Functional KV Transport for Zero-Prefill Cross-Model Context Handoff
• Title（参考訳）: CacheLink: ゼロプレフィルクロスモデルコンテキストハンドオフのためのKVトランスポート
• Abstract要約: KVキャッシュは、過去の計算を再利用することで、長いコンテキストの計算を効率的にするが、モデルスイッチングはこの再利用を損なう。 送信側キャッシュを受信側互換状態に変換することで、受信側が同じコンテキストをプリフィルすることなく直接継続できるようにする。 既存のアフィン輸送法は、受信機KV状態が送信側キャッシュから実質的に再構成可能であることを示している。
• 参考スコア（独自算出の注目度）: 15.78364388319058
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: KV caches make long-context serving efficient by reusing past computation, but model switching breaks this reuse and forces the receiver to prefill the context again. We study \emph{zero-prefill cross-model context handoff}: translating a sender cache into a receiver-compatible state so that the receiver can continue directly without prefilling same context. Existing affine transport methods show that receiver KV states can be substantially reconstructed from sender caches. However, through extensive analyses, we find that reconstruction fidelity is a poor proxy for receiver utility. Similar K/V reconstruction errors can lead to substantially different attention patterns, predictive distributions, and downstream accuracy, because conventional reconstruction objectives overlook the query-dependent functional importance of K and V in receiver attention. We thus introduce CACHELINK, which learns a coupled K/V correction through the receiver behavior directly. Across four independently trained sender--receiver pairs and seven evaluation panels, CACHELINK improves the equal-weight mean over all methods for every pair. In matched diagnostics, CACHELINK changes K/V squared error by less than 0.4% while substantially changing receiver attention and next-token behavior. At 32K context, it reduces handoff latency by up to $7.27\times$ relative to receiver re-prefill. Our findings verify that reconstruction fidelity alone is insufficient and that preserving the receiver computation induced by the transported cache is important for effective cross-model KV transport.
• Abstract（参考訳）: KVキャッシュは、過去の計算を再利用することで、長いコンテキストを効率的に機能させるが、モデルスイッチングはこの再利用を中断し、レシーバに再びコンテキストをプリフィルさせる。 送信側キャッシュをレシーバ互換の状態に変換することで、受信側が同じコンテキストをプリフィルすることなく直接継続できるようにします。 既存のアフィン輸送法は、受信機KV状態が送信側キャッシュから実質的に再構成可能であることを示している。 しかし,広範に分析した結果,リコンストラクションの忠実度はレシーバユーティリティーの指標として不十分であることが判明した。 類似したK/V再構成誤差は、受信者注意におけるKとVのクエリ依存機能の重要性を無視するため、かなり異なる注意パターン、予測分布、下流精度をもたらす可能性がある。 そこで我々は,直接受信動作を通じて結合K/V補正を学習するCACHELINKを導入する。 独立に訓練された4つの送受信器対と7つの評価パネルで、CACHELINKは各ペアのすべてのメソッドに対して等しい平均値を改善する。 一致した診断では、CACHELINKはK/V二乗誤差を0.4%以下に変化させ、受信者の注意と次の注意行動を大きく変える。 32Kのコンテキストでは、ハンドオフのレイテンシを最大7.27\times$で削減する。 本研究は, 再構成忠実度だけでは不十分であり, トランスポートキャッシュによって誘導されるレシーバ計算の保存が, 効果的なクロスモデルKV輸送に重要であることを検証した。

関連論文リスト

• To Cache or Not to Cache: Understanding and Mitigating Safety Incompatibility in Cross-Model KV Cache Reuse [28.573607135216534]
  クロスモデルKVキャッシュ共有は、レシーバモデルが関連する送信者モデルによって生成されたKV状態を再利用できるようにすることで、プリフィル計算を減らす。 既存の手法では、そのような再利用をレイテンシと生成品質で最適化するが、その安全性は依然として不明である。
  論文  参考訳（メタデータ） (2026-10-11T16:00:13Z)
• WUSH-KV: KV Cache Quantization with Data-Adaptive Transforms [49.191043733828856]
  低ビット KV-cache 量子化のための WUSH-KV を導入する。 WUSHは行列生成物の両方の因子の2次統計からデータ認識変換を構築し、量子化誤差を低減する。 WUSH-KVをOSCAR型パーセンタイルクラッピングアフィン量子化によりSGLangに統合する。
  論文  参考訳（メタデータ） (2026-09-29T17:50:50Z)
• RelaxKV: Recomputation Guided by the Query with Sparse Context Attention for Efficient KV Cache Reuse [11.49301528421843]
  クロスリクエストKVキャッシングはレトリーバル拡張ジェネレーション(RAG)のプリフィルコストを低減させる RelaxKVは、修復目標と再計算コンテキストに対する共同割り当て問題として選択的なキャッシュ修復を定式化する。
  論文  参考訳（メタデータ） (2026-09-27T12:12:00Z)
• Prefill-Free Cross-Family KV Cache Transfer for Heterogeneous Multi-Agent LLMs [26.258892865465878]
  テキストベースの通信では、受信側は送信者がすでに処理している共有コンテキストをプリフィルする必要がある。 HeteroFoldはプリフィルフリーのクロスファミリーKVキャッシュ転送方式で、送信側と受信側の両方を凍結させる。 HeteroFoldは、4つの長いコンテキストベンチマークと最も短いコンテキスト設定で最高のキャッシュ転送性能を達成する。
  論文  参考訳（メタデータ） (2026-09-26T05:30:18Z)
• StepKV: Step-Aware KV Cache Compression for LLM Agents [48.99760785589948]
  キーバリュー(KV)キャッシングは、効率的な自己回帰型大言語モデル(LLM)推論に不可欠である。 KVキャッシュ圧縮はこのコストを軽減し、キャッシュされたトークンのサブセットだけを保持する。 StepKVは、推論ステップをファーストクラスの保持ユニットとして扱うことで、この目標に対処する。
  論文  参考訳（メタデータ） (2026-08-26T11:22:58Z)
• Lynx: Progressive Speculative Quantization for accelerating KV Transfer in Long-Context Inference [1.9857559596234147]
  長文推論は、検索拡張生成とエージェントシステムによって駆動される大規模言語モデル(LLM)において、ますます一般的になっている。 近年のKV量子化技術はデータ量を削減し、このボトルネックを軽減するが、既存のスキームでは低レイテンシと高い推論精度を達成できない。 我々は、KVキャッシュを、最も重要なビットを持つ高優先度アンカーストリームと、残りの精度を持つ低優先度残留ストリームに分割することで、プログレッシブな分割ストリームKV転送を可能にするLynxを提案する。
  論文  参考訳（メタデータ） (2026-07-02T07:52:43Z)
• KV-Latent: Dimensional-level KV Cache Reduction with Frequency-aware Rotary Positional Embedding [72.12756830560217]
  Transformer Decodersをベースとした大規模言語モデル(LLM)が、会話生成AIの選択肢として好まれている。 デコーダアーキテクチャの全体的な優位性にもかかわらず、推論中にキーバリューキャッシュが徐々に増加し、主要な効率ボトルネックとなっている。 キーバリューベクトル次元を潜在空間にダウンサンプリングすることで、KVキャッシュのフットプリントを大幅に削減し、推論速度を向上させることができる。
  論文  参考訳（メタデータ） (2025-07-15T12:52:12Z)
• R-KV: Redundancy-aware KV Cache Compression for Reasoning Models [77.84539432982307]
  共振モデル(R-KV)のための冗長性を考慮したKVキャッシュ圧縮を提案する。 R-KVはKVキャッシュの10%しか使用せず、完全なKVキャッシュ性能のほぼ100%を保っている。 驚くべきことに、R-KVは完全なKVキャッシュ性能の105%を達成し、KVキャッシュの16%を達成している。
  論文  参考訳（メタデータ） (2025-05-30T02:03:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。