論文の概要: A Universal Context-Reuse Layer for Cross-Model KV Sharing

• arxiv url: http://arxiv.org/abs/2608.30963v1
• Date: Mon, 31 Aug 2026 15:28:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-01 18:31:31.481229
• Title: A Universal Context-Reuse Layer for Cross-Model KV Sharing
• Title（参考訳）: クロスモデルKV共有のためのユニバーサルコンテキスト再利用層
• Abstract要約: 我々は、ソースモデルによって生成されたKV状態を異なるターゲットモデルによって消費される表現に変換するエンフクロスモデルKV共有について検討する。 Qwen2.5-7B$rightarrow$ Qwen2.5-1.5Bの場合、翻訳されたKV状態はLongBench2の精度を27.59%から34.48%に改善し、ネイティブ1.5Bベースラインよりも6.89ポイント向上した。 クロスファミリーQwen2.5-1.5B$rightarrow$ Gemma-2-2B設定の場合、KVハンドオフは目標側のプリフィルコストを削減します。
• 参考スコア（独自算出の注目度）: 7.914652203965336
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modern large language model (LLM) serving systems increasingly operate over repeated or shared context, yet each model typically performs its own prefill computation even when another model has already processed the same input. Existing KV-cache reuse mechanisms substantially reduce redundant computation within a single model, but generally assume that the producer and consumer of a cache are identical. We study \emph{cross-model KV sharing}, which translates the KV state produced by a source model into a representation that can be consumed by a different target model, including models that differ in scale, architecture, attention configuration, tokenizer, and model family. We evaluate the approach in both within-family and cross-family settings. For Qwen2.5-7B $\rightarrow$ Qwen2.5-1.5B, translated KV states improve LongBench2 accuracy from 27.59\% to 34.48\%, a gain of 6.89 percentage points over the native 1.5B baseline, while reducing handoff cost relative to native target prefill. For the cross-family Qwen2.5-1.5B $\rightarrow$ Gemma-2-2B setting, KV handoff reduces target-side prefill cost by up to 67.05\% at 4K context length while maintaining decoding perplexity close to native-model baselines. In a more heterogeneous Llama3.1-70B $\rightarrow$ Qwen2.5-7B setting, cross-family handoff achieves 44.0\% accuracy compared with 45.7\% for native Qwen2.5-7B inference, while reducing measured latency from 899ms to 138ms. These results provide initial evidence that KV states can serve as transferable computational representations rather than strictly model-local caches, and motivate \emph{context mobility} as a systems abstraction for reducing redundant prefill across heterogeneous LLM and multi-agent inference workflows.
• Abstract（参考訳）: 現代の大規模言語モデル (LLM) は、繰り返しあるいは共有されたコンテキストで運用されるようになっているが、他のモデルが既に同じ入力を処理している場合でも、それぞれのモデルが独自のプリフィル計算を実行するのが一般的である。 既存のKV-cache再利用機構は、単一のモデル内での冗長な計算を大幅に削減するが、一般的にはキャッシュのプロデューサとコンシューマは同一であると仮定する。 我々は,ソースモデルによって生成されたKV状態を,スケール,アーキテクチャ,アテンション構成,トークン化,モデルファミリなど,異なるターゲットモデルによって消費される表現に変換する「emph{cross-model KV sharing}」について検討する。 本手法は,家庭内と戸内の両方で評価する。 Qwen2.5-7B $\rightarrow$ Qwen2.5-1.5Bでは、翻訳されたKV状態はLongBench2の精度を27.59\%から34.48\%に改善し、ネイティブ1.5Bベースラインよりも6.89ポイント向上した。 クロスファミリーのQwen2.5-1.5B $\rightarrow$ Gemma-2-2B設定では、KVハンドオフは、4Kコンテキスト長でターゲット側のプリフィルコストを最大67.05\%削減し、ネイティブモデルベースラインに近い復号性を維持している。 より異質なLlama3.1-70B $\rightarrow$ Qwen2.5-7B設定では、クロスファミリーハンドオフは、ネイティブQwen2.5-7B推論の45.7\%と44.0\%の精度を達成し、測定レイテンシを899msから138msに短縮する。 これらの結果は、KV状態が厳密なモデルローカルキャッシュではなく、転送可能な計算表現として機能し、異種LLMおよびマルチエージェント推論ワークフローにおける冗長プリフィルを減らすシステム抽象化として \emph{context Mobility} を動機付けているという最初の証拠を提供する。

関連論文リスト

• Cross-Model KV Cache Transfer in LLM Families: A Closed-Form Linear Mapping for Prefill Reuse [3.9548951874725433]
  本稿では,ソースのKVキャッシュを再利用し,プリフィルをスキップするクロスモデルKVキャッシュ転送を提案する。 モデルKVは、ソースとターゲットが共有するKVヘッド数とヘッド次元が一致するような、マッチングされたKV対にまたがる線形構造を持つことがわかった。 このリニアマッパーは4対でレシーバーのスタンドアローンプリフィル精度の73-98%を保持し、2つが急降下する。
  論文  参考訳（メタデータ） (2026-08-04T16:26:47Z)
• Models for minimalist RAG: B1ade 335M Embedding and 1B Parameter Small Language Models [2.1665689529884697]
  本稿では,コンパクトな埋め込みモデルと汎用SLMの2つのコンポーネントからなる効率的なRAGアーキテクチャであるB1adeについて述べる。 5つの事前訓練エンコーダのパラメータフリー融合により構築された335Mパラメータ検索モデルであるB1ade-embedは、追加トレーニングをゼロとした500M未満モデルの上位MTEBスコアを達成する。 B1ade-1Bは42.4%の反応で回収された通路を引用し、トレーニング分布の寄与率を5.5ポイント上回っている。
  論文  参考訳（メタデータ） (2026-07-29T22:41:25Z)
• Variable-Width Transformers [57.07167443557886]
  本稿では,$times$-shaped > former architectureを提案する。 我々の設計は、パラメータフリーの残留リサイズ機構を利用して、中間層を狭めながら、より広い早期層と後期層を維持している。 平均的な層幅を減らすことで、このアーキテクチャは全体のFLOPを少なくし、KVキャッシュメモリを小さくし、I/Oコストを削減できる。
  論文  参考訳（メタデータ） (2026-06-16T17:59:03Z)
• VisualClaw: A Real-Time, Personalized Agent for the Physical World [76.89211120690028]
  2つの原則に基づいて構築された自己進化型マルチモーダルエージェントであるVisualClawを紹介する。 第一に、ハイブリッド符号化は、情報の少ないストリーミングフレームをカスケードゲートでフィルタリングすることにより、デプロイメントコストを低減する。 第二に、スキルの進化により、エージェントは失敗から学び、将来の質問に役立つスキルバンク更新を生成する。
  論文  参考訳（メタデータ） (2026-06-15T06:58:22Z)
• Latent-Condensed Transformer for Efficient Long Context Modeling [60.72493959155964]
  大規模言語モデルに対するLCA(Latent-Condensed Attention)を提案する。 LCAはMLAの潜伏空間内のコンテキストを凝縮し、表現はセマンティック潜伏ベクトルと位置キーに切り離される。 LCAは、最大2.5$times$プリフィルスピードアップと128Kコンテキストでの90%のKVキャッシュ削減を実現している。
  論文  参考訳（メタデータ） (2026-04-14T08:40:31Z)
• Evaluating Small Language Models for Front-Door Routing: A Harmonized Benchmark and Synthetic-Traffic Experiment [0.05586191108738562]
  小型言語モデル(SLM)は、サブ秒、ゼロマージナルコスト、セルフホストタスクの分類に十分な推論能力を持つ。 Study 1はPhi-3.5-mini、Qwen2.5-1.5B、Qwen-2.5-3Bを同一のAzure T4ハードウェア、サービススタック、量子化、固定60ケースコーパスで同期したオフラインベンチマークである。 研究2は、合成トラフィック下で事前登録された4本腕ランダム化実験であり、有効サンプルサイズは腕あたり60ケースである。
  論文  参考訳（メタデータ） (2026-03-26T15:57:46Z)
• Data-Free Layer-Adaptive Merging via Fisher Information for Long-to-Short Reasoning LLMs [3.18088418556364]
  層適応型マージの最初の理論的正当性を提供する。 ランダムトークン入力のみを用いて対角線FIMを演算する textbfFIM-Merging を提案する。 我々のフレームワークはまた、ACMのような既存の層適応手法が統一的な統合を実証的に上回っている理由について、統一的な理論的説明を提供する。
  論文  参考訳（メタデータ） (2026-03-23T08:45:37Z)
• Thin Keys, Full Values: Reducing KV Cache via Low-Dimensional Attention Selection [15.230462656535034]
  標準変換器の注意は、クエリ、キー、および値(d_q = d_k = d_v = dmodel$)に同じ次元を使用する。 我々の洞察では、これらの成分は基本的に異なる役割を担っており、この対称性は不要である。 我々は、選択は本質的に値移動よりも低次元の操作であり、$Nの関連パターンを区別するためには$BigO(log N)次元しか必要としないと主張している。
  論文  参考訳（メタデータ） (2026-02-16T23:45:39Z)
• Nemotron Elastic: Towards Efficient Many-in-One Reasoning LLMs [80.72350166388601]
  Nemotron Elasticは推論指向のLLMを構築するためのフレームワークである。 ネストしたサブモデルを単一の親モデルに組み込む。 これらのサブモデルはそれぞれ、親モデルと重みを共有し、デプロイ中にゼロショットを抽出できる。
  論文  参考訳（メタデータ） (2025-11-20T18:59:21Z)
• Entropy Adaptive Decoding: Dynamic Model Switching for Efficient Inference [0.0]
  本稿では,効率的な言語モデル推論のための新しいアプローチであるEntropy Adaptive Decoding (EAD)を提案する。 EADは予測の不確実性に基づいて、異なるサイズのモデル間で切り替える。 異なるモデルファミリー間で顕著な効率向上を示す。
  論文  参考訳（メタデータ） (2025-02-05T22:15:21Z)
• KVQuant: Towards 10 Million Context Length LLM Inference with KV Cache Quantization [67.74400574357472]
  LLMは、大きなコンテキストウィンドウを必要とするアプリケーションでの利用が増えており、この大きなコンテキストウィンドウでは、KVキャッシュのアクティベーションが推論時のメモリ消費の主要な要因として表面化している。 量子化はKVキャッシュのアクティベーションを圧縮する上で有望な手法であるが、既存のソリューションは4ビット以下の精度でアクティベーションを正確に表現できない。 我々の研究であるKVQuantは、いくつかの新しい手法を取り入れることで、低精度のKVキャッシュ量子化を容易にする。
  論文  参考訳（メタデータ） (2024-01-31T18:58:14Z)
• Training Compute-Optimal Large Language Models [54.00424650998489]
  私たちは、500億から500億のトークンに対して、7000万から160億以上のパラメータの言語モデルをトレーニングしています。 計算最適トレーニングでは、モデルのサイズとトレーニングトークンの数が等しくスケールする必要がある。 チンチラはGopher(280B)、GPT-3(175B)、Jurassic-1(178B)、Megatron-Turing NLG(530B)を均一かつ著しく上回る
  論文  参考訳（メタデータ） (2022-03-29T13:38:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。