論文の概要: KV-Lingo: Learning KV-Cache Translators with Distillation

• arxiv url: http://arxiv.org/abs/2609.32610v1
• Date: Sat, 26 Sep 2026 13:34:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-07 05:19:40.342005
• Title: KV-Lingo: Learning KV-Cache Translators with Distillation
• Title（参考訳）: KV-Lingo: 蒸留によるKVキャッシュトランスレータの学習
• Abstract要約: KV-Lingoは、ソースモデルのKVキャッシュをターゲットモデルで読み取ることのできるキャッシュに変換する方法である。 蒸留を用いてこれらのマップをトレーニングし、ターゲットモデルの予測と翻訳されたキャッシュとのばらつきを最小化する。
• 参考スコア（独自算出の注目度）: 29.441743863780136
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Large language models represent context with a key-value (KV) cache. Caches are model-specific: for the same text, models with different architectures or weights produce incompatible representations. This makes it costly to switch models over a shared context: although the context has already been processed by one model, the incoming model must process it again to build its own cache. We introduce KV-Lingo, a method for translating the KV cache of a source model into one that can be read by a target model. KV-Lingo consists of a collection of linear maps, typically one per layer of the target model, that are applied independently on all tokens' key and value representations. We train these maps using distillation, minimising the divergence between the target model's predictions from its native cache and those from the translated cache. We consider several model pairs spanning multiple sizes and architectures, training one translator per pair on a generic text corpus. The resulting translators preserve strong downstream performance in both small-to-large and large-to-small transfers. Since a switch then costs a linear map and a single decoding step instead of a prefill, replacing re-prefill with cache translation reduces the time to first token after a model switch by 9.6x already on a 64-token prompt for Qwen models on an Apple M3 Ultra, and by up to 29x at 32k context length on an H100. These gains make KV-Lingo particularly useful for dynamic model routing: a context can be processed by one model and handed off to another only when needed, without re-prefilling the shared prefix. We finally show that KV-Lingo can be used for seamless model switching, staying close to re-prefill across repeated switches in our multi-turn evaluations.
• Abstract（参考訳）: 大規模言語モデルは、キー値(KV)キャッシュでコンテキストを表現する。 キャッシュはモデル固有のもので、同じテキストの場合、異なるアーキテクチャや重みを持つモデルは互換性のない表現を生成する。 コンテキストはすでに1つのモデルによって処理されていますが、入ってくるモデルはそれを再度処理して独自のキャッシュを構築する必要があります。 KV-Lingoは、ソースモデルのKVキャッシュをターゲットモデルで読み取れるものに翻訳する手法である。 KV-リンゴは、全てのトークンのキーと値表現に独立して適用される線形写像(典型的にはターゲットモデルの1層当たりの1層)の集合からなる。 蒸留を用いてこれらのマップをトレーニングし、ターゲットモデルの予測と翻訳されたキャッシュとのばらつきを最小化する。 複数のサイズとアーキテクチャにまたがるモデルペアをいくつか検討し、汎用テキストコーパス上でペア毎に1つのトランスレータをトレーニングする。 結果として、トランスレータは、小さくて大きいと大きいと小さいの両方の転送において、強力なダウンストリーム性能を保持する。 スイッチはプリフィルの代わりにリニアマップと1つのデコードステップがかかるため、再プリフィルをキャッシュ変換に置き換えることで、モデルスイッチの後に最初のトークンに切り替える時間を、Apple M3 UltraのQwenモデルの64トークンプロンプトで9.6倍、H100の32kコンテキスト長で29倍に短縮する。 KV-Lingoは動的モデルのルーティングに特に有用であり、コンテキストは1つのモデルによって処理され、必要に応じて他のモデルに渡される。 最終的に、KV-Lingoは、マルチターン評価において、繰り返しスイッチ間の再補充に近づき、シームレスなモデル切替に使用できることを示す。

関連論文リスト

• KV-Fold: One-Step KV-Cache Recurrence for Long-Context Inference [9.84177443010824]
  KV-Foldは、キー値(KV)キャッシュを列チャンク上の左折り重なりのアキュムレータとして扱う、トレーニング不要な長文推論プロトコルである。 各ステップで、モデルは蓄積されたキャッシュに条件付けられた次のチャンクを処理し、新しく生成されたキーと値を付加し、拡張されたキャッシュを前方に渡す。 Llama-3.1-8Bでは、16Kから128Kのトークンのコンテキストにまたがる152のトライアルで100%の正確なマッチ検索を実現し、単一の40GB GPUのメモリ制限内に留まっている。
  論文  参考訳（メタデータ） (2026-05-12T17:53:47Z)
• Continuous Autoregressive Language Models [56.49239051750678]
  我々はCALM(Continuous Autoregressive Language Models)を紹介する。 CALMは高忠実度オートエンコーダを使用して、Kトークンの塊を1つの連続ベクトルに圧縮する。 我々は、堅牢なトレーニング、評価、および制御可能なサンプリングを可能にする包括的可能性のないフレームワークを開発する。
  論文  参考訳（メタデータ） (2025-10-31T17:58:11Z)
• CommVQ: Commutative Vector Quantization for KV Cache Compression [50.37946553931796]
  本稿では,長期LLM推論におけるメモリ使用量を大幅に削減するために,CommVQ(CommVQ)を提案する。 まず、KVキャッシュを圧縮するための軽量エンコーダとコードブックを用いた加算量子化を導入する。 提案手法は,RoPE-commutative codebook を用いた加算量子化と低オーバーヘッド化により高い精度を実現する。
  論文  参考訳（メタデータ） (2025-06-23T17:50:11Z)
• Pretraining Language Models to Ponder in Continuous Space [50.52734567589996]
  単一のトークン生成ステップ内で,前処理を繰り返し呼び出すことによって,この思考プロセスを言語モデルに導入する。 人間のアノテーションを使わずに、自己教師付き学習を通じて、この方法でモデルを学習できることが示される。
  論文  参考訳（メタデータ） (2025-05-27T03:47:33Z)
• KVLink: Accelerating Large Language Models via Efficient KV Cache Reuse [30.48395228595732]
  KVLinkは、大規模言語モデル(LLM)における効率的なキー値(KV)キャッシュ再利用のためのアプローチである。 KVLinkは、連結後のグローバルな位置と一致するように、推論時にKVキャッシュの位置埋め込みを調整することと、自己注意を回復するためにトレーニング可能な特別なトークンを使用することである。 7つのデータセットにわたる実験によると、KVLinkは最先端の手法よりも平均4%の精度で質問応答を改善する。
  論文  参考訳（メタデータ） (2025-02-21T23:34:29Z)
• KVSharer: Efficient Inference via Layer-Wise Dissimilar KV Cache Sharing [58.29726147780976]
  我々は,層間をKVキャッシュで共有し,層間圧縮を実現する,textit KVSharerと呼ばれるプラグアンドプレイ方式を提案する。 実験の結果、textit KVSharerはKVキャッシュの計算を30%削減し、メモリ消費を削減できることがわかった。 我々は,textit KVSharerが既存の層内KVキャッシュ圧縮手法と互換性があることを検証する。
  論文  参考訳（メタデータ） (2024-10-24T08:06:41Z)
• Keep the Cost Down: A Review on Methods to Optimize LLM' s KV-Cache Consumption [66.97998742151918]
  大規模言語モデル(LLM)は、先進的な言語理解によって様々な産業に革命をもたらした。 しかし、その効率性はTransformerアーキテクチャが長いテキストを扱うのに苦労していることに疑問を投げかけられている。 KVキャッシュは、トークン生成の時間的複雑さを2次から線形に変換する、重要なソリューションとして登場した。
  論文  参考訳（メタデータ） (2024-07-25T12:56:22Z)
• KIVI: A Tuning-Free Asymmetric 2bit Quantization for KV Cache [67.9776980972508]
  我々はKIVIというチューニング不要な2ビットKVキャッシュ量子化アルゴリズムを開発した。 KIVI は Llama, Falcon, Mistral のモデルを $mathbf2.6times$ less peak memory を使用しながらほぼ同じ品質を維持することができる。
  論文  参考訳（メタデータ） (2024-02-05T06:06:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。