論文の概要: Prefill-Free Cross-Family KV Cache Transfer for Heterogeneous Multi-Agent LLMs

• arxiv url: http://arxiv.org/abs/2609.32259v2
• Date: Tue, 29 Sep 2026 19:41:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:25.687912
• Title: Prefill-Free Cross-Family KV Cache Transfer for Heterogeneous Multi-Agent LLMs
• Title（参考訳）: 不均質多層膜用プレフィルフリークロスファミリックKVキャッシュ転送
• Abstract要約: テキストベースの通信では、受信側は送信者がすでに処理している共有コンテキストをプリフィルする必要がある。 HeteroFoldはプリフィルフリーのクロスファミリーKVキャッシュ転送方式で、送信側と受信側の両方を凍結させる。 HeteroFoldは、4つの長いコンテキストベンチマークと最も短いコンテキスト設定で最高のキャッシュ転送性能を達成する。
• 参考スコア（独自算出の注目度）: 26.258892865465878
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent multi-agent LLM systems increasingly combine heterogeneous models for specialized agent roles. However, text-based communication requires each receiver to prefill shared context already processed by the sender. Reusing the sender's key-value (KV) cache avoids this redundancy, but prefill-free transfer across model families must handle differences in tokenization, model depth, and KV representations. To address these issues, we propose \textit{HeteroFold}, a prefill-free cross-family KV cache transfer method that keeps both the sender and receiver frozen. HeteroFold aligns model structures, maps the sender cache into the receiver space, and calibrates it to preserve receiver behavior. Across six transfer directions, HeteroFold achieves the best cache-transfer performance on all four long-context benchmarks and most short-context settings. It also matches text-based communication on the multi-agent benchmark. At 32K context length, Llama-3.1-8B$\rightarrow$Ministral-3-14B transfer is $10.7\times$ faster than Native Prefill and $1.18$--$1.47\times$ faster than the state-of-the-art prefill-free baselines, Dense Latent and KV Ridge. These results show that HeteroFold enables efficient cross-family KV reuse without receiver prefill.
• Abstract（参考訳）: 近年のマルチエージェントLLMシステムは、特殊エージェントの役割のための異種モデルを組み合わせる傾向にある。 しかし、テキストベースの通信では、受信側は送信者がすでに処理している共有コンテキストをプリフィルする必要がある。 送信者のキー値(KV)キャッシュを再利用することは、この冗長性を回避するが、モデルファミリ間でのプリフィルフリー転送は、トークン化、モデル深さ、KV表現の違いを処理する必要がある。 これらの問題に対処するために、送信側と受信側の両方を凍結に保つプリフィルフリーのクロスファミリーKVキャッシュ転送法である \textit{HeteroFold} を提案する。 HeteroFoldはモデル構造をアライメントし、送信側のキャッシュをレシーバ空間にマッピングし、レシーバの動作を保存するために校正する。 6つの転送方向にわたって、HeteroFoldは4つの長コンテキストベンチマークと最も短いコンテキスト設定で最高のキャッシュ転送性能を達成する。 また、マルチエージェントのベンチマークでテキストベースの通信にマッチする。 32Kコンテキスト長では、Llama-3.1-8B$\rightarrow$Ministral-3-14B転送はNative Prefillより10.7\times$、最先端のプリフィルフリーベースラインであるDense LatentとKV Ridgeより1.18$-1.47\times$速い。 これらの結果から,HeteroFoldはレシーバプリフィルを使わずに効率よく家族間KVを再利用できることが示唆された。

関連論文リスト

• Structured Residual Connectivity Matters for Diffusion Transformers [91.88563792356344]
  Diffusion Transformers (DiTs) は、高忠実度画像合成のためのスケーラブルなバックボーンとしての地位を確立している。 本稿では,DiTの残差接続を画像復調に最適化した能動的検索機構に変換することを提案する。
  論文  参考訳（メタデータ） (2026-09-27T04:42:36Z)
• Dual-Cache Latent Space Communication between Heterogeneous Language Models [11.183066364515094]
  マルチエージェント LLM システムはモデルを分割するので、解答には他のエージェントのコンテキストに置かれる知識が必要となることが多い。 最近の潜在プロトコルは、共有者のキー値(KV)キャッシュをレシーバに変換する。 XKVはLCF-Xより26%、テキスト通信より6.8倍高速である。
  論文  参考訳（メタデータ） (2026-08-20T23:35:36Z)
• AgentKVShift: Efficient KV Cache Reuse for Agentic Memory Systems [15.913507689262573]
  AgentKVShift(エージェントKVShift)は、検索したメモリ単位ごとに動作させる訓練不要のプローブ誘導残差補正手法である。 我々は,AgentKVShiftがキャッシュの10～30%をリフレッシュしながら,ほぼ完全な再計算性能を実現することを示す。 このほぼフルに近いパフォーマンスに達するには最大5倍の低い再計算が必要で、以前の再利用メソッドは45～55%のリフレッシュしか得られない。
  論文  参考訳（メタデータ） (2026-05-15T16:29:36Z)
• Good Agentic Friends Do Not Just Give Verbal Advice: They Can Update Your Weights [58.27172968382275]
  マルチエージェントLLMシステムは、通常自然言語メッセージを交換することで協調する。 送信者のメッセージを受信者のコンテキストに付加する代わりに、送信者の隠された状態を過渡的で受信者固有の重み摂動にコンパイルする。
  論文  参考訳（メタデータ） (2026-05-13T17:58:32Z)
• Stacked from One: Multi-Scale Self-Injection for Context Window Extension [69.24689919827817]
  Modelnameは、多粒度コンテキスト圧縮とクエリ対応情報取得に基づく新しいフレームワークである。 modelnameachievesパフォーマンスは、強いベースラインと同等か、優れている。
  論文  参考訳（メタデータ） (2026-03-05T03:16:16Z)
• Q-KVComm: Efficient Multi-Agent Communication Via Adaptive KV Cache Compression [0.0]
  我々は,圧縮キー値(KV)キャッシュ表現をエージェント間で直接送信できる新しいプロトコルであるQ-KVCommを紹介する。 Q-KVCommはセマンティックな忠実さを維持しながら5-6倍の圧縮比を達成し、コヒーレンスの品質スコアはすべてのシナリオで0.77以上である。 我々の研究は、テキストベースの情報交換から表現ベースの情報交換へ移行し、LLMエージェント通信のための新しいパラダイムを確立する。
  論文  参考訳（メタデータ） (2025-11-27T10:45:41Z)
• KVCOMM: Online Cross-context KV-cache Communication for Efficient LLM-based Multi-agent Systems [25.770173970846884]
  KVCOMMは、マルチエージェント推論における効率的なプリフィルを可能にする、トレーニング不要のフレームワークである。 KVCOMMはキャッシュされたサンプル終端アンカーのプールを参照することにより、共有コンテンツのKVキャッシュを推定し、調整する。 KVCOMMは多様なマルチエージェントワークロード間で70%以上の再利用率を達成する。
  論文  参考訳（メタデータ） (2025-10-14T18:00:01Z)
• Cost-Aware Contrastive Routing for LLMs [57.30288453580456]
  我々は、プロンプトとモデルの両方を共有埋め込み空間にマッピングする軽量フレームワークであるコストスペクトルコントラストルーティング(CSCR)を紹介します。 CSCRはベースラインを一貫して上回り、精度とコストのトレードオフを最大25%改善した。
  論文  参考訳（メタデータ） (2025-08-17T20:16:44Z)
• QuantSpec: Self-Speculative Decoding with Hierarchical Quantized KV Cache [67.84112700032007]
  大きな言語モデル(LLM)は、長いコンテキスト設定のためにエッジデバイスにデプロイされることが増えている。 これらのシナリオでは、キーバリュー(KV)キャッシュがGPUメモリとレイテンシの両方において主要なボトルネックとなっている。 そこで本研究では,ターゲットモデルのアーキテクチャを共有するが,階層的な4ビット量子化KVキャッシュと4ビット量子化重みを併用して高速化を行う,新たな自己推論型デコーディングフレームワークであるQuantSpecを提案する。
  論文  参考訳（メタデータ） (2025-02-05T20:43:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。