論文の概要: LatentRemedy: Efficient Remedy For Non-Prefix KV Cache Reuse in Multi-Agent Systems

• arxiv url: http://arxiv.org/abs/2610.18014v1
• Date: Tue, 13 Oct 2026 09:12:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.571518
• Title: LatentRemedy: Efficient Remedy For Non-Prefix KV Cache Reuse in Multi-Agent Systems
• Title（参考訳）: LatentRemedy: マルチエージェントシステムにおける非プリフィックスKVキャッシュの効率的な再利用
• Abstract要約: 非条件KVキャッシュの再利用は、マルチエージェントシステムにおける推論効率を改善するための有望なアプローチである。 LatentRemedyは、共有ブロックを再計算することなく、ターゲットエージェントが再利用されたコンテキストを活用するのに役立つ。 実験によると、LatentRemedyは相反するタスクに対する既存の再利用ベースラインを一貫して上回っている。
• 参考スコア（独自算出の注目度）: 14.251031589418092
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Non-prefix KV cache reuse is a promising approach for improving inference efficiency in multi-agent systems as agents share the same context blocks. However, when agents have conflicting tasks, directly reusing non-prefix KV caches across agents can severely degrade model performance, causing up to a 90% drop. Existing remedies, including selective recomputation and offset-based calibration, recover a limited fraction of this loss. We argue that the problem lies not only in contaminated KV representations but also in the agent's difficulty interpreting reused context under its own instructions. To this end, we introduce LatentRemedy, which uses a few task-conditioned latent tokens to help the target agent leverage reused context without recomputing the shared block. Specifically, we use an MLP to map the last hidden state of the target prefix into a small number of latent tokens, which are placed after the reused KV block to interact with the shared context. To guide subsequent predictions toward the target task, we train the MLP through full-prefill distillation. Experiments show that LatentRemedy consistently outperforms existing reuse baselines on conflicting tasks while maintaining TTFT close to direct reuse as cache size grows. Code and data are available at https://github.com/chenzhwsysu57/kvreuse.
• Abstract（参考訳）: 非プリフィックスKVキャッシュ再利用は、エージェントが同じコンテキストブロックを共有するため、マルチエージェントシステムの推論効率を改善するための有望なアプローチである。 しかし、エージェントが競合するタスクがある場合、エージェント間で非プリフィックスKVキャッシュを直接再利用することは、モデルのパフォーマンスを著しく低下させ、90%の低下を引き起こす。 選択的な再計算やオフセットベースの校正を含む既存の治療法は、この損失のごく一部を回復する。 我々は、この問題は汚染されたKV表現だけでなく、再利用されたコンテキストを自身の指示で解釈することの難しさにも関係していると主張している。 この目的のために、LatentRemedyを導入する。これはタスク条件付き潜在トークンを使って、共有ブロックを再計算することなく、ターゲットエージェントが再利用されたコンテキストを活用するのを助ける。 具体的には、MLPを用いてターゲットプレフィックスの最後の隠れた状態を少数の潜在トークンにマッピングし、再利用されたKVブロックの後に配置し、共有コンテキストと対話する。 対象課題に対するその後の予測を導出するために, フルプリフィル蒸留を用いてMDPを訓練する。 実験によると、LatentRemedyは、キャッシュサイズが大きくなるにつれてTTFTを直接再利用する一方で、競合するタスクに対する既存の再利用ベースラインを一貫して上回っている。 コードとデータはhttps://github.com/chenzhwsysu57/kvreuse.comで公開されている。

関連論文リスト

• KVCMAS: Efficient KV cache Correction for Shared Context in Multi-Agent Systems [12.768679406770984]
  KVCMASは、コンパクトな低ランク状態を用いたクロスエージェントキャッシュ逸脱を表す。 追加の参照プリフィルなしで、エージェントワークフローに沿って修正をシームレスにチェーンする。 制御されたサービストレースの下では、KVキャッシュの共有なしに、推論よりも2.0倍のTTFTスピードアップを提供する。
  論文  参考訳（メタデータ） (2026-09-28T00:39:50Z)
• MeshHeal: Two-Timescale Self-Healing for Gray Failures in Decentralized LLM Agent Networks [60.95806999869478]
  MeshHealは、完全に分散化された自己修復フレームワークである。 能力にマッチしたピアレビューを2つのタイムスケールに分けている。 1タスクあたり51kのトータルモデルトークンを使用して0.839の劣化位相精度を達成し、最強のベースラインでは1タスクあたり115kの0.807の精度を達成した。
  論文  参考訳（メタデータ） (2026-09-24T04:29:37Z)
• LCPNet: Latent Consistent Proximal Unfolding Network for Infrared Small Target Detection [50.3892176822492]
  赤外線小目標検出(IRSTD)は、複雑な赤外背景から長距離小目標を特定することを目的としている。 深層学習法は、識別的画像-マスクマッピングを学習することでIRSTDを改善した。 深層展開法は、モデル駆動イテレーションをニューラルネットワークに埋め込むことによって、この問題に部分的に対処する。 これらの制約に対処するために,Latent Consistent Proximal Unfolding Network (LCPNet)を提案する。
  論文  参考訳（メタデータ） (2026-07-06T02:15:09Z)
• Kamera: Unified Position-Invariant Multimodal KV Cache for Training-Free Reuse [1.081571058570587]
  マルチモーダルエージェントは、同じビデオフレーム、UIスクリーンショット、アーティファクトをコンテキストウィンドウスライドとして再検査する。 この再計算は回避可能であることを示すとともに,KV再利用が損なうものを特定する。 したがって、ブラインドはシングルホップのリコールをそのまま残し、マルチホップの精度を半減させる。 トレーニング不要な低ランク条件パッチを各位置のないチャンクに格納して修復する。
  論文  参考訳（メタデータ） (2026-06-22T16:47:00Z)
• GRKV: Global Regression for Training-Free KV Cache Compression in Long-Context LLMs [97.36238579001544]
  コンテキスト長が拡張された大規模言語モデル(LLM)は、キー値(KV)キャッシュに依存して、以前のトークンに対する注意をサポートする。 KVキャッシュを維持することは、KVキャッシュ圧縮メソッドを動機付け、かなりのメモリオーバーヘッドを引き起こす。 GRKVは,圧縮キャッシュとフルキャッシュのアテンション出力の差を直接最小化する,トレーニング不要なKV-cacheマージ手法である。
  論文  参考訳（メタデータ） (2026-05-29T10:16:30Z)
• Make Each Token Count: Towards Improving Long-Context Performance with KV Cache Eviction [65.710271475739]
  我々は,各トークンの将来のユーティリティを統一メモリ予算の下で学習する,グローバルな保持に基づくKV消去手法を提案する。 提案手法は,フルキャッシュ推論に適合したり,超えたりしながら,KVメモリを大幅に削減することを示す。 これらの結果から,世界規模で校正されたKV消去は圧縮技術であるだけでなく,長文推論を改善するメカニズムでもあることが示唆された。
  論文  参考訳（メタデータ） (2026-05-10T16:47:50Z)
• RCP: Representation Consistency Pruner for Mitigating Distribution Shift in Large Vision-Language Models [24.3914653184824]
  LVLM(Large Vision-Language Models)は、言語デコーダによって処理される膨大な数の視覚トークンによって、推論の禁止コストに悩まされる。 既存のプルーニング法は、視覚トークンの可逆的な除去が、事前訓練されたフルトケン状態から逸脱した隠れ状態の分布シフトを引き起こすため、大きな性能劣化を引き起こすことが多い。 本稿では,累積的視覚トークンプルーニングと遅延修復機構を統合した一貫性表現プルーナを提案する。
  論文  参考訳（メタデータ） (2026-04-04T13:31:45Z)
• RelayCaching: Accelerating LLM Collaboration via Decoding KV Cache Reuse [5.597099794399441]
  RelayCachingはトレーニング不要な推論手法で、前のエージェントから復号フェーズKVキャッシュを直接再利用する。 RelayCachingは80%以上のKVキャッシュの再利用を実現し、TTFTを標準パイプラインと比較して最大4.7倍のコストで削減できることを示す。
  論文  参考訳（メタデータ） (2026-02-28T04:46:28Z)
• CORE: Context-Robust Remasking for Diffusion Language Models [51.59514489363897]
  我々は、推論時リビジョンのためのトレーニング不要フレームワークであるContext-Robust Remasking (CORE)を提案する。 静的トークンの確率を信頼するのではなく、COREは、ターゲットとなるマスク付きコンテキストの摂動に対する感受性を示すことによって、コンテキスト不安定なトークンを識別する。 LLaDA-8B-Baseでは、COREは推論とコードベンチマークの間で一貫した改善を行い、計算に適合したベースラインを上回り、MBPPを最大9.2%改善した。
  論文  参考訳（メタデータ） (2026-02-04T00:12:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。