論文の概要: PriorityFEC: Deadline-Aware Streaming FEC for KV-Cache Handoff in Edge Multi-Agent Systems
- arxiv url: http://arxiv.org/abs/2610.21390v1
- Date: Thu, 15 Oct 2026 07:06:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-16 19:13:16.24418
- Title: PriorityFEC: Deadline-Aware Streaming FEC for KV-Cache Handoff in Edge Multi-Agent Systems
- Title(参考訳): PriorityFEC:エッジマルチエージェントシステムにおけるKVキャッシュハンドオフのためのデッドライン対応ストリーミングFEC
- Abstract要約: マルチエージェント大規模言語モデル(LLM)システムは、複雑なタスクをサポートするために、エッジにますますデプロイされる。
タスクコンテキストがエージェントに渡されるとき、すでに上流エージェントによって処理されている共有コンテキストは、しばしば再びプリフィルされる必要がある。
既にプリフィルされているキー値(KV)キャッシュを再利用することは、この再計算を避けることができるが、受信エージェントが生成を開始する前に再利用可能なKV状態がネットワーク間で転送される必要がある。
本稿では,モデル側KVの重要性とトランスポート側信頼性を両立させるユーティリティ対応KVキャッシュハンドオフ方式であるプライオリティFECを提案する。
- 参考スコア(独自算出の注目度): 20.467175843508414
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multi-agent large language model (LLM) systems are increasingly deployed at the edge to support complex tasks that require collaboration and information exchange among multiple agents. However, when task contexts are passed across agents, shared context that has already been processed by upstream agents often needs to be prefilled again, resulting in substantial redundant computation. Reusing an already prefilled key--value (KV) cache can avoid this recomputation, but requires the reusable KV state to be transferred across the network before the receiving agent can begin generation. Under strict time-to-first-token (TTFT) deadlines and unreliable edge links, delivering the complete KV cache may be infeasible, making it necessary to prioritize and protect the most valuable KV information within a limited transmission budget. This paper proposes PriorityFEC, a utility-aware KV-cache handoff scheme that jointly exploits model-side KV importance and transport-side reliability. PriorityFEC first constructs a utility-aware source stream by placing high-utility KV blocks at earlier transmission positions. It then protects the ordered stream using a feedback-adaptive Streaming Forward Erasure Correction (FEC) mechanism, which schedules repair packets according to receiver feedback before the TTFT deadline. We implement PriorityFEC on a distributed edge LLM serving prototype and evaluate it with Qwen2.5-7B-Instruct and Llama-3.1-8B-Instruct across multiple datasets. Results show that PriorityFEC achieves superior task quality over the compared transport schemes, with its advantages becoming particularly pronounced under stringent deadline constraints. These results demonstrate the importance of jointly optimizing KV-cache utility and deadline-aware transport reliability when reusable LLM state must be handed off across unreliable edge networks.
- Abstract(参考訳): マルチエージェント大規模言語モデル(LLM)システムは、複数のエージェント間での協調や情報交換を必要とする複雑なタスクをサポートするために、エッジにますますデプロイされている。
しかし、タスクコンテキストがエージェント間で渡される場合、アップストリームエージェントによって既に処理されている共有コンテキストは、しばしば再びプリフィルする必要があるため、かなりの冗長な計算が発生する。
既にプリフィルされているキー値(KV)キャッシュを再利用することは、この再計算を避けることができるが、受信エージェントが生成を開始する前に再利用可能なKV状態がネットワーク間で転送される必要がある。
厳格なTTFT (Time-to-First-Token) 期限と信頼性の低いエッジリンクの下では、完全なKVキャッシュを配信することは不可能であり、限られた送信予算内で最も重要なKV情報を優先順位付けし保護する必要がある。
本稿では,モデル側KVの重要性とトランスポート側信頼性を両立させるユーティリティ対応KVキャッシュハンドオフ方式であるプライオリティFECを提案する。
プライオリティFECは、先述の送信位置に高ユーティリティKVブロックを配置することで、ユーティリティ対応のソースストリームを最初に構築する。
次に、TTFT期限前に受信者からのフィードバックに従ってパケットの修復をスケジュールするフィードバック適応型ストリームフォワード消去補正(FEC)機構を用いて順序付きストリームを保護する。
分散エッジLLMサービスプロトタイプ上にプライオリティFECを実装し,複数のデータセットにまたがるQwen2.5-7BインストラクトとLlama-3.1-8Bインストラクトで評価する。
その結果,プライオリティFECは比較した輸送方式よりも優れたタスク品質を達成でき,その利点は厳密な期限制約の下で特に顕著になることがわかった。
これらの結果から,再利用可能なLCM状態が信頼できないエッジネットワーク間で引き渡さなければならない場合,KV-cacheユーティリティとデッドライン・アウェア・トランスポートの信頼性を両立させることの重要性が示唆された。
関連論文リスト
- MA-HEAD-Net: Adaptive Rule-Guided Multi-Agent DRL for AoI Minimization in UAV-Assisted Emergency Networks [71.01350912967922]
事故後のシナリオでは、無人航空機(UAV)が緊急通信ネットワークを確立する上で重要である。
本稿では,UAV支援緊急通信における情報量(AoI)の最小化について検討する。
適応型ルール誘導多エージェント深層強化学習フレームワークMA-HEAD-Netを開発した。
論文 参考訳(メタデータ) (2026-08-02T10:05:50Z) - TRaM-VSR: Importance-Aware Token Routing and Merging for One-Step Diffusion Video Super-Resolution [52.96050253456634]
TRaM-VSRは、コンテキスト対応のビデオプリエントとネットワークレベルを用いた適応トークンアロケーションのためのフレームワークである。
その結果、TRaM-VSRは、最先端の復元品質と頑健な時間的整合性を維持しつつ、推論を著しく加速することがわかった。
論文 参考訳(メタデータ) (2026-07-24T11:57:26Z) - Lynx: Progressive Speculative Quantization for accelerating KV Transfer in Long-Context Inference [1.9857559596234147]
長文推論は、検索拡張生成とエージェントシステムによって駆動される大規模言語モデル(LLM)において、ますます一般的になっている。
近年のKV量子化技術はデータ量を削減し、このボトルネックを軽減するが、既存のスキームでは低レイテンシと高い推論精度を達成できない。
我々は、KVキャッシュを、最も重要なビットを持つ高優先度アンカーストリームと、残りの精度を持つ低優先度残留ストリームに分割することで、プログレッシブな分割ストリームKV転送を可能にするLynxを提案する。
論文 参考訳(メタデータ) (2026-07-02T07:52:43Z) - Blockchain-Enabled Routing for Zero-Trust Low-Altitude Intelligent Networks [77.17664010626726]
低高度インテリジェントネットワーク(LAIN)における複数のUAVクラスタによるルーティングに焦点を当てる。
潜在的な脅威によるダメージを最小限に抑えるため,ソフトウェア定義の周辺技術とブロックチェーン技術を用いたゼロトラストアーキテクチャを提案する。
提案手法は,平均E2E遅延を59%削減し,TSRを29%改善することを示した。
論文 参考訳(メタデータ) (2026-02-27T04:30:35Z) - Quantum Key Distribution for Virtual Power Plant Communication: A Lightweight Key-Aware Scheduler with Provable Stability [0.8122270502556375]
仮想発電所(VPP)は将来のグリッドの基盤となり、分散PV、風力、ストレージ、市場参加とリアルタイムのバランスのための柔軟な負荷を集約している。
PKIとキーローテーションスキームは、クロスドメイン、高周波メッセージング、長期量子脅威に直面している。
本稿では、量子鍵を第一級スケジューリングリソースとして扱うキー対応優先度とクォータフレームワークを提案する。
論文 参考訳(メタデータ) (2025-10-20T01:29:44Z) - FlowKV: A Disaggregated Inference Framework with Low-Latency KV Cache Transfer and Load-Aware Scheduling [10.298476019491146]
Flow KVは非凝集型推論フレームワークである。
これにより、KVキャッシュの平均伝送遅延を0.944sから0.053sに96%削減できる。
これは、通常、計算の不均衡、極端な過負荷条件など、様々なシナリオでピークシステムのスループットを達成する。
論文 参考訳(メタデータ) (2025-04-03T08:58:05Z) - Digital Twin-Assisted Federated Learning with Blockchain in Multi-tier Computing Systems [67.14406100332671]
産業用 4.0 システムでは、リソース制約のあるエッジデバイスが頻繁にデータ通信を行う。
本稿では,デジタルツイン (DT) とフェデレーション付きデジタルツイン (FL) 方式を提案する。
提案手法の有効性を数値解析により検証した。
論文 参考訳(メタデータ) (2024-11-04T17:48:02Z) - Guaranteed Dynamic Scheduling of Ultra-Reliable Low-Latency Traffic via
Conformal Prediction [72.59079526765487]
アップリンクにおける超信頼性・低遅延トラフィック(URLLC)の動的スケジューリングは、既存のサービスの効率を大幅に向上させることができる。
主な課題は、URLLCパケット生成のプロセスにおける不確実性である。
本稿では,URLLC トラフィック予測器の品質に関わらず,信頼性と遅延を保証した新しい URLLC パケットスケジューラを提案する。
論文 参考訳(メタデータ) (2023-02-15T14:09:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。