Fugu-MT 論文翻訳(概要): End-to-End Latency-Minimizing and Load-Balanced Request Scheduling for Edge LLM Inference in Agentic AI Services

論文の概要: End-to-End Latency-Minimizing and Load-Balanced Request Scheduling for Edge LLM Inference in Agentic AI Services

arxiv url: http://arxiv.org/abs/2609.17193v1
Date: Tue, 15 Sep 2026 13:50:54 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-16 14:56:08.549104
Title: End-to-End Latency-Minimizing and Load-Balanced Request Scheduling for Edge LLM Inference in Agentic AI Services
Title（参考訳）: エージェントAIサービスにおけるエッジLLM推論のためのエンドツーエンドのレイテンシ最小化とロードバランシング要求スケジューリング
Abstract要約: 大規模言語モデル(LLM)を使用したエージェントAIサービスでは、低レイテンシ推論がますます求められている。本研究では,各要求に対する送信,プリフィル,再分配レベル復号化,キー値キャッシュの進化をキャプチャするクロススロット推論モデルを開発した。本稿では,Lyapunov最適化による長期負荷分散制約を変換するLYREO手法を提案する。
参考スコア（独自算出の注目度）: 13.04369901641143
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Large language model (LLM)-powered agentic AI services increasingly demand low-latency inference, motivating the deployment of LLMs across distributed edge servers. However, heterogeneous communication and computing capabilities, together with dynamically evolving inference states, make the edge server selection for each incoming request time-varying and tightly coupled across slots. In this paper, we investigate an online request scheduling framework for edge LLM inference that jointly minimizes long-term average end-to-end latency and regulates workload distribution across heterogeneous edge servers. Two main challenges arise in this context. First, conventional latency models cannot accurately capture the fine-grained dynamics of multi-stage LLM execution. Second, the latency consequence of a scheduling decision is observed only after request completion, making immediate decision evaluation difficult. To address these challenges, we develop a cross-slot inference model that captures transmission, prefill, iteration-level decoding, and key-value (KV) cache evolution for each diverse request, and characterize server workload through a KV cache memory-time consumption metric. We propose the LYREO approach that transforms the long-term load-balancing constraint via Lyapunov optimization and employs reward redistribution with sequencebased return prediction to convert delayed outcomes into timely learning signals for earlier decisions. Simulations under various configurations demonstrate that LYREO consistently achieves lower latency and more balanced load distribution than representative learning-based and heuristic baseline schemes.
Abstract（参考訳）: 大規模言語モデル(LLM)を使用したエージェントAIサービスは、低レイテンシ推論をますます要求し、分散エッジサーバへのLSMのデプロイを動機付けている。しかし、不均一な通信と計算能力は、動的に進化する推論状態とともに、受信要求ごとにエッジサーバの選択を時間変化させ、スロットをまたいで密結合させる。本稿では、エッジLLM推論のためのオンライン要求スケジューリングフレームワークについて検討し、長期平均エンドツーエンドのレイテンシを最小化し、異種エッジサーバ間のワークロード分散を規制する。この文脈で2つの大きな課題が生じる。第一に、従来のレイテンシモデルでは、マルチステージLLM実行のきめ細かいダイナミクスを正確に捉えることはできない。第2に、要求完了後のみスケジュール決定の遅延結果が観察され、即時決定評価が困難になる。これらの課題に対処するため,各要求に対して送信,プリフィル,イテレーションレベルの復号化,キー値(KV)キャッシュの進化をキャプチャするクロススロット推論モデルを開発し,KVキャッシュのメモリ時間消費メトリックによってサーバのワークロードを特徴付ける。本稿では,Lyapunov最適化による長期負荷分散制約を変換するLYREO手法を提案する。様々な構成下でのシミュレーションにより、LYREOは一般的な学習ベースおよびヒューリスティックベースラインスキームよりも低レイテンシとよりバランスの取れた負荷分布を実現している。

関連論文リスト

BALANCE: Hybrid Autoregressive-Speculative LLM Inference in Wireless Edge Networks [12.929167421781074]
エッジ推論は、次世代モバイルネットワークで大規模言語モデル(LLM)推論サービスを提供するための有望なパラダイムである。 LLM推論は主に2つのアプローチに依存している: 自己回帰復号(AD)は出力トークンを逐次生成し、長いレイテンシをもたらす。エッジLLM推論のためのハイブリッド自己回帰-投機的推論(BALANCE)フレームワークを提案する。
論文参考訳（メタデータ） (2026-08-06T11:57:36Z)
Multi-Agent Reinforcement Learning for Online Traffic Scheduling in Time-Sensitive Application [3.6371794661986816]
タイムセンシティブネットワーク(TSN)がモバイルエッジコンピューティング(MEC)に統合される本稿では,TSNスケジューリングのためのマルチエージェント強化学習(MARL)フレームワークを提案する。提案手法により、平均フレーム待ち時間を最大26.8%削減し、最悪のケース遅延を約16.8%削減し、動的XR駆動MECシナリオにおけるその有効性を強調した。
論文参考訳（メタデータ） (2026-08-05T19:06:42Z)
Multi-Turn Reasoning LLMs for Task Offloading in Mobile Edge Computing [15.718757401948304]
我々は,MECシステムにおける前向きな意思決定を可能にする生成フレームワークであるCOMLLMを提案する。 COMLLMは、ほぼ最適レイテンシを実現し、ロードバランシングの公平性を向上する。特に、ゼロショットのスケーラビリティを示し、小規模ネットワークでトレーニングされたモデルは、再トレーニングすることなく、より大きく、目に見えないトポロジに一般化することができる。
論文参考訳（メタデータ） (2026-04-08T14:38:48Z)
Chimera: Latency- and Performance-Aware Multi-agent Serving for Heterogeneous LLMs [62.17306142810532]
ヘテロジニアスLSMクラスタ上で動作するマルチエージェントワークフローの予測スケジューリングシステムであるChimeraを提案する。 Chimeは最高のレイテンシをトレースし、エンドツーエンドのレイテンシを1.2-2.4$times$で削減し、タスクパフォーマンスを平均8.0-9.5ポイント改善する。
論文参考訳（メタデータ） (2026-03-23T17:01:42Z)
FlowPrefill: Decoupling Preemption from Prefill Scheduling Granularity to Mitigate Head-of-Line Blocking in LLM Serving [13.856291757420012]
長期にわたる要求はリソースを独占し、より高いプライオリティの要求を遅らせ、TTFT(Time-to-first-token)サービスレベルの違反を広範囲に発生させる。本稿では,TTFTに最適化されたサービスシステムであるFlowPrefillを提案する。 FlowPrefillは最先端システムと比較して最大出力を最大5.6$times$に改善することを示す。
論文参考訳（メタデータ） (2026-02-18T16:57:45Z)
HALO: Semantic-Aware Distributed LLM Inference in Lossy Edge Network [50.33808558714122]
エッジでの大規模言語モデル(LLM)推論は、ユーザのプライバシを保護すると同時に、サービスの応答性を促進する。損失エッジネットワークにおける分散LLM推論を向上する新しいフレームワークであるHALOを提案する。 Raspberry Piクラスタによる実験の結果、HALOは信頼性の低いネットワーク条件下でLLaMAシリーズLLMの3.41倍のエンドツーエンドのスピードアップを達成した。
論文参考訳（メタデータ） (2026-01-16T07:37:23Z)
CSGO: Generalized Optimization for Cold Start in Wireless Collaborative Edge LLM Systems [62.24576366776727]
本稿では,全体の推論遅延を最小限に抑えるために,遅延を考慮したスケジューリングフレームワークを提案する。提案手法は,ベースライン戦略と比較して,コールドスタート遅延を著しく低減することを示す。
論文参考訳（メタデータ） (2025-08-15T07:49:22Z)
Adaptive Deadline and Batch Layered Synchronized Federated Learning [66.93447103966439]
フェデレートラーニング(FL)は、データプライバシを保持しながら、分散エッジデバイス間で協調的なモデルトレーニングを可能にする。我々は,レイヤワイドアグリゲーションのために,ラウンド単位の期限とユーザ固有のバッチサイズを共同で最適化する新しいフレームワークADEL-FLを提案する。
論文参考訳（メタデータ） (2025-05-29T19:59:18Z)
The Larger the Merrier? Efficient Large AI Model Inference in Wireless Edge Networks [56.37880529653111]
大規模計算モデル(LAIM)サービスの需要は、従来のクラウドベースの推論から、低レイテンシでプライバシ保護のアプリケーションのためのエッジベースの推論へのパラダイムシフトを推進している。本稿では,事前学習したLAIMをデバイス上のサブモデルとサーバ上のサブモデルに分割して配置するLAIM推論方式について検討する。
論文参考訳（メタデータ） (2025-05-14T08:18:55Z)
ALISE: Accelerating Large Language Model Serving with Speculative Scheduling [7.367068885621016]
大規模言語モデル(LLM)は、現代の人工知能(AGI)の展望における革命的な進歩を表している。本稿では, ALISE という新しい効率的な LLM 推論サービスフレームワークを提案する。 ALISEは,AlpacaデータセットとShareGPTデータセットと同じレイテンシ制約の下で,最大1.8xと2.1xの推論処理のスループットを向上することを示す。
論文参考訳（メタデータ） (2024-10-31T00:58:11Z)
Client Orchestration and Cost-Efficient Joint Optimization for NOMA-Enabled Hierarchical Federated Learning [55.49099125128281]
半同期クラウドモデルアグリゲーションの下で非直交多重アクセス(NOMA)を実現するHFLシステムを提案する。提案手法は,HFLの性能改善と総コスト削減に関するベンチマークよりも優れていることを示す。
論文参考訳（メタデータ） (2023-11-03T13:34:44Z)
Efficient Parallel Split Learning over Resource-constrained Wireless Edge Networks [44.37047471448793]
本稿では,エッジコンピューティングパラダイムと並列分割学習(PSL)の統合を提唱する。そこで本研究では,モデル学習を高速化するために,効率的な並列分割学習(EPSL)という革新的なPSLフレームワークを提案する。提案するEPSLフレームワークは,目標精度を達成するために必要なトレーニング遅延を著しく低減することを示す。
論文参考訳（メタデータ） (2023-03-26T16:09:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。