Fugu-MT 論文翻訳(概要): MAPS: Memory-Aware Predictive Scheduling Framework for Large Language Model Serving

論文の概要: MAPS: Memory-Aware Predictive Scheduling Framework for Large Language Model Serving

arxiv url: http://arxiv.org/abs/2609.15359v1
Date: Mon, 14 Sep 2026 10:43:42 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-16 07:15:06.28756
Title: MAPS: Memory-Aware Predictive Scheduling Framework for Large Language Model Serving
Title（参考訳）: MAPS: 大規模言語モデルサービングのためのメモリ対応予測スケジューリングフレームワーク
Abstract要約: パーソナルデバイス上の大規模言語モデル(LLM)アプリケーションは、クラウドサービスインフラストラクチャに巨大な、バースト的なワークロードを課します。分散LDMサービスに適したメモリアウェア予測スケジューリングフレームワークMAPSを提案する。我々は、MAPSが3つの最先端システムを大幅に上回り、平均エンド・ツー・エンドのレイテンシを42.6、テールのレイテンシを84.8に減らしたことを示す。
参考スコア（独自算出の注目度）: 22.18337792694688
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The surge of large language model (LLM) applications on personal devices imposes massive, bursty workloads on cloud serving infrastructure. While prefill-decode disaggregation improves throughput and scalability, memory-bound decode instances often suffer from persistent load imbalance, as output lengths are unknown when requests arrive at the cloud. To address this, we propose MAPS, a Memory-Aware Predictive Scheduling framework tailored for disaggregated LLM serving. MAPS performs device-assisted speculative output length prediction overlapped with cloud-side prefilling, incurring negligible latency overhead. To handle generation uncertainty, MAPS applies uncertainty-aware calibration to derive output-length upper bounds with target coverage, enabling safe scheduling decisions. Building on these bounds, MAPS employs a hierarchical global-local scheduling strategy to mitigate inter-decoder queue buildup and intra-decoder head-of-line blocking. Extensive experiments on two real-world workloads and two LLMs show that MAPS significantly outperforms three state-of-the-art systems, reducing average end-to-end latency by 42.6 and tail latency by up to 84.8.
Abstract（参考訳）: パーソナルデバイス上での大規模言語モデル(LLM)アプリケーションの急増は、クラウドサービスインフラストラクチャ上で巨大な、バースト的なワークロードを課している。プリフィル・デコード・デアグリゲーションはスループットとスケーラビリティを向上させるが、メモリバウンド・デコードインスタンスは要求がクラウドに届くと出力長が不明なため、永続的な負荷不均衡に悩まされることが多い。そこで本研究では,非集約型LCMサービスに適したメモリ・アウェア・予測スケジューリングフレームワークMAPSを提案する。 MAPSは、クラウドサイドのプリフィルと重複するデバイス支援の投機的出力長予測を実行し、無視可能な遅延オーバーヘッドを発生させる。生成の不確実性に対処するため、MAPSは出力長の上限を目標範囲に導出するために不確実性を考慮したキャリブレーションを適用し、安全なスケジューリング決定を可能にする。これらの境界の上に構築されたMAPSは、階層的なグローバルローカルスケジューリング戦略を用いて、デコーダ間キューのビルドとデコーダ内ヘッド・オブ・ラインブロッキングを緩和する。 2つの実世界のワークロードと2つのLLMに関する大規模な実験により、MAPSは3つの最先端システムを大幅に上回り、平均的なエンドツーエンドのレイテンシを42.6削減し、テールレイテンシを84.8まで短縮した。

関連論文リスト

End-to-End Latency-Minimizing and Load-Balanced Request Scheduling for Edge LLM Inference in Agentic AI Services [13.04369901641143]
大規模言語モデル(LLM)を使用したエージェントAIサービスでは、低レイテンシ推論がますます求められている。本研究では,各要求に対する送信,プリフィル,再分配レベル復号化,キー値キャッシュの進化をキャプチャするクロススロット推論モデルを開発した。本稿では,Lyapunov最適化による長期負荷分散制約を変換するLYREO手法を提案する。
論文参考訳（メタデータ） (2026-09-15T13:50:54Z)
DexWorldModel: Causal Latent World Modeling towards Automated Learning of Embodied Tasks [54.32016216994156]
本稿では,DINOv3特徴を生成対象として用い,視覚ノイズから相互作用意味を乱す因果潜在世界モデル(CLWM)を提案する。メモリスケーリングを克服するため、CLWMはDual-State Test-Time Training (TTT)メモリを備えている。 EmbodiChainは、トレーニング中に物理基底軌道の無限の流れを注入することによって効率法を確立するオンラインフレームワークである。
論文参考訳（メタデータ） (2026-04-13T03:19:36Z)
SpecEyes: Accelerating Agentic Multimodal LLMs via Speculative Perception and Planning [104.01865949020304]
エージェント・マルチモーダル・大規模言語モデル(MLLM)は,反復的な視覚的ツールの実行によって顕著な推論能力を達成する。しかし、カスケード認識、推論、ツール呼び出しループは、重要なシーケンシャルなオーバーヘッドをもたらす。このオーバーヘッドはエージェントディープと呼ばれ、禁止されたレイテンシを発生させ、システムレベルのスループットを著しく制限します。本稿では,エージェントレベルの投機的アクセラレーションフレームワークであるSpecEyesを提案する。
論文参考訳（メタデータ） (2026-03-24T17:45:47Z)
HALO: Semantic-Aware Distributed LLM Inference in Lossy Edge Network [50.33808558714122]
エッジでの大規模言語モデル(LLM)推論は、ユーザのプライバシを保護すると同時に、サービスの応答性を促進する。損失エッジネットワークにおける分散LLM推論を向上する新しいフレームワークであるHALOを提案する。 Raspberry Piクラスタによる実験の結果、HALOは信頼性の低いネットワーク条件下でLLaMAシリーズLLMの3.41倍のエンドツーエンドのスピードアップを達成した。
論文参考訳（メタデータ） (2026-01-16T07:37:23Z)
WISP: Waste- and Interference-Suppressed Distributed Speculative LLM Serving at the Edge via Dynamic Drafting and SLO-Aware Batching [9.305759319664483]
エッジデバイスからの推論要求の増加は、集中型GPUクラスタ上で計算される。 We propose WISP, a efficient and SLO-aware distributed LLM inference system which are a intelligent speculation controller, a confirmed time estimator and a verification batch scheduler。大規模な数値結果から、WISPはシステム容量を最大2.1倍、最大4.1倍に改善し、中央集権サービスとSLEDと比較してシステム出力を最大1.94倍、さらに3.7倍に向上することが示された。
論文参考訳（メタデータ） (2026-01-15T16:46:01Z)
PLA-Serve: A Prefill-Length-Aware LLM Serving System [33.313531352453346]
PLA-Serveは、TTFTレイテンシを低減するために、異なるプロンプト長でリクエストを特定し、分解する。提案手法は,適応型スケジューリング戦略のモチベーションとして,応答長の変動がボトルネックを生じさせることを観察する。 PLA-Serveは、プリフィル*-Lang*デコードデアグリゲーションの下でのバニラSGと比較して、プリフィル遅延を30%以上削減する。
論文参考訳（メタデータ） (2026-01-04T18:14:24Z)
Harli: SLO-Aware Co-location of LLM Inference and PEFT-based Finetuning on Model-as-a-Service Platforms [33.64527903547734]
Harliは、(最先端のサービスシステムまで)平均46.2%の微調整スループットを向上する Harliは、(最先端のサービスシステムまで)平均46.2%の微調整スループットを向上する
論文参考訳（メタデータ） (2025-11-13T05:58:52Z)
Semantic-Aware Scheduling for GPU Clusters with Large Language Models [60.14838697778884]
我々は、スケジューラと管理するジョブ間のセマンティックギャップを橋渡しするフレームワークであるSchedMateを提案する。 SchedMateは見過ごされ、構造化されていないデータソース(ソースコード、ランタイムログ、履歴ジョブ)から深い洞察を抽出する。我々は、SchedMateが平均ジョブ完了時間を最大1.91倍に短縮し、スケジューリング性能を大幅に向上させることを示す。
論文参考訳（メタデータ） (2025-10-02T02:01:02Z)
CSGO: Generalized Optimization for Cold Start in Wireless Collaborative Edge LLM Systems [62.24576366776727]
本稿では,全体の推論遅延を最小限に抑えるために,遅延を考慮したスケジューリングフレームワークを提案する。提案手法は,ベースライン戦略と比較して,コールドスタート遅延を著しく低減することを示す。
論文参考訳（メタデータ） (2025-08-15T07:49:22Z)
Progressive Mixed-Precision Decoding for Efficient LLM Inference [49.05448842542558]
我々は,デコーディングのメモリバウンドネスに対処するために,プログレッシブ・ミックス・プレシジョン・デコーディング(PMPD)を導入する。 PMPDはfp16モデルの行列ベクトル乗算において1.4$-$12.2$times$ Speedupを達成する。我々の手法は、fp16モデルよりも3.8$-$8.0$times$、均一量子化アプローチよりも1.54$times$のスループット向上をもたらす。
論文参考訳（メタデータ） (2024-10-17T11:46:33Z)
ConServe: Fine-Grained GPU Harvesting for LLM Online and Offline Co-Serving [61.35068981176018]
ConServeは、高いスループットと強力なオンラインレイテンシ保証を実現する大規模言語モデル(LLM)サービスシステムである。我々は,ConServeが平均2.2$times$高スループットを実現し,オンラインサービステールのレイテンシを最先端システムと比較して平均2.9$times$削減することを示した。
論文参考訳（メタデータ） (2024-10-02T04:12:13Z)
Fast Distributed Inference Serving for Large Language Models [12.703624317418237]
大規模言語モデル(LLM)のための分散推論サービスシステムであるFastServeについて述べる。 FastServeはLLM推論の自己回帰パターンを利用して、各出力トークンの粒度のプリエンプションを可能にする。我々は,FastServeのシステムプロトタイプを構築し,最先端のソリューションであるvLLMと比較して,同じ平均および末尾遅延条件下でのスループットを最大31.4xと17.9xに改善したことを示す。
論文参考訳（メタデータ） (2023-05-10T06:17:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。