論文の概要: HeraSys: Collaborative Serving of Multiple LLM Workflows via Fine-Grained End-to-End Optimization

• arxiv url: http://arxiv.org/abs/2607.22578v1
• Date: Sun, 07 Jun 2026 03:14:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-02 22:55:38.975779
• Title: HeraSys: Collaborative Serving of Multiple LLM Workflows via Fine-Grained End-to-End Optimization
• Title（参考訳）: HeraSys: 細粒度エンドツーエンド最適化による複数のLLMワークフローの協調実行
• Abstract要約: HeraSysは並列処理のエンドツーエンドパフォーマンスを最適化するために設計されたサービスシステムである。 HeraSysは、厳格なレイテンシ保証の下で、P99のレイテンシを最大2.17ドルの時間でスループットを提供する。
• 参考スコア（独自算出の注目度）: 11.533835891575565
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The proliferation of Large Language Models (LLMs) has shifted serving systems from processing isolated requests to orchestrating high-concurrency, multi-tenant agentic workflows. However, existing solutions typically prioritize intra-workflow optimization, largely neglecting the significant potential for inter-workflow optimization. In this paper, we propose HeraSys, an LLM serving system designed to optimize the end-to-end performance of concurrent workflows. Through fine-grained orchestration, HeraSys eliminates cross-workflow computational redundancy via structural node merging and reuse. Furthermore, HeraSys introduces a load-aware joint scheduling policy that dynamically manages execution order by evaluating both inter- and intra-query priorities. By integrating a resource skewing mechanism with adaptive batching and pipeline decomposition, HeraSys effectively mitigates tail latency while maintaining low average latency, thereby substantially improving system throughput. Extensive experiments demonstrate that HeraSys reduces P99 latency by up to 2.17$\times$ and increases serving throughput by up to 1.85$\times$ under strict latency guarantees.
• Abstract（参考訳）: LLM(Large Language Models)の普及により,サービスシステムの独立した要求処理から,高精度でマルチテナントなエージェントワークフローのオーケストレーションへと移行した。 しかし、既存のソリューションは通常、ワークフロー内最適化を優先し、ワークフロー間最適化の重要な可能性を無視している。 本稿では,並列ワークフローのエンドツーエンド性能を最適化するLLMサービスシステムであるHeraSysを提案する。 きめ細かいオーケストレーションを通じて、HeraSysは構造ノードのマージと再利用を通じて、クロスワークフローの計算冗長性を排除します。 さらに、HiraSysはロードアウェアな共同スケジューリングポリシーを導入し、クエリ内とクエリ内の両方の優先順位を評価することで実行順序を動的に管理する。 HeraSysはリソースのスキューイング機構と適応的なバッチ処理とパイプラインの分解を統合することで、低平均レイテンシを維持しながらテールレイテンシを効果的に軽減し、システムスループットを大幅に改善する。 大規模な実験により、HeraSysはP99レイテンシを最大2.17$\times$に削減し、厳格なレイテンシ保証の下でスループットを最大1.85$\times$に向上することを示した。

関連論文リスト

• Multi-Timescale Latent-Action DRL for Joint Optimization in Edge-Cloud Networks [48.421359451414155]
  エッジクラウドとレイヤ間のロード不均衡は、レイテンシのパフォーマンスを低下させる。 動的タスク到着と異種リソースの下での階層型エッジクラウドコンピューティングシステム。 本稿では,サービス配置を最適化するための行動空間(2MDRL-LA)を用いた2時間深層学習研究を提案する。 平均e2e遅延を20.8%削減し、計画よりも13%改善した。
  論文  参考訳（メタデータ） (2026-06-30T11:56:15Z)
• CoMem: Context Management with A Decoupled Long-Context Model [68.6597154502361]
  CoMemは、プライマリエージェントワークフローからメモリ管理を分離するフレームワークである。 我々は、CoMemがバニラロングコンテキストソリューションで1.4倍のレイテンシ改善を実現していることを示す。
  論文  参考訳（メタデータ） (2026-05-29T04:59:32Z)
• Chimera: Latency- and Performance-Aware Multi-agent Serving for Heterogeneous LLMs [62.17306142810532]
  ヘテロジニアスLSMクラスタ上で動作するマルチエージェントワークフローの予測スケジューリングシステムであるChimeraを提案する。 Chimeは最高のレイテンシをトレースし、エンドツーエンドのレイテンシを1.2-2.4$times$で削減し、タスクパフォーマンスを平均8.0-9.5ポイント改善する。
  論文  参考訳（メタデータ） (2026-03-23T17:01:42Z)
• FlowPrefill: Decoupling Preemption from Prefill Scheduling Granularity to Mitigate Head-of-Line Blocking in LLM Serving [13.856291757420012]
  長期にわたる要求はリソースを独占し、より高いプライオリティの要求を遅らせ、TTFT(Time-to-first-token)サービスレベルの違反を広範囲に発生させる。 本稿では,TTFTに最適化されたサービスシステムであるFlowPrefillを提案する。 FlowPrefillは最先端システムと比較して最大出力を最大5.6$times$に改善することを示す。
  論文  参考訳（メタデータ） (2026-02-18T16:57:45Z)
• Cloud-Fog-Edge Collaborative Computing for Sequential MIoT Workflow: A Two-Tier DDPG-Based Scheduling Framework [2.5263430338308557]
  Medical Internet of Things(MIoT)は、異質なクラウドフォッグエッジインフラストラクチャ上にデプロイされたシーケンシャルなヘルスケアに対して、厳しいエンドツーエンドのレイテンシ保証を要求する。 本稿では,スケジューリング決定を階層的なプロセスに分解する2層DDPGベースのスケジューリングフレームワークを提案する。 実験の結果、我々のアプローチを検証し、複雑さが増大するにつれて、ベースラインよりもパフォーマンスが向上することを示した。
  論文  参考訳（メタデータ） (2025-10-24T03:58:31Z)
• AoI-Aware Task Offloading and Transmission Optimization for Industrial IoT Networks: A Branching Deep Reinforcement Learning Approach [43.261887758877386]
  産業用モノのインターネット(Industrial Internet of Things, IIoT)では、無線ネットワーク上で大量のデータを頻繁に送信することは、厳しいタイムライン要件を満たす必要がある。 Information (AoI)-aware multi-base station (BS) real-time monitoring framework to support extensive IIoT deployments。
  論文  参考訳（メタデータ） (2025-10-18T09:14:39Z)
• CSGO: Generalized Optimization for Cold Start in Wireless Collaborative Edge LLM Systems [62.24576366776727]
  本稿では,全体の推論遅延を最小限に抑えるために,遅延を考慮したスケジューリングフレームワークを提案する。 提案手法は,ベースライン戦略と比較して,コールドスタート遅延を著しく低減することを示す。
  論文  参考訳（メタデータ） (2025-08-15T07:49:22Z)
• Sparser is Faster and Less is More: Efficient Sparse Attention for Long-Range Transformers [58.5711048151424]
  SPARSEK Attention(SPARSEK Attention)は、計算およびメモリ障害を克服するために設計された、新しいスパースアテンション機構である。 提案手法では,各クエリに対して一定数のKVペアを選択するために,スコアリングネットワークと差別化可能なトップkマスク演算子であるSPARSEKを統合する。 実験結果から,SPARSEK注意は従来のスパースアテンション法よりも優れていた。
  論文  参考訳（メタデータ） (2024-06-24T15:55:59Z)
• Client Orchestration and Cost-Efficient Joint Optimization for NOMA-Enabled Hierarchical Federated Learning [55.49099125128281]
  半同期クラウドモデルアグリゲーションの下で非直交多重アクセス(NOMA)を実現するHFLシステムを提案する。 提案手法は,HFLの性能改善と総コスト削減に関するベンチマークよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-11-03T13:34:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。