論文の概要: TOPAS: Workflow-Aware Prefix-State Scheduling for Multi-Agent LLM Serving

• arxiv url: http://arxiv.org/abs/2608.25523v1
• Date: Wed, 26 Aug 2026 08:33:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-27 14:15:15.684962
• Title: TOPAS: Workflow-Aware Prefix-State Scheduling for Multi-Agent LLM Serving
• Title（参考訳）: TOPAS:マルチエージェントLLMサービングのためのワークフロー対応プレフィックス状態スケジューリング
• Abstract要約: タスク指向のプレフィックス・アウェア・スケジューラTOPASを提案する。 TOPASは、各タスクの最も長いサービスパスの期待される削減をトレードオフすることで、候補の事後状態をスコアする。 TOPASは各ワークロードとメトリックの最高のパフォーマンスベースラインと比較して、平均/p99 JCTを最大39.8%削減する。
• 参考スコア（独自算出の注目度）: 8.123227365399869
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Prefix caching introduces a fundamental tradeoff in multi-agent large language model (LLM) serving: retaining a long system-prompt key-value (KV) cache for an agent accelerates future calls, yet it reduces the GPU memory available for batching concurrent requests. In multi-stage workflows, existing schedulers tend to prioritize either immediate prefix locality or overall workflow progress. However, under a shared KV cache budget, optimizing either objective in isolation can prolong tasklevel job completion time (JCT) through downstream delays or frequent prefix replacement. To strike a balance, we here propose TOPAS, a Task-Oriented Prefix-Aware Scheduler that jointly decides which agent prefixes to keep in the cache and which requests to schedule for execution. TOPAS scores candidate post-decision states by trading off the expected reduction in each task's longest remaining service path against the near-term benefit of downstream prefix reuse, accounting for the costs of prefix movement and preemption. A task-level aging mechanism is also incorporated to prevent starvation. We implement TOPAS within the SGLang framework and assess its performance on three synthetic DAGs and two MetaGPT software-development workflows. Compared with the best performing baseline for each workload and metric, TOPAS reduces the mean/p99 JCT by up to 39.8%/49.4% on the synthetic workloads, while lowering mean JCT by 9.8% on MetaGPT-SOP and mean/p99 JCT by 22.0%/26.6% on MetaGPT-TL.
• Abstract（参考訳）: エージェントのための長いシステムプロンプトキー値(KV)キャッシュを維持することで、将来の呼び出しを加速するが、同時リクエストのバッチ化に利用可能なGPUメモリを削減できる。 マルチステージワークフローでは、既存のスケジューラはプレフィックスの局所性や全体的なワークフローの進捗を優先する傾向にある。 しかし、共有KVキャッシュの予算では、どちらかの目的を独立して最適化することは、下流の遅延や頻繁なプレフィックス置換を通じてタスクレベルのジョブ完了時間(JCT)を延ばすことができる。 ここでは、キャッシュに保持するエージェントプレフィックスと、実行のスケジュールを要求するエージェントプレフィックスを共同で決定するタスク指向のPrefix-Aware SchedulerであるTOPASを提案する。 TOPASは、各タスクが持つ最長のサービスパスの削減を、下流でのプレフィックス再利用の短期的利益と引き換えに、プレフィックスの移動とプリエンプションのコストを考慮に入れて、候補の事後状態を評価する。 飢餓を防ぐためにタスクレベルの老化機構も組み込まれている。 SGLangフレームワーク内にTOPASを実装し、3つの合成DAGと2つのMetaGPTソフトウェア開発ワークフロー上での性能を評価する。 TOPASは各ワークロードとメトリックの最高のパフォーマンスベースラインと比較して、平均/p99 JCTを39.8%/49.4%まで、MetaGPT-SOPでは平均JCTを9.8%、MetaGPT-TLでは平均/p99 JCTを22.0%/26.6%削減する。

関連論文リスト

• Cloud Workflow Scheduling Based on Graph Attention-Driven Hierarchical Reinforcement Learning [10.978371228753518]
  本稿では,GA-HRL(Graph Attention-Driven Reinforcement Learning)フレームワークとモデルスケジューリングプロセスを開発する。 タスク実行速度、配置に依存した通信、タスクとコンテナの決定の結合に対処しながら、納期満足度、コンテナ利用、エネルギー消費のバランスを取る。 2018年のAlibabaクラスタトレースの実験によると、GA-HRLは競争力のあるワークフローの成功率を維持しており、成功率が同等な環境では、コンテナの利用率の向上とエネルギー消費量の削減を実現している。
  論文  参考訳（メタデータ） (2026-09-14T02:50:40Z)
• Workload-Aware Caching for Multi-Agent Systems [3.2309496907010384]
  キャッシュ消去ポリシーは、すべてのキャッシュされたエントリをアクセス履歴に基づいて一様に扱い、構造的およびワークロードの信号を無視します。 本稿では,再計算コスト,DAG依存性数,エージェント起動頻度という3つの信号を組み合わせた作業負荷対応の消去ポリシーを統一スコアリング関数として提案する。 我々のポリシーは、キャッシュされていないベースラインと比較してレイテンシを最大64.7%削減し、次のベストな有限容量ベースラインに対して平均31.1%のレイテンシ削減を達成する。
  論文  参考訳（メタデータ） (2026-06-14T02:13:27Z)
• HeraSys: Collaborative Serving of Multiple LLM Workflows via Fine-Grained End-to-End Optimization [11.533835891575565]
  HeraSysは並列処理のエンドツーエンドパフォーマンスを最適化するために設計されたサービスシステムである。 HeraSysは、厳格なレイテンシ保証の下で、P99のレイテンシを最大2.17ドルの時間でスループットを提供する。
  論文  参考訳（メタデータ） (2026-06-07T03:14:57Z)
• SAGA: Workflow-Atomic Scheduling for AI Agent Inference on GPU Clusters [13.891522069967507]
  本稿では,複合AIワークロードのプログラムレベルスケジューリングへのシフトを提案する。 本稿では,この抽象化を実現する分散スケジューラSAGAを提案する。
  論文  参考訳（メタデータ） (2026-05-01T09:05:28Z)
• Why Search When You Can Transfer? Amortized Agentic Workflow Design from Structural Priors [51.95306551061392]
  エージェントワークフローの自動設計は、現在、タスクごとの反復検索に依存している。 本稿では,ワークフロー設計を再利用可能な構造的先入観に補正するフレームワークであるSWIFTを提案する。 SWIFTは5つのベンチマークで最先端の検索手法より優れている。
  論文  参考訳（メタデータ） (2026-04-27T21:25:00Z)
• Chimera: Latency- and Performance-Aware Multi-agent Serving for Heterogeneous LLMs [62.17306142810532]
  ヘテロジニアスLSMクラスタ上で動作するマルチエージェントワークフローの予測スケジューリングシステムであるChimeraを提案する。 Chimeは最高のレイテンシをトレースし、エンドツーエンドのレイテンシを1.2-2.4$times$で削減し、タスクパフォーマンスを平均8.0-9.5ポイント改善する。
  論文  参考訳（メタデータ） (2026-03-23T17:01:42Z)
• Astraea: A State-Aware Scheduling Engine for LLM-Powered Agents [12.884297990127985]
  Astraeaは、最適化をローカルセグメントからグローバルリクエストライフサイクルに移行するように設計されたサービスエンジンである。 これは、リクエストの履歴状態と将来の予測を統合する、ステートアウェアで階層的なスケジューリングアルゴリズムを採用している。 Astraea は平均 JCT を基準法に比べて 25.5% 削減する。
  論文  参考訳（メタデータ） (2025-12-16T06:55:10Z)
• DEPO: Dual-Efficiency Preference Optimization for LLM Agents [75.6723341304463]
  本稿では、簡潔な応答とアクションステップの低減を両立させる二重効率優先最適化手法DEPOを提案する。 WebShopとBabyAIの実験によると、DECOはトークンの使用量を最大60.9%削減し、ステップを最大26.9%削減し、パフォーマンスは最大29.3%向上した。
  論文  参考訳（メタデータ） (2025-11-19T12:38:43Z)
• Priority-Aware Preemptive Scheduling for Mixed-Priority Workloads in MoE Inference [4.7730970530715835]
  大規模言語モデルは自然言語処理に革命をもたらしたが、データセンターで効率的に処理するのは難しい。 我々は、Mixture of Experts(MoE)モデル用に設計された新しい推論システムQLLMを紹介する。 QLLMはエキスパートレベルのプリエンプションを可能にし、LS Time-to-First-Token(TTFT)を最小化しながらBEジョブの実行を遅延させる。
  論文  参考訳（メタデータ） (2025-03-12T11:56:01Z)
• LiNeS: Post-training Layer Scaling Prevents Forgetting and Enhances Model Merging [80.17238673443127]
  LiNeSは、微調整タスク性能を向上しつつ、事前訓練された一般化を維持するために設計されたポストトレーニング編集技術である。 LiNeSは、視覚と自然言語処理のさまざまなベンチマークにおいて、シングルタスクとマルチタスクの両方で大幅に改善されている。
  論文  参考訳（メタデータ） (2024-10-22T16:26:05Z)
• DASA: Delay-Adaptive Multi-Agent Stochastic Approximation [64.32538247395627]
  我々は,N$エージェントが並列に動作し,中央サーバと通信することで,一般的な近似問題を高速化することを目的とした設定を考える。 遅延とストラグラーの効果を軽減するために,マルチエージェント近似のための遅延適応アルゴリズムである textttDASA を提案する。
  論文  参考訳（メタデータ） (2024-03-25T22:49:56Z)
• A Feedback Scheme to Reorder a Multi-Agent Execution Schedule by Persistently Optimizing a Switchable Action Dependency Graph [65.70656676650391]
  複数の自動誘導車両 (AGV) が共通作業空間をナビゲートし, 様々な作業を行う。 一つのアプローチは、Action Dependency Graph (ADG)を構築し、そのルートに沿って進むとAGVの順序を符号化する。 ワークスペースが人間やサードパーティロボットのような動的障害によって共有されている場合、AGVは大きな遅延を経験することができる。 本稿では,各AGVの経路完了時間を最小限に抑えるために,非循環ADGを繰り返し修正するオンライン手法を提案する。
  論文  参考訳（メタデータ） (2020-10-11T14:39:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。