論文の概要: SwarmX: Agentic Scheduling for Low-Latency Agentic Systems
- arxiv url: http://arxiv.org/abs/2606.21401v1
- Date: Fri, 19 Jun 2026 13:11:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-25 13:39:15.870824
- Title: SwarmX: Agentic Scheduling for Low-Latency Agentic Systems
- Title(参考訳): SwarmX:低レイテンシエージェントシステムのためのエージェントスケジューリング
- Authors: Yeqi Huang, Yanwei Ye, Guomin Chen, Wenhao Su, Bin Gong, Jialian Li, Zhan Lu, Yangshen Deng, Xuan Sun, Le Xu, Luo Mai,
- Abstract要約: エージェントAIアプリケーションは、複数のモデル呼び出しとツール実行を構成し、GPU-CPUクラスタのための新しいスケジューリング課題を生成する。
本稿では,低遅延エージェントアプリケーションのためのエージェントスケジューリングを実装したSwarmXを提案する。
マルチエージェントコード生成、ディープリサーチ、マルチモーダルエージェントを通じて、SwarmXは最先端スケジューラと比較してテールレイテンシを最大61.5%削減する。
- 参考スコア(独自算出の注目度): 11.601240586814555
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Agentic AI applications compose multiple model calls and tool executions, creating new scheduling challenges for GPU-CPU clusters. Their inference time and model-call structure often depend on prompt semantics, making conventional scheduling approaches ineffective for low-latency serving. This paper presents SwarmX, a system that implements agentic scheduling for low-latency agentic applications. SwarmX uses scheduling-specific neural predictors to capture prompt, device, runtime, and target-model features; exposes distributional predictions to routers and scalers for tail-aware decisions; and provides mechanisms for predictor training and online adaptation. These predictors and mechanisms are integrated into a scheduler-agent framework that provides a common substrate for integration with existing scheduling and model-serving infrastructure. We evaluate SwarmX using production deployment (nearly one thousand GPUs and one million CPU cores) and controlled experiments on a 128-GPU testbed. Across multi-agent code generation, deep research, and multimodal agentic workflows, SwarmX reduces tail latency by up to 61.5% compared to state-of-the-art schedulers and sustains up to 2x the throughput of production schedulers under the same SLO.
- Abstract(参考訳): エージェントAIアプリケーションは、複数のモデル呼び出しとツール実行を構成し、GPU-CPUクラスタのための新しいスケジューリング課題を生成する。
推論時間とモデルコール構造は、しばしばプロンプトセマンティクスに依存するため、従来のスケジューリング手法は低遅延サービスには有効ではない。
本稿では,低遅延エージェントアプリケーションのためのエージェントスケジューリングを実装したSwarmXを提案する。
SwarmXは、プロンプト、デバイス、ランタイム、ターゲットモデルの特徴をキャプチャするためにスケジューリング固有の神経予測器を使用し、テールアウェアの判断のためにルータとスケーラに分散予測を公開し、予測器のトレーニングとオンライン適応のためのメカニズムを提供する。
これらの予測器とメカニズムはスケジューラエージェントフレームワークに統合され、既存のスケジューリングとモデル提供インフラストラクチャとの統合のための共通基盤を提供する。
実運用環境(約1000GPUと100万台のCPUコア)を使用してSwarmXを評価し,128GPUテストベッド上で実験を制御した。
マルチエージェントコード生成、ディープリサーチ、マルチモーダルエージェントワークフローを通じて、SwarmXは最先端のスケジューラと比較してテールレイテンシを最大61.5%削減し、同じSLOの下でプロダクションスケジューラのスループットを最大2倍維持する。
関連論文リスト
- AgentJet: A Flexible Swarm Training Framework for Agentic Reinforcement Learning [32.00960368150743]
AgentJetは、大規模言語モデル(LLM)エージェント強化学習のための分散フレームワークである。
Swarmサーバノードはトレーニング可能なモデルをホストし、GPUクラスタ上で最適化を実行する一方、Swarmクライアントノードは任意のデバイス上で任意のエージェントを実行する。
論文 参考訳(メタデータ) (2026-06-03T06:02:52Z) - Speculative Interaction Agents: Building Real-Time Agents with Asynchronous I/O and Speculative Tool Calling [64.40340291543971]
我々は,小さなエッジスケールモデルとのリアルタイムインタラクションを実現するための投機的インタラクションエージェントを提案する。
また、ストリーミング入力と非同期応答を処理するためにモデルを適応させるクロックベースのトレーニング手法を提案する。
このアプローチは、Qwen2.5-3B-InstructとLlama-3.2-3B-Instructモデルを複数のツール呼び出しベンチマークで1.6-2.2$times$ Speedupを提供する。
論文 参考訳(メタデータ) (2026-05-13T11:20:52Z) - LiQSS: Post-Transformer Linear Quantum-Inspired State-Space Tensor Networks for Real-Time 6G [85.58816960936069]
Sixth-Generation (6G) Open Radio Access Networks (O-RAN) における能動的およびエージェント的制御は、厳密なニアタイム(Near-RT)レイテンシと計算制約の下で制御グレードの予測を必要とする。
本稿では,効率的な無線テレメトリ予測のための変圧器後パラダイムについて検討する。
本稿では、自己アテンションを安定な状態空間動的カーネルに置き換える量子インスピレーション付き状態空間テンソルネットワークを提案する。
論文 参考訳(メタデータ) (2026-01-18T12:08:38Z) - Astraea: A State-Aware Scheduling Engine for LLM-Powered Agents [12.884297990127985]
Astraeaは、最適化をローカルセグメントからグローバルリクエストライフサイクルに移行するように設計されたサービスエンジンである。
これは、リクエストの履歴状態と将来の予測を統合する、ステートアウェアで階層的なスケジューリングアルゴリズムを採用している。
Astraea は平均 JCT を基準法に比べて 25.5% 削減する。
論文 参考訳(メタデータ) (2025-12-16T06:55:10Z) - CSGO: Generalized Optimization for Cold Start in Wireless Collaborative Edge LLM Systems [62.24576366776727]
本稿では,全体の推論遅延を最小限に抑えるために,遅延を考慮したスケジューリングフレームワークを提案する。
提案手法は,ベースライン戦略と比較して,コールドスタート遅延を著しく低減することを示す。
論文 参考訳(メタデータ) (2025-08-15T07:49:22Z) - Gradientsys: A Multi-Agent LLM Scheduler with ReAct Orchestration [4.66888457790348]
次世代マルチエージェントスケジューリングフレームワークであるGradientsysを紹介する。
型付きモデルコンテキストプロトコル(MCP)とReActベースの動的計画ループを使用して、さまざまなAIエージェントを協調する。
GAIA General-Asistantベンチマークの実験によると、Gradientsysはレイテンシの低減とAPIコストの低減により、タスクの成功率の向上を実現している。
論文 参考訳(メタデータ) (2025-07-09T03:40:56Z) - Agent.xpu: Efficient Scheduling of Agentic LLM Workloads on Heterogeneous SoC [11.82567747365518]
本稿では,メモリ統一ヘテロジニアス SOC 上でのエージェント LLM ワークロードの効率的なサービスシステムである Agent.xpu について紹介する。
Agent.xpuは専用のオフラインプロファイリングにより、アフィニティ誘導弾性加速器マッピングのためにモデルカーネルを融合・チャンクする異種実行グラフを最初に構築した。
実行時に、そのオンラインスケジューラは、粒度の細かいカーネルレベルのプリエンプションを可能にし、リアクティブタスクの応答性を保証する。
論文 参考訳(メタデータ) (2025-06-30T16:50:48Z) - NumS: Scalable Array Programming for the Cloud [82.827921577004]
タスクベース分散システム上でNumPyのような表現を最適化する配列プログラミングライブラリであるNumSを提案する。
これはLoad Simulated Hierarchical Scheduling (LSHS)と呼ばれる新しいスケジューラによって実現される。
LSHSは、ネットワーク負荷を2倍減らし、メモリを4倍減らし、ロジスティック回帰問題において実行時間を10倍減らし、Rayの性能を向上させる。
論文 参考訳(メタデータ) (2022-06-28T20:13:40Z) - Tailored Learning-Based Scheduling for Kubernetes-Oriented Edge-Cloud
System [54.588242387136376]
エッジクラウドシステムのための学習ベースのスケジューリングフレームワークkaisを紹介する。
まず,分散した要求ディスパッチに対応するために,協調型マルチエージェントアクタ-クリティックアルゴリズムを設計する。
次に,多種多様なシステムスケールと構造について,グラフニューラルネットワークを用いてシステム状態情報を埋め込む。
第3に、リクエストディスパッチとサービスオーケストレーションを調和させる2段階のスケジューリングメカニズムを採用します。
論文 参考訳(メタデータ) (2021-01-17T03:45:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。