論文の概要: INFRAMIND: Infrastructure-Aware Multi-Agent Orchestration
- arxiv url: http://arxiv.org/abs/2606.11440v1
- Date: Tue, 09 Jun 2026 20:50:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-11 16:42:38.177611
- Title: INFRAMIND: Infrastructure-Aware Multi-Agent Orchestration
- Title（参考訳）: INFRAMIND:インフラ対応マルチエージェントオーケストレーション
- Authors: Ahasan Kabir, Jiaqi Xue, Mengxin Zheng, Qian Lou,
- Abstract要約: INFRAMINDは,マルチエージェントスタック全体のインフラストラクチャを意識するフレームワークである。
赤外線対応エグゼキュータは、各エージェントステップでモデルキュー毎の深さ、キャッシュ利用、レスポンス待ち時間を観察し、どのモデルを呼び出すかを決定する。
予算対応スケジューラは、各モデルのキューをさらにリオーダーして、緊急要求を先に提供する。
- 参考スコア（独自算出の注目度）: 18.376319491516266
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Existing multi-agent LLM orchestration methods, ranging from brute-force ensembles to learned routers, select models and topologies based on task and model features. However, these methods do not consider the runtime state of the serving infrastructure. On shared GPU clusters under concurrent load, this infrastructure blindness causes systematic resource underutilization: preferred models accumulate deep request queues while equally capable alternatives sit idle. In multi-agent pipelines, where each query triggers multiple sequential model calls, these delays then compound across every downstream step. Closing this gap is challenging because the relevant infrastructure signals (queue depths, KV-cache pressure, latencies) are dynamic and noisy, and they must drive three different decisions: planning, per-step routing, and scheduling. We introduce INFRAMIND, a framework that makes the entire multi-agent stack infrastructure-aware. An infra-aware planner conditions topology and role selection on real-time system load and remaining budget, biasing toward simpler graphs under congestion and richer ones at low load. An infra-aware executor then observes per-model queue depths, cache utilization, and response latencies at each agent step to decide which model to call and how deeply to reason; a budget-aware scheduler further reorders each model's queue so that urgent requests are served first. Cast as a hierarchical constrained MDP and solved end-to-end via reinforcement learning, the system learns to balance quality against latency automatically. Across five benchmarks, INFRAMIND delivers up to +7.6 pp accuracy over the prior baseline at low load with up to 7x lower latency, and sustains up to 99.9% SLO compliance under high load where every baseline drops below 50%.
- Abstract（参考訳）: 既存のマルチエージェントLLMオーケストレーション手法では、ブルートフォースアンサンブルから学習ルータ、タスクとモデル機能に基づいたモデルとトポロジを選択する。
しかし、これらの手法はサービスインフラストラクチャのランタイム状態を考慮していない。
コンカレントロード下の共有GPUクラスタでは、このインフラストラクチャの盲点により、システマティックなリソース不使用が発生します。
クエリが複数のシーケンシャルモデルコールをトリガーするマルチエージェントパイプラインでは、これらの遅延は下流の各ステップにまたがる。
このギャップを閉じるのは、関連するインフラストラクチャ信号(キュー深さ、KVキャッシュ圧力、レイテンシ)が動的でノイズの多いため、計画、ステップ単位のルーティング、スケジューリングという3つの異なる決定を下さなければなりません。
INFRAMINDは,マルチエージェントスタック全体のインフラストラクチャを意識するフレームワークである。
赤外線プランナーは、リアルタイムシステム負荷と残予算のトポロジとロールの選択を条件とし、混雑下の単純なグラフに偏り、低負荷時のリッチなグラフに偏っている。
Infra-awareエグゼキュータは、各エージェントステップでモデル毎のキュー深さ、キャッシュ利用、レスポンスレイテンシを観察して、どのモデルを呼び出すか、どのように推論するかを決定する。
階層的な制約付きMDPとしてキャストし、強化学習を通じてエンドツーエンドを解決し、システムは自動的にレイテンシと品質のバランスをとる。
5つのベンチマークで、INFRAMINDは以前のベースラインに対して最大で7.6ppの精度を7倍の低レイテンシで提供し、すべてのベースラインが50%未満の高負荷下では99.9%のSLOコンプライアンスを維持できる。
関連論文リスト
- Lodestar: An Online-Learning LLM Inference Router [6.819928135489163]
大規模言語モデル(LLM)推論タスクは、ユーザの知覚するレイテンシに不可欠である。
Lodstarは、分散GPUクラスタのための新しい学習ベースの要求ルーティングシステムである。
Lodstarは平均1.41倍のTTFT、平均1.47倍のP99 TTFTを達成している。
論文 参考訳（メタデータ） (2026-05-31T01:31:02Z) - Centralizing Task-based Approach to Quantum Network Control [71.48385446560893]
階層アーキテクチャは、量子ネットワークに厳格な設計とタイミング制約を課します。
我々は、集中型コントローラを利用することで、リソース中心のタスクベースの量子ネットワーク制御アプローチをシミュレートする。
論文 参考訳（メタデータ） (2026-05-05T03:57:17Z) - Efficient and Interpretable Multi-Agent LLM Routing via Ant Colony Optimization [58.59491516762626]
マルチエージェントシステム(MAS)のための効率的かつ解釈可能なルーティングフレームワークAMRO-Sを提案する。
AMRO-Sは、意味条件付き経路選択問題としてMASルーティングをモデル化し、3つのキーメカニズムを通してルーティング性能を向上させる。
5つの公開ベンチマークと高速ストレステストによる大規模な実験により、AMRO-Sは強いルーティングベースラインに対する品質-コストトレードオフを一貫して改善することを示した。
論文 参考訳（メタデータ） (2026-03-13T12:26:05Z) - PLA-Serve: A Prefill-Length-Aware LLM Serving System [33.313531352453346]
PLA-Serveは、TTFTレイテンシを低減するために、異なるプロンプト長でリクエストを特定し、分解する。
提案手法は,適応型スケジューリング戦略のモチベーションとして,応答長の変動がボトルネックを生じさせることを観察する。
PLA-Serveは、プリフィル*-Lang*デコードデアグリゲーションの下でのバニラSGと比較して、プリフィル遅延を30%以上削減する。
論文 参考訳（メタデータ） (2026-01-04T18:14:24Z) - RollArt: Scaling Agentic RL Training via Disaggregated Infrastructure [49.88201789074532]
エージェント強化学習(RL)は、大規模言語モデル(LLM)が自律的な意思決定と長期計画を行うことを可能にする。
分散インフラストラクチャ上でマルチタスクエージェントRLのスループットを最大化する分散システムであるRollArcを提案する。
論文 参考訳（メタデータ） (2025-12-27T11:14:23Z) - SERFLOW: A Cross-Service Cost Optimization Framework for SLO-Aware Dynamic ML Inference [0.15039745292757667]
以前の作業は、仮想マシン(VM)のコールドスタート、ロングテールなサービス時間分布でのリクエストなど、現実の要素をしばしば見落としています。
我々は、各MLクエリ(要求)を、内部または最終出口で終了するスパースモデルのパラメータの連続ブロックを構成する非巡回的なステージ列をトラバースするものとしてモデル化する。
SERFLOWは、Fベースのサーバレス機能(コンテナ)を活用し、各ステージで終了するリクエストのごく一部を占めるステージ固有のリソースプロビジョニングを使用することで、この問題に対処する。
論文 参考訳（メタデータ） (2025-10-31T05:10:33Z) - CSGO: Generalized Optimization for Cold Start in Wireless Collaborative Edge LLM Systems [62.24576366776727]
本稿では,全体の推論遅延を最小限に抑えるために,遅延を考慮したスケジューリングフレームワークを提案する。
提案手法は,ベースライン戦略と比較して,コールドスタート遅延を著しく低減することを示す。
論文 参考訳（メタデータ） (2025-08-15T07:49:22Z) - Optimal Scheduling Algorithms for LLM Inference: Theory and Practice [6.043830060363904]
本稿では,大規模言語モデル推論システムにおけるルーティングとスケジューリングをモデル化する理論的枠組みを開発する。
スループット向上に不可欠な設計原則として,最適化タイリングと動的リソース割り当ての2つがあげられる。
本稿では,リソース・アウェア・ダイナミック(RAD)スケジューラが軽度条件下でスループットの最適化を実現することを示す。
論文 参考訳（メタデータ） (2025-08-01T18:12:21Z) - Pangu Embedded: An Efficient Dual-system LLM Reasoner with Metacognition [95.54406667705999]
Pangu Embeddedは、Ascend Neural Processing Units (NPU) 上で開発された効率的なLarge Language Model (LLM) 推論器である。
既存の推論最適化 LLM でよく見られる計算コストと推論遅延の問題に対処する。
単一の統一モデルアーキテクチャ内で、迅速な応答と最先端の推論品質を提供する。
論文 参考訳（メタデータ） (2025-05-28T14:03:02Z) - Learning Mean-Field Control for Delayed Information Load Balancing in
Large Queuing Systems [26.405495663998828]
本研究では,多くのクライアント(ロードバランサ)と多数の並列キューで構成される遅延情報を備えたマルチエージェントロードバランシングシステムについて考察する。
我々は、最適負荷分散ソリューションを見つけるためにポリシー勾配強化学習アルゴリズムを適用した。
我々のアプローチはスケーラブルだが、Join-the-Shortest-Queue (JSQ)の最先端のパワー・オブ・ド・バリアントと比較すると、優れたパフォーマンスを示している。
論文 参考訳（メタデータ） (2022-08-09T13:47:19Z) - Tailored Learning-Based Scheduling for Kubernetes-Oriented Edge-Cloud
System [54.588242387136376]
エッジクラウドシステムのための学習ベースのスケジューリングフレームワークkaisを紹介する。
まず,分散した要求ディスパッチに対応するために,協調型マルチエージェントアクタ-クリティックアルゴリズムを設計する。
次に,多種多様なシステムスケールと構造について,グラフニューラルネットワークを用いてシステム状態情報を埋め込む。
第3に、リクエストディスパッチとサービスオーケストレーションを調和させる2段階のスケジューリングメカニズムを採用します。
論文 参考訳（メタデータ） (2021-01-17T03:45:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。