論文の概要: MOSAIC: Efficient Mixture-of-Agent Scheduling via Adaptive Aggregation and Inference Concurrency

• arxiv url: http://arxiv.org/abs/2606.03014v1
• Date: Tue, 02 Jun 2026 01:40:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-03 22:00:04.678777
• Title: MOSAIC: Efficient Mixture-of-Agent Scheduling via Adaptive Aggregation and Inference Concurrency
• Title（参考訳）: MOSAIC: アダプティブ・アグリゲーションと推論・コンカレンシーによる効率的な混合エージェントスケジューリング
• Authors: Saptarshi Mitra, Yifan Zhang, Rachid Karami, Phyo Pyae Moe Aung, Nazmul Takbir, Sreetama Sarkar, Souvik Kundu, Sitao Huang,
• Abstract要約: Mixture-of-Agents (MoA) システムは、各クエリを複数の専門家 LLM にルーティングし、出力を集約することで、推論精度を向上させる。 従来のスケジューリング戦略は、負荷の不均衡によるGPUアイドリングとスループットの低下に悩まされている。 限られたGPUリソース上でMoAワークロードを高速化するスケジューリングフレームワークであるMOSAICを提案する。
• 参考スコア（独自算出の注目度）: 11.75073577935001
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Mixture-of-Agents (MoA) systems improve reasoning accuracy by routing each query to multiple expert LLMs and aggregating their outputs. Efficiently executing this workload on limited GPU resources has bottlenecks. Skill-based routing creates skewed expert demand, and combining instruction-tuned LLMs with long-reasoning models results in extreme variability in generation lengths. Consequently, traditional scheduling strategies suffer from significant GPU idling and throughput collapse due to load imbalances. We present MOSAIC, a scheduling framework to accelerate MoA workloads. First, we formulate an Integer Linear Program (ILP) based scheduler that jointly optimizes expert placement and per-worker prompt assignment from offline-profiled costs, replicating reasoning experts across workers while pinning lightweight ones. Second, MOSAIC uses confidence-aware adaptive aggregation, leveraging inter-expert agreement to bypass the heavy final aggregator LLM for consensus queries. In our 4-GPU system, MOSAIC achieves up to 2.5x expert-stage, 4.23x aggregator-stage and 1.7~2.3x end-to-end speedups over the baseline scheduler, while matching accuracy within 0.1pp.
• Abstract（参考訳）: Mixture-of-Agents (MoA) システムは、各クエリを複数の専門家 LLM にルーティングし、出力を集約することで、推論精度を向上させる。 限られたGPUリソース上でこのワークロードを効率的に実行するにはボトルネックがある。 スキルベースのルーティングは、歪んだ専門家の要求を発生させ、命令調整されたLLMと長い推論モデルを組み合わせることで、世代長の極端な変動をもたらす。 その結果、従来のスケジューリング戦略は、負荷の不均衡によるGPUアイドリングとスループットの低下に悩まされる。 我々は,MoAワークロードを高速化するスケジューリングフレームワークMOSAICを提案する。 まず、Integer Linear Program(ILP)ベースのスケジューラを定式化し、専門家の配置を最適化し、作業者ごとの作業者ごとの割り当てをオフラインで行う。 第二に、MOSAICは信頼を意識したアダプティブアグリゲーションを使用し、専門家間の合意を利用して、重大最終アグリゲータLEMをバイパスしてコンセンサスクエリを行う。 この4-GPUシステムでは、最大2.5倍のエキスパートステージ、4.23倍のアグリゲータステージ、1.7～2.3倍のエンドツーエンドのスピードアップを実現し、精度は0.1pp以内である。

関連論文リスト

• Chimera: Latency- and Performance-Aware Multi-agent Serving for Heterogeneous LLMs [62.17306142810532]
  ヘテロジニアスLSMクラスタ上で動作するマルチエージェントワークフローの予測スケジューリングシステムであるChimeraを提案する。 Chimeは最高のレイテンシをトレースし、エンドツーエンドのレイテンシを1.2-2.4$times$で削減し、タスクパフォーマンスを平均8.0-9.5ポイント改善する。
  論文  参考訳（メタデータ） (2026-03-23T17:01:42Z)
• Para-B&B: Load-Balanced Deterministic Parallelization of Solving MIP [50.917107318582715]
  MIP(Mixed-integer Programming)は、連続型と整数型の両方の決定変数を組み込むことで線形プログラミングを拡張する。 本稿では,高性能MIPソルバであるHiGHSに対して,決定論的並列分岐結合の完全なオープンソース実装を初めて提案する。 本手法では,ワーカスレッド間で完全なソルバ状態を複製することにより,厳密な決定性を保証する新しいデータ並列アーキテクチャを提案する。
  論文  参考訳（メタデータ） (2026-02-10T14:17:53Z)
• EWSJF: An Adaptive Scheduler with Hybrid Partitioning for Mixed-Workload LLM Inference [1.7969777786551429]
  EWSJF(Effective Workload-based Shortest Job First)は、ワークロード構造をリアルタイムで学習し、公平性とスループットを共同で改善する。 EWSJFは、エンドツーエンドのスループットを30%以上改善し、FCFSと比較して、短い要求に対して平均的なタイム・ツー・ファースト・トークンを最大4倍削減する。
  論文  参考訳（メタデータ） (2026-01-29T14:14:16Z)
• Least-Loaded Expert Parallelism: Load Balancing An Imbalanced Mixture-of-Experts [74.40169987564724]
  エキスパート並列性(EP)は、複数のデバイスに専門家を分散させることで、MoEモデルをスケールするように設計されている。 極端な不均衡の下で、EPは少数の専門家に不均等な数のトークンを渡し、計算とメモリバウンドの障害を引き起こす。 本稿では,過剰なトークンと関連する専門家パラメータを過負荷デバイスから未利用デバイスへ動的に再帰する新しいEPアルゴリズムであるLast-Loaded Expert Parallelism (LLEP)を提案する。
  論文  参考訳（メタデータ） (2026-01-23T18:19:15Z)
• LeMix: Unified Scheduling for LLM Training and Inference on Multi-GPU Systems [20.108099254767613]
  本稿では,並列大規模言語モデル(LLM)の運用と訓練を共同で行うシステムであるLeMixを提案する。 LeMixはオフラインプロファイリング、実行予測機構、実行時スケジューリングを統合し、リソース割り当てを動的に適応させる。 評価の結果、LeMixはスループットを最大3.53倍改善し、推論損失を最大0.61倍削減し、応答時間SLOの最大2.12倍向上した。
  論文  参考訳（メタデータ） (2025-07-28T19:03:26Z)
• Pangu Embedded: An Efficient Dual-system LLM Reasoner with Metacognition [95.54406667705999]
  Pangu Embeddedは、Ascend Neural Processing Units (NPU) 上で開発された効率的なLarge Language Model (LLM) 推論器である。 既存の推論最適化 LLM でよく見られる計算コストと推論遅延の問題に対処する。 単一の統一モデルアーキテクチャ内で、迅速な応答と最先端の推論品質を提供する。
  論文  参考訳（メタデータ） (2025-05-28T14:03:02Z)
• Read-ME: Refactorizing LLMs as Router-Decoupled Mixture of Experts with System Co-Design [59.00758127310582]
  本稿では、事前学習された高密度LCMをより小さなMoEモデルに変換する新しいフレームワークRead-MEを提案する。 当社のアプローチでは,専門家の抽出にアクティベーション空間を用いる。 Read-MEは、同様のスケールの他の人気のあるオープンソース高密度モデルよりも優れています。
  論文  参考訳（メタデータ） (2024-10-24T19:48:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。