論文の概要: MeanField Surrogate Modeling for Scalable Runtime Scheduling of Concurrent Heterogeneous AI Inference on Shared GPUs

• arxiv url: http://arxiv.org/abs/2609.02109v1
• Date: Wed, 02 Sep 2026 04:52:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-03 17:53:18.089419
• Title: MeanField Surrogate Modeling for Scalable Runtime Scheduling of Concurrent Heterogeneous AI Inference on Shared GPUs
• Title（参考訳）: 共有GPU上での同時不均一なAI推論のスケーラブルランタイムスケジューリングのためのMeanFieldサロゲートモデリング
• Abstract要約: MeanField surrogateは、ローカル設定とGPU状態からモデル毎のパフォーマンスを予測する。 2,3,4,5,6$のNでの同時LLMおよびビジョンワークロードの実験は、高い予測精度を示している。
• 参考スコア（独自算出の注目度）: 2.986463708133309
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deploying heterogeneous AI models concurrently on a shared GPU introduces resource contention that complicates runtime scheduling. While surrogate models avoid costly online benchmarking, their profiling requirements typically grow combinatorially with the number of co-running models, limiting scalability. We propose a MeanField surrogate that predicts per-model performance from local configuration and aggregate GPU state rather than explicitly modeling all joint interactions. Experiments on concurrent LLM and vision workloads across $N \in \{2,3,4,5,6\}$ show high predictive accuracy ($R^2 \approx 0.96$) with an empirical sample budget that grows approximately linearly in $N$, in contrast to the combinatorial cost of fully joint profiling. Integrated into a genetic algorithm scheduler, the surrogate scales to an $N=5$ problem with 78,732 feasible joint configurations, remaining within 0.10% of the exhaustive search with zero SLA violations across eight dynamic workload scenarios, while complete online GA decisions take 26 ms median, about $5\times$ faster than exhaustive surrogate search.
• Abstract（参考訳）: 共有GPU上に異種AIモデルを同時にデプロイすることは、実行時スケジューリングを複雑にするリソース競合を導入する。 代理モデルはコストのかかるオンラインベンチマークを避けるが、そのプロファイリング要件は通常、共同実行モデルの数と組み合わせて増加し、スケーラビリティが制限される。 本稿では,局所的な構成とGPU状態からモデルごとの性能を予測するMeanFieldサロゲートを提案する。 完全な関節プロファイリングの組合せコストとは対照的に、$N \in \{2,3,4,5,6\}$にわたる同時LLMおよびビジョンワークロードの実験は、およそ$N$で線形に成長する経験的なサンプル予算を持つ高い予測精度(R^2 \approx 0.96$)を示す。 遺伝的アルゴリズムスケジューラに統合され、サロゲートは78,732の可能なジョイント構成のN=5$問題にスケールし、8つの動的ワークロードシナリオでSLAをゼロにする全検索の0.10%以内に留まる。

関連論文リスト

• Frontier: Towards Comprehensive and Accurate LLM Inference Simulation [15.58999342618182]
  本稿では,現代のLLM推論サービスのための離散イベントシミュレータであるFrontierを紹介する。 これは、コロケーション、プリフィル・デコード・デアグリゲーション(PDD)、アテンション・FFN・デアグリゲーション(AFD)をモデル化することで、現代のサービスシステムの構造ダイナミクスを捉える。 16-H800 GPUテストベッドでは、Frontierは4%未満の平均エラーを達成した。最先端のシミュレータと比較すると、コロケーション時のエンドツーエンドのレイテンシエラーは44.9%から6.4%に減少し、デアグリゲーション時の52.6%に低下する。
  論文  参考訳（メタデータ） (2026-05-20T15:40:18Z)
• Bayesian Model Merging [17.887004278413915]
  モデルマージは、複数のタスク固有のエキスパートモデルを、共同トレーニングなしで単一のモデルに結合することを目的としている。 本稿では,プラグインとプレイの双方向最適化フレームワークであるBayesian Model Merging (BMM)を紹介する。 BMMは、すべてのプラグアンドプレイアンカーベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2026-05-13T00:36:47Z)
• ComplexMCP: Evaluation of LLM Agents in Dynamic, Interdependent, and Large-Scale Tool Sandbox [61.862814740220806]
  $textbfComplexMCP$は厳格な条件下でエージェントを評価するために設計されたベンチマークである。 Model Context Protocol (MCP)上に構築された$textbfComplexMCP$は300以上の精巧にテストされたツールを提供する。
  論文  参考訳（メタデータ） (2026-05-11T16:20:51Z)
• Streaming Model Cascades for Semantic SQL [0.0]
  本稿では,各ワーカが個別にパーティションを処理できる2つの適応カスケードアルゴリズムを提案する。 プロダクションセマンティックSQLエンジンにおける6つのデータセットの実験は、両方のアルゴリズムがデータセット毎にF1 > 0.95を達成することを示している。
  論文  参考訳（メタデータ） (2026-04-01T09:07:08Z)
• Chimera: Latency- and Performance-Aware Multi-agent Serving for Heterogeneous LLMs [62.17306142810532]
  ヘテロジニアスLSMクラスタ上で動作するマルチエージェントワークフローの予測スケジューリングシステムであるChimeraを提案する。 Chimeは最高のレイテンシをトレースし、エンドツーエンドのレイテンシを1.2-2.4$times$で削減し、タスクパフォーマンスを平均8.0-9.5ポイント改善する。
  論文  参考訳（メタデータ） (2026-03-23T17:01:42Z)
• $V_1$: Unifying Generation and Self-Verification for Parallel Reasoners [69.66089681814013]
  $V_$は、効率的なペアワイドランキングを通じて生成と検証を統合するフレームワークである。 V_$-Inferはポイントワイド検証でPass@1を最大10%改善する。 V_$-PairRLは、標準のRLとポイントワイドのジョイントトレーニングよりも、テストタイムのスケーリングが7ドル--9%で向上する。
  論文  参考訳（メタデータ） (2026-03-04T17:22:16Z)
• Para-B&B: Load-Balanced Deterministic Parallelization of Solving MIP [50.917107318582715]
  MIP(Mixed-integer Programming)は、連続型と整数型の両方の決定変数を組み込むことで線形プログラミングを拡張する。 本稿では,高性能MIPソルバであるHiGHSに対して,決定論的並列分岐結合の完全なオープンソース実装を初めて提案する。 本手法では,ワーカスレッド間で完全なソルバ状態を複製することにより,厳密な決定性を保証する新しいデータ並列アーキテクチャを提案する。
  論文  参考訳（メタデータ） (2026-02-10T14:17:53Z)
• Sublinear Variational Optimization of Gaussian Mixture Models with Millions to Billions of Parameters [5.429282997550318]
  約1億の画像に対して100億以上のパラメータを持つGMMをトレーニングし、1つの最先端CPU上で約9時間のトレーニング時間を観察する。 提案アルゴリズムは,繰り返し毎のランタイムの複雑性を$mathcalO(NCD2)$から$D$で線形にスケーリングし,定数w.r.tを継続する複雑性に著しく低減する。 概念実証として、約1億の画像に対して100億以上のパラメータを持つGMMをトレーニングし、1つの最先端CPU上で約9時間のトレーニング時間を観察する。
  論文  参考訳（メタデータ） (2025-01-21T17:11:25Z)
• RL in Markov Games with Independent Function Approximation: Improved Sample Complexity Bound under the Local Access Model [15.596599935486534]
  シミュレータへの局所アクセスを伴う粗相関平衡(CCE)を学習するための新しいアルゴリズムLin-Confident-FTRLを導入する。 状態空間のサイズに対数的依存がある限り、Lin-Confident-FTRLは証明可能な最適精度で$O(epsilon-2)$で$epsilon$-CCEを学ぶ。 本分析は,単一エージェントのローカルプランニング文献における仮想ポリシー境界を一般化する。
  論文  参考訳（メタデータ） (2024-03-18T07:54:11Z)
• On Optimal Caching and Model Multiplexing for Large Model Inference [66.50550915522551]
  大きな言語モデル(LLM)や他の大きな基盤モデルは注目すべき成功を収めているが、そのサイズは既存のリソース消費とレイテンシーの問題を悪化させている。 キャッシュを用いて以前のクエリを格納し、モデルの多重化を学習し、クエリ処理のためのモデルの集合から選択する。
  論文  参考訳（メタデータ） (2023-06-03T05:01:51Z)
• Iterative Feature Matching: Toward Provable Domain Generalization with Logarithmic Environments [55.24895403089543]
  ドメインの一般化は、限られた数のトレーニング環境からのデータで、目に見えないテスト環境でうまく機能することを目的としています。 我々は,O(logd_s)$環境のみを見た後に一般化する予測器を高確率で生成することを保証する反復的特徴マッチングに基づく新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-06-18T04:39:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。