論文の概要: User-Assisted Collaborative Distributed Inference for Efficient QoS-Aware Autoscaling
- arxiv url: http://arxiv.org/abs/2608.11840v1
- Date: Wed, 12 Aug 2026 09:28:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-13 19:07:54.532161
- Title: User-Assisted Collaborative Distributed Inference for Efficient QoS-Aware Autoscaling
- Title（参考訳）: 効率的なQoS対応自動スケーリングのためのユーザ支援協調型分散推論
- Abstract要約: 人工知能(AI)推論サービスの需要増加にはスケーラブルなインフラストラクチャが必要だが、需要に応じて集中的なサービスコストが上昇する。
本稿では,専用インフラとサービスユーザが提供するリソースを組み合わせた協調型分散推論システムを提案する。
その結果、インフラ効率のよい自動スケーリングのためのユーザ支援協調推論の実現可能性を示した。
- 参考スコア（独自算出の注目度）: 3.756527555629108
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Growing demand for artificial intelligence (AI) inference services requires scalable infrastructure, yet centralized serving costs rise with demand. We propose a collaborative distributed inference system combining dedicated infrastructure with resources contributed by service users. Dedicated resources provide baseline capacity for maintaining quality of service (QoS), while volunteered resources absorb increasing demand without proportional growth in centralized infrastructure. To capture stochastic and dynamic interactions among users, resources, tasks, and policies, we develop a high-dimensional generative Markov model with structured temporal factorization. The model supports simulation and provides a foundation for task scheduling and QoS-aware resource allocation optimization. We evaluate the system across user populations, resource capacities, and centralized and distributed scheduling policies. Simulations show that distributed scheduling becomes increasingly advantageous as the user population grows, improving request completion and P99 latency while substantially reducing dedicated resource consumption. These results demonstrate the feasibility of user-assisted collaborative inference for infrastructure-efficient autoscaling.
- Abstract（参考訳）: 人工知能(AI)推論サービスの需要増加にはスケーラブルなインフラストラクチャが必要だが、需要に応じて集中的なサービスコストが上昇する。
本稿では,専用インフラとサービスユーザが提供するリソースを組み合わせた協調型分散推論システムを提案する。
集中型資源は、サービス品質を維持するためのベースライン容量(QoS)を提供し、一方、ボランティア型資源は集中型インフラの比例的な成長を伴わずに需要の増加を吸収する。
ユーザ,リソース,タスク,ポリシ間の確率的および動的相互作用を捉えるために,時間的分解を構造化した高次元生成マルコフモデルを開発した。
このモデルはシミュレーションをサポートし、タスクスケジューリングとQoS対応リソース割り当て最適化の基礎を提供する。
ユーザ数,資源容量,集中型および分散型スケジューリングポリシを対象とするシステムの評価を行った。
シミュレーションにより,ユーザ人口の増加に伴って分散スケジューリングがますます有利になり,要求完了とP99レイテンシが向上し,リソース消費の大幅な削減が図られた。
これらの結果は、インフラ効率の良い自動スケーリングのためのユーザ支援協調推論の実現可能性を示している。
関連論文リスト
- ScaleSense: Cost-Intelligent Scaling Framework via Learned Resource Estimation in Alibaba AnalyticDB [59.708423132520515]
クラウドネイティブなサーバレスデータウェアハウスは、計算からストレージを分離することで、きめ細かい弾力性を達成する。
しかし、高度にヘテロジニアスなアドホッククエリに対する最適なリソース割り当てを決定することは、深刻な産業上の課題である。
プロアクティブでクエリレベルのリソーススケーリングフレームワークであるScaleSenseを提案する。
論文 参考訳（メタデータ） (2026-08-08T06:10:35Z) - Large Language Models over Networks: Collaborative Intelligence under Resource Constraints [64.76676115046651]
大規模言語モデル(LLMs)は、スマートフォンアシスタントから自律運転まで、アプリケーションを動かす社会を変えつつある。
しかし、クラウドベースのLLMサービスだけでは、成長するアプリケーションのクラスには役に立たない。
本稿では、複数の独立したLLMがタスクレベルで協調するパラダイムである協調インテリジェンスに焦点を当てる。
論文 参考訳（メタデータ） (2026-05-09T02:42:39Z) - MegaFlow: Large-Scale Distributed Orchestration System for the Agentic Era [74.42509044145417]
MegaFlowは、エージェント環境ワークロードの効率的なスケジューリング、リソース割り当て、きめ細かいタスク管理を可能にする、大規模な分散オーケストレーションシステムである。
エージェントのトレーニングデプロイメントでは、MegaFlowは、高いシステムの安定性を維持しながら、数万の並行エージェントタスクを編成し、効率的なリソース利用を実現しています。
論文 参考訳（メタデータ） (2026-01-12T13:25:33Z) - AI-Driven Cloud Resource Optimization for Multi-Cluster Environments [0.0]
本稿では,マルチクラスタクラウドシステムにおけるアダプティブリソース最適化のためのAI駆動型フレームワークを提案する。
提案手法は、予測学習、ポリシー対応意思決定、継続的なフィードバックを統合する。
プロトタイプの実装では、リソース効率の向上、ワークロードの変動時の安定化の高速化、パフォーマンスのばらつきの低減などが示されている。
論文 参考訳（メタデータ） (2025-12-31T15:15:46Z) - Capacity Planning and Scheduling for Jobs with Uncertainty in Resource Usage and Duration [11.232441969983672]
この作業は、オンデマンドグリッドコンピューティング環境におけるキャパシティ計画、リソース要求の推定、ジョブスケジューリングを実行することである。
このアプローチの重要な貢献は、リソース使用量とジョブの持続時間の両方において不確実性を扱うことです。
決定論的推定器とペアサンプリングに基づく制約プログラミングを用いた近似手法を提案する。
論文 参考訳（メタデータ） (2025-07-01T22:56:08Z) - Edge-Cloud Collaborative Computing on Distributed Intelligence and Model Optimization: A Survey [58.50944604905037]
エッジクラウドコラボレーティブコンピューティング(ECCC)は、現代のインテリジェントアプリケーションの計算要求に対処するための重要なパラダイムとして登場した。
AIの最近の進歩、特にディープラーニングと大規模言語モデル(LLM)は、これらの分散システムの能力を劇的に向上させてきた。
この調査は、基本的なアーキテクチャ、技術の実現、新しいアプリケーションに関する構造化されたチュートリアルを提供する。
論文 参考訳（メタデータ） (2025-05-03T13:55:38Z) - Towards Resource-Efficient Compound AI Systems [4.709762596591902]
複合AIシステムは、モデル、レトリバー、外部ツールなどの複数の相互作用コンポーネントを統合する。
現在の実装は、アプリケーションロジックと実行の詳細の密結合によって、非効率なリソース利用に悩まされています。
本稿では、動的スケジューリングとリソース認識意思決定のための宣言型ワークフロープログラミングモデルと適応型ランタイムシステムを提案する。
論文 参考訳（メタデータ） (2025-01-28T02:15:34Z) - AI-Driven Resource Allocation Framework for Microservices in Hybrid Cloud Platforms [1.03590082373586]
本稿では,ハイブリッドクラウドプラットフォームにおけるリソース割り当てのためのAI駆動型フレームワークを提案する。
このフレームワークは、コスト削減と性能向上のために強化学習(RL)ベースのリソース利用最適化を採用している。
論文 参考訳（メタデータ） (2024-12-03T17:41:08Z) - A Comprehensive Survey on Joint Resource Allocation Strategies in Federated Edge Learning [9.806901443019008]
Federated Edge Learning (FEL)は、分散環境でのモデルトレーニングを可能にすると同時に、ユーザデータの物理的分離を利用することで、ユーザのプライバシを確保する。
IoT(Internet of Things)やSmart Earthといった複雑なアプリケーションシナリオの開発により、従来のリソース割り当てスキームは、これらの増大する計算および通信要求を効果的にサポートすることができなくなった。
本稿では,複数の資源需要が増大する中で,計算と通信の多面的課題を体系的に解決する。
論文 参考訳（メタデータ） (2024-10-10T13:02:00Z) - Hypergame Theory for Decentralized Resource Allocation in Multi-user Semantic Communications [60.63472821600567]
マルチユーザSCシステムにおける分散コンピューティングと通信資源割り当てのための新しいフレームワークを提案する。
通信資源と計算資源を効率的に割り当てることの課題は、Stackelbergハイパーゲーム理論の適用によって解決される。
シミュレーションの結果,提案したStackelbergハイパーゲームは通信資源と計算資源を効率的に利用することができることがわかった。
論文 参考訳（メタデータ） (2024-09-26T15:55:59Z) - Elastic Entangled Pair and Qubit Resource Management in Quantum Cloud
Computing [73.7522199491117]
量子クラウドコンピューティング(QCC)は、量子コンピューティングリソースを効率的に提供するための有望なアプローチを提供する。
ユーザ需要の変動と量子回路の要求は、効率的なリソース供給のために困難である。
本稿では、量子コンピューティングとネットワークリソースのプロビジョニングのためのリソース割り当てモデルを提案する。
論文 参考訳（メタデータ） (2023-07-25T00:38:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。