論文の概要: Learning Cooperative Oversubscription for Cloud by Chance-Constrained Multi-Agent Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2211.11759v1
• Date: Mon, 21 Nov 2022 07:00:09 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-23 17:18:55.629877
• Title: Learning Cooperative Oversubscription for Cloud by Chance-Constrained Multi-Agent Reinforcement Learning
• Title（参考訳）: 時間制約付きマルチエージェント強化学習によるクラウドの協調的オーバーサブスクライブ学習
• Authors: Junjie Sheng, Lu Wang, Fangkai Yang, Bo Qiao, Hang Dong, Xiangfeng Wang, Bo Jin, Jun Wang, Si Qin, Saravan Rajmohan, Qingwei Lin, Dongmei Zhang
• Abstract要約: オーバーサブスクライブは、クラウドリソースの利用を改善するための一般的なプラクティスである。 本稿では,C2MARL(Cance Constrained Multi-Agent Reinforcement Learning)法を提案する。
• 参考スコア（独自算出の注目度）: 40.31099670383296
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Oversubscription is a common practice for improving cloud resource utilization. It allows the cloud service provider to sell more resources than the physical limit, assuming not all users would fully utilize the resources simultaneously. However, how to design an oversubscription policy that improves utilization while satisfying the some safety constraints remains an open problem. Existing methods and industrial practices are over-conservative, ignoring the coordination of diverse resource usage patterns and probabilistic constraints. To address these two limitations, this paper formulates the oversubscription for cloud as a chance-constrained optimization problem and propose an effective Chance Constrained Multi-Agent Reinforcement Learning (C2MARL) method to solve this problem. Specifically, C2MARL reduces the number of constraints by considering their upper bounds and leverages a multi-agent reinforcement learning paradigm to learn a safe and optimal coordination policy. We evaluate our C2MARL on an internal cloud platform and public cloud datasets. Experiments show that our C2MARL outperforms existing methods in improving utilization ($20\%\sim 86\%$) under different levels of safety constraints.
• Abstract（参考訳）: oversubscriptionは、クラウドリソースの利用を改善するための一般的なプラクティスである。 クラウドサービスプロバイダは、すべてのユーザが同時にリソースをフル活用できるわけではないと仮定して、物理的な制限以上のリソースを販売できる。 しかし、いくつかの安全制約を満たしつつ利用率を向上させる過剰な加入ポリシーをどう設計するかは未解決の問題である。 既存の手法と産業プラクティスは過保守であり、多様な資源利用パターンと確率的制約の調整を無視している。 この2つの制約に対処するために,クラウドのオーバーサブスクライブをチャンス制約付き最適化問題として定式化し,この問題を解決するための効果的なC2MARL法を提案する。 具体的には、C2MARLは上限を考慮し制約数を減らし、マルチエージェント強化学習パラダイムを活用し、安全で最適な調整ポリシーを学ぶ。 我々は、C2MARLを、内部クラウドプラットフォームとパブリッククラウドデータセットで評価する。 実験の結果, C2MARLは, 安全性の制約によって, 既存の方法よりも高い利用率(20\%\sim 86\%$)を達成できた。

関連論文リスト

• CE-CoLLM: Efficient and Adaptive Large Language Models Through Cloud-Edge Collaboration [1.6021932740447968]
  大規模言語モデル(LLM)は、エンドユーザに人間のような知性を提供することで、驚くべき成功を収めた。 LLMは高い計算資源を必要としており、様々な性能目標を満たすためにそれらをデプロイすることは困難である。 CE-CoLLMは,エッジのエンドユーザに対して,効率的かつ適応的なLLM推論をサポートする,新しいクラウドエッジコラボレーションフレームワークである。
  論文  参考訳（メタデータ） (2024-11-05T06:00:27Z)
• Action-Quantized Offline Reinforcement Learning for Robotic Skill Learning [68.16998247593209]
  オフライン強化学習(RL)パラダイムは、静的な行動データセットを、データを収集したポリシーよりも優れたパフォーマンスのポリシーに変換するためのレシピを提供する。 本稿では,アクション量子化のための適応型スキームを提案する。 IQL,CQL,BRACといった最先端のオフラインRL手法が,提案手法と組み合わせることで,ベンチマークのパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2023-10-18T06:07:10Z)
• Online Continual Learning Without the Storage Constraint [67.66235695269839]
  我々は、kNN分類器を固定された事前訓練された特徴抽出器とともに継続的に更新する簡単なアルゴリズムを提案する。 高速に変化するストリームに適応し、安定性のギャップをゼロにし、小さな計算予算内で動作し、機能のみを格納することで、ストレージ要件を低くすることができる。 2つの大規模オンライン連続学習データセットにおいて、既存の手法を20%以上の精度で上回ることができる。
  論文  参考訳（メタデータ） (2023-05-16T08:03:07Z)
• Diversity Through Exclusion (DTE): Niche Identification for Reinforcement Learning through Value-Decomposition [63.67574523750839]
  本稿では,多変量ニッチ環境におけるベースライン深度Q-ラーニングアルゴリズムよりも優れた汎用強化学習(RL)アルゴリズムを提案する。 この方法で訓練されたエージェントは、貧弱だが魅力ある局所最適化から逃れて、より高い価値戦略の発見を困難にすることを示します。
  論文  参考訳（メタデータ） (2023-02-02T16:00:19Z)
• Resource Allocation to Agents with Restrictions: Maximizing Likelihood with Minimum Compromise [28.2469613376685]
  原理は、各エージェントが何らかの確率でリソースにマッチするように、ランダムに最大マッチングを選択することを示す。 エージェントは、制限を一定の範囲内で変更することで、マッチする可能性を改善したいと考えています。 本研究では,合成データセットと2つの新しい実世界のデータセットについて実験的に評価した。
  論文  参考訳（メタデータ） (2022-09-12T11:58:19Z)
• DualCF: Efficient Model Extraction Attack from Counterfactual Explanations [57.46134660974256]
  クラウドサービスプロバイダがMachine-Learning-as-a-Serviceプラットフォームをローンチした。 このような余分な情報は、必然的にクラウドモデルが、抽出攻撃に対してより脆弱になる。 本稿では,分類モデルを盗むためのクエリ効率を大幅に向上させる,新しい単純で効率的なクエリ手法を提案する。
  論文  参考訳（メタデータ） (2022-05-13T08:24:43Z)
• DeCOM: Decomposed Policy for Constrained Cooperative Multi-Agent Reinforcement Learning [26.286805758673474]
  我々は,MASeのためのテキスト制約付き協調型MARLフレームワークであるDeCOMを開発した。 DeCOMは、各エージェントのポリシーを2つのモジュールに分解し、エージェント間の情報共有により、より良い協力を実現する。 玩具と大規模(500エージェント)環境におけるDeCOMの有効性を,様々なコストで検証した。
  論文  参考訳（メタデータ） (2021-11-10T12:31:30Z)
• Structure-aware reinforcement learning for node-overload protection in mobile edge computing [3.3865605512957457]
  本研究は,エッジノードの過負荷を防止するための適応型入出力制御ポリシーを提案する。 このフレームワークは,ノードオーバーロード保護問題に対して,割引価格設定で動作するように拡張する。 実験により, SALMUTにより得られた全割引コストは, 最先端の深部RLアルゴリズムに類似していることが判明した。
  論文  参考訳（メタデータ） (2021-06-29T18:11:41Z)
• Improved Algorithms for Conservative Exploration in Bandits [113.55554483194832]
  文脈線形帯域設定における保守的学習問題について検討し、新しいアルゴリズムである保守的制約付きLinUCB(CLUCB2)を導入する。 我々は、既存の結果と一致したCLUCB2に対する後悔の限界を導き、多くの合成および実世界の問題において、最先端の保守的バンディットアルゴリズムよりも優れていることを実証的に示す。
  論文  参考訳（メタデータ） (2020-02-08T19:35:01Z)
• Reinforcement Learning-based Application Autoscaling in the Cloud: A Survey [2.9751538760825085]
  強化学習(Reinforcement Learning, RL)は, 複雑な不確実環境における意思決定問題を自動的に解決する大きな可能性を実証した。 アプリケーションを実行するために透過的な(人間の介入なしに)、動的(静的な計画なしで)、適応可能な(即時更新された)リソース管理ポリシーを学ぶことができる。 クラウドの弾力性を利用して、所定の最適化基準に従ってアプリケーションの実行を最適化する。
  論文  参考訳（メタデータ） (2020-01-27T18:23:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。