論文の概要: RAPID: Enabling Fast Online Policy Learning in Dynamic Public Cloud Environments

• arxiv url: http://arxiv.org/abs/2304.04797v2
• Date: Mon, 4 Sep 2023 01:24:10 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-07 05:45:15.084289
• Title: RAPID: Enabling Fast Online Policy Learning in Dynamic Public Cloud Environments
• Title（参考訳）: RAPID: 動的パブリッククラウド環境における高速オンラインポリシ学習の実現
• Authors: Drew Penney, Bin Li, Lizhong Chen, Jaroslaw J. Sydir, Anna Drewek-Ossowicka, Ramesh Illikkal, Charlie Tai, Ravi Iyer, Andrew Herdrich
• Abstract要約: 本研究では,動的運用環境における資源割当ポリシ学習の高速化を目的とした新しいフレームワークを提案する。 我々のフレームワークは、従来の最先端の時間と比較して、数分で安定したリソース割り当てポリシーを学習できることを示します。
• 参考スコア（独自算出の注目度）: 7.825552412435501
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Resource sharing between multiple workloads has become a prominent practice among cloud service providers, motivated by demand for improved resource utilization and reduced cost of ownership. Effective resource sharing, however, remains an open challenge due to the adverse effects that resource contention can have on high-priority, user-facing workloads with strict Quality of Service (QoS) requirements. Although recent approaches have demonstrated promising results, those works remain largely impractical in public cloud environments since workloads are not known in advance and may only run for a brief period, thus prohibiting offline learning and significantly hindering online learning. In this paper, we propose RAPID, a novel framework for fast, fully-online resource allocation policy learning in highly dynamic operating environments. RAPID leverages lightweight QoS predictions, enabled by domain-knowledge-inspired techniques for sample efficiency and bias reduction, to decouple control from conventional feedback sources and guide policy learning at a rate orders of magnitude faster than prior work. Evaluation on a real-world server platform with representative cloud workloads confirms that RAPID can learn stable resource allocation policies in minutes, as compared with hours in prior state-of-the-art, while improving QoS by 9.0x and increasing best-effort workload performance by 19-43%.
• Abstract（参考訳）: 複数のワークロード間のリソース共有は、リソース利用の改善とオーナシップコストの削減という需要に動機付けられ、クラウドサービスプロバイダの間で顕著なプラクティスになっています。 しかしながら、リソース競合が、厳格なQuality of Service(QoS)要件を持つ高優先度でユーザ向きのワークロードに悪影響を及ぼすため、効果的なリソース共有は依然としてオープンな課題である。 最近のアプローチは有望な結果を示しているが、ワークロードが事前に知られておらず、短期間しか実行できないため、オフライン学習を禁止し、オンライン学習を著しく妨げているため、パブリッククラウド環境ではほとんど実用的ではない。 本稿では,高速かつ完全オンラインなリソース割り当てポリシー学習のための,動的環境下での新たなフレームワークであるRAPIDを提案する。 RAPIDは、サンプル効率とバイアス低減のためにドメイン知識にインスパイアされた技術によって実現された軽量QoS予測を活用し、従来のフィードバックソースから制御を分離し、前よりも桁違いの速度でポリシー学習を指導する。 代表的なクラウドワークロードを備えた実世界のサーバプラットフォームの評価では、前回の最先端の時間と比べて、rapidは数分で安定したリソース割り当てポリシーを学習できると同時に、qosを9.0倍改善し、ベストエフォートなワークロードのパフォーマンスを19-43%向上している。

関連論文リスト

• An Advanced Reinforcement Learning Framework for Online Scheduling of Deferrable Workloads in Cloud Computing [37.457951933256055]
  クラウド上でのdeferrableジョブのためのtextitOnline Scheduling(OSDEC)と呼ばれるオンラインのdeferrableジョブスケジューリング手法を提案する。 提案手法は,高資源利用率を維持しつつ,デプロイメントスケジュールを適切に計画し,ユーザの待ち時間を短縮することができる。
  論文  参考訳（メタデータ） (2024-06-03T06:55:26Z)
• Small Dataset, Big Gains: Enhancing Reinforcement Learning by Offline Pre-Training with Model Based Augmentation [59.899714450049494]
  オフラインの事前トレーニングは、準最適ポリシーを生成し、オンライン強化学習のパフォーマンスを低下させる可能性がある。 本稿では,オフライン強化学習による事前学習のメリットを最大化し,有効となるために必要なデータの規模を削減するためのモデルベースデータ拡張戦略を提案する。
  論文  参考訳（メタデータ） (2023-12-15T14:49:41Z)
• Lifelong Learning for Fog Load Balancing: A Transfer Learning Approach [0.7366405857677226]
  待ち時間の最小化により,IoTアプリケーションの実行遅延を最適化するプライバシ対応強化学習(RL)エージェントの性能向上を図る。 本稿では,行動遅延を最小限に抑えるために軽量推論モデルを用いて,環境変化が著しい場合にのみ再訓練を行う,これらのエージェントのための生涯学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-08T14:49:33Z)
• Adaptive Resource Allocation for Virtualized Base Stations in O-RAN with Online Learning [60.17407932691429]
  基地局(vBS)を備えたオープンラジオアクセスネットワークシステムは、柔軟性の向上、コスト削減、ベンダーの多様性、相互運用性のメリットを提供する。 本研究では,予期せぬ「混み合う」環境下であっても,効率的なスループットとvBSエネルギー消費のバランスをとるオンライン学習アルゴリズムを提案する。 提案手法は, 課題のある環境においても, 平均最適性ギャップをゼロにすることで, サブ線形後悔を実現する。
  論文  参考訳（メタデータ） (2023-09-04T17:30:21Z)
• Fast Context Adaptation in Cost-Aware Continual Learning [10.515324071327903]
  5GとBeyondネットワークは、より複雑な学習エージェントを必要とし、学習プロセス自体が、コミュニケーションや計算リソースのためにユーザと競合することになるかもしれない。 一方、学習プロセスは、効率的な戦略に迅速に収束するためのリソースを必要とし、一方、学習プロセスは、ユーザのデータプレーンから可能な限り少ないリソースを取らずに、ユーザのリソースを損なわないように、効率的でなければならない。 本稿では,データプレーンに割り当てられたリソースと学習用に確保されたリソースのバランスをとるための動的戦略を提案する。
  論文  参考訳（メタデータ） (2023-06-06T17:46:48Z)
• The Cost of Learning: Efficiency vs. Efficacy of Learning-Based RRM for 6G [10.28841351455586]
  深層強化学習(DRL)は、複雑なネットワークにおける効率的な資源管理戦略を自動学習するための貴重なソリューションとなっている。 多くのシナリオでは、学習タスクはクラウドで実行され、経験サンプルはエッジノードまたはユーザによって直接生成される。 これにより、効果的な戦略に向けて収束をスピードアップする必要性と、学習サンプルの送信にリソースの割り当てが必要となることの間に摩擦が生じます。 本稿では,学習とデータプレーン間の動的バランス戦略を提案する。これにより,集中型学習エージェントは,効率的な資源配分戦略に迅速に収束することができる。
  論文  参考訳（メタデータ） (2022-11-30T11:26:01Z)
• Actively Learning Costly Reward Functions for Reinforcement Learning [56.34005280792013]
  複雑な実世界の環境でエージェントを訓練することは、桁違いに高速であることを示す。 強化学習の手法を新しい領域に適用することにより、興味深く非自明な解を見つけることができることを示す。
  論文  参考訳（メタデータ） (2022-11-23T19:17:20Z)
• PROMPT: Learning Dynamic Resource Allocation Policies for Network Applications [16.812611987082082]
  本稿では、プロアクティブな予測を用いて強化学習コントローラを誘導する新しいリソース割り当てフレームワークPROMPTを提案する。 本稿では,PROMPTが4.2倍少ない違反を発生させ,政策違反の深刻度を12.7倍に低減し,最善を尽くした作業負荷性能を向上し,先行作業よりも全体的な電力効率を向上することを示す。
  論文  参考訳（メタデータ） (2022-01-19T23:34:34Z)
• MUSBO: Model-based Uncertainty Regularized and Sample Efficient Batch Optimization for Deployment Constrained Reinforcement Learning [108.79676336281211]
  データ収集とオンライン学習のための新しいポリシーの継続的展開はコスト非効率か非現実的かのどちらかである。 モデルベース不確実性正規化とサンプル効率的なバッチ最適化という新しいアルゴリズム学習フレームワークを提案する。 本フレームワークは,各デプロイメントの新規で高品質なサンプルを発見し,効率的なデータ収集を実現する。
  論文  参考訳（メタデータ） (2021-02-23T01:30:55Z)
• Coordinated Online Learning for Multi-Agent Systems with Coupled Constraints and Perturbed Utility Observations [91.02019381927236]
  本研究では, 資源制約を満たすため, エージェントを安定な集団状態へ誘導する新しい手法を提案する。 提案手法は,ゲームラグランジアンの拡張によるリソース負荷に基づく分散リソース価格設定手法である。
  論文  参考訳（メタデータ） (2020-10-21T10:11:17Z)
• Pollux: Co-adaptive Cluster Scheduling for Goodput-Optimized Deep Learning [61.29990368322931]
  Polluxは、相互依存要因を適応的に最適化することで、ディープラーニング(DL)クラスタのスケジューリング性能を改善する。 Polluxは、最先端のDLスケジューラと比較して、平均的なジョブ完了時間を37-50%削減する。
  論文  参考訳（メタデータ） (2020-08-27T16:56:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。