論文の概要: A Meta Reinforcement Learning Approach for Predictive Autoscaling in the
Cloud
- arxiv url: http://arxiv.org/abs/2205.15795v1
- Date: Tue, 31 May 2022 13:54:04 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-01 19:54:38.068480
- Title: A Meta Reinforcement Learning Approach for Predictive Autoscaling in the
Cloud
- Title（参考訳）: クラウドにおける予測オートスケーリングのためのメタ強化学習手法
- Authors: Siqiao Xue, Chao Qu, Xiaoming Shi, Cong Liao, Shiyi Zhu, Xiaoyu Tan,
Lintao Ma, Shiyu Wang, Shijun Wang, Yun Hu, Lei Lei, Yangfei Zheng, Jianguo
Li, James Zhang
- Abstract要約: 本稿では,CPU利用の安定レベルを維持するために資源を最適に割り当てることを目的とした,エンドツーエンドのメタモデルに基づくRLアルゴリズムを提案する。
当社のアルゴリズムは,スケーリング戦略の予測可能性と精度を確保するだけでなく,スケーリング決定が変化するワークロードに高いサンプル効率で適応できるようにする。
- 参考スコア（独自算出の注目度）: 10.970391043991363
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Predictive autoscaling (autoscaling with workload forecasting) is an
important mechanism that supports autonomous adjustment of computing resources
in accordance with fluctuating workload demands in the Cloud. In recent works,
Reinforcement Learning (RL) has been introduced as a promising approach to
learn the resource management policies to guide the scaling actions under the
dynamic and uncertain cloud environment. However, RL methods face the following
challenges in steering predictive autoscaling, such as lack of accuracy in
decision-making, inefficient sampling and significant variability in workload
patterns that may cause policies to fail at test time. To this end, we propose
an end-to-end predictive meta model-based RL algorithm, aiming to optimally
allocate resource to maintain a stable CPU utilization level, which
incorporates a specially-designed deep periodic workload prediction model as
the input and embeds the Neural Process to guide the learning of the optimal
scaling actions over numerous application services in the Cloud. Our algorithm
not only ensures the predictability and accuracy of the scaling strategy, but
also enables the scaling decisions to adapt to the changing workloads with high
sample efficiency. Our method has achieved significant performance improvement
compared to the existing algorithms and has been deployed online at Alipay,
supporting the autoscaling of applications for the world-leading payment
platform.
- Abstract（参考訳）: 予測オートスケーリング(ワークロード予測による自動スケーリング)は、クラウド内の変動するワークロード要求に応じて、コンピューティングリソースの自律的な調整をサポートする重要なメカニズムである。
近年,動的で不確定なクラウド環境下でのスケーリング動作を導くためのリソース管理ポリシを学ぶための有望なアプローチとして,強化学習(rl)が導入された。
しかし、RL法は、意思決定における精度の欠如、非効率なサンプリング、テスト時にポリシーが失敗する可能性のあるワークロードパターンの顕著な変動など、予測オートスケーリングを操る上で、次の課題に直面している。
そこで本研究では,エンド・ツー・エンドの予測メタモデルに基づくrlアルゴリズムを提案する。このアルゴリズムは,リソースを最適に割り当てて安定したcpu利用レベルを維持することを目的としており,特に設計した深層周期負荷予測モデルを入力として組み込んで,ニューラルネットワークを組み込み,クラウド上の多数のアプリケーションサービスに対する最適なスケーリング動作の学習を導く。
当社のアルゴリズムは,スケーリング戦略の予測可能性と精度を確保するだけでなく,スケーリング決定が変化するワークロードに高いサンプル効率で適応できるようにする。
本手法は,既存のアルゴリズムと比較して大幅な性能向上を達成し,alipayでオンライン展開され,世界有価証券プラットフォームのアプリケーションの自動スケーリングをサポートする。
関連論文リスト
- Enhancing Robustness of Vision-Language Models through Orthogonality Learning and Self-Regularization [77.62516752323207]
そこで本研究では,事前訓練した重みを効率よく微調整する直交微調整法を導入し,頑健さと一般化の強化を実現した。
自己正規化戦略は、OrthSRと呼ばれるVLMのゼロショット一般化の観点から安定性を維持するためにさらに活用される。
筆者らはCLIPとCoOpを再検討し,少数の画像のクラスフィシエーションシナリオにおけるモデルの改善を効果的に行う。
論文 参考訳（メタデータ） (2024-07-11T10:35:53Z) - Memory-Enhanced Neural Solvers for Efficient Adaptation in Combinatorial Optimization [6.713974813995327]
本稿では、メモリを活用してニューラルネットワークの適応性を向上させるアプローチであるMementOを提案する。
我々は,大規模インスタンス上で全RL自動回帰解法をトレーニングし,MementOが拡張可能で,データ効率がよいことを示す。
全体として、MementOは評価された12のタスクのうち11に最先端のタスクをプッシュすることができる。
論文 参考訳（メタデータ） (2024-06-24T08:18:19Z) - LoRA-Ensemble: Efficient Uncertainty Modelling for Self-attention Networks [52.46420522934253]
本稿では,自己注意ネットワークのためのパラメータ効率の高いディープアンサンブル手法であるLoRA-Ensembleを紹介する。
全メンバー間で重みを共有できる1つの事前学習型自己注意ネットワークを利用することで、注意投影のために、メンバー固有の低ランク行列を訓練する。
提案手法は明示的なアンサンブルよりも優れたキャリブレーションを示し,様々な予測タスクやデータセットに対して類似あるいは良好な精度を実現する。
論文 参考訳（メタデータ） (2024-05-23T11:10:32Z) - Machine Learning Insides OptVerse AI Solver: Design Principles and
Applications [74.67495900436728]
本稿では,Huawei CloudのOpsVerse AIソルバに機械学習(ML)技術を統合するための総合的研究について述べる。
本稿では,実世界の多面構造を反映した生成モデルを用いて,複雑なSATインスタンスとMILPインスタンスを生成する手法を紹介する。
本稿では,解解器性能を著しく向上させる,最先端パラメータチューニングアルゴリズムの導入について詳述する。
論文 参考訳（メタデータ） (2024-01-11T15:02:15Z) - MOTO: Offline Pre-training to Online Fine-tuning for Model-based Robot
Learning [52.101643259906915]
本研究では,高次元観測による強化学習におけるオフライン事前学習とオンラインファインチューニングの問題について検討する。
既存のモデルベースオフラインRL法は高次元領域におけるオフラインからオンラインへの微調整には適していない。
本稿では,事前データをモデルベース値拡張とポリシー正則化によって効率的に再利用できるオンラインモデルベース手法を提案する。
論文 参考訳（メタデータ） (2024-01-06T21:04:31Z) - OptScaler: A Hybrid Proactive-Reactive Framework for Robust Autoscaling
in the Cloud [11.340252931723063]
オートスケーリングはクラウドコンピューティングにおいて重要なメカニズムであり、動的ワークロード下でのコンピューティングリソースの自律的な調整をサポートする。
既存のアクティブ自動スケーリングメソッドは将来のワークロードを予測し、事前にリソースをスケールしますが、リアクティブメソッドはリアルタイムシステムフィードバックに依存します。
本稿では,CPU利用制御のためのプロアクティブ手法とリアクティブ手法の両方のパワーを統合するハイブリッド自動スケーリングフレームワークであるOpsScalerを提案する。
論文 参考訳（メタデータ） (2023-10-26T04:38:48Z) - Reinforcement Learning in the Wild: Scalable RL Dispatching Algorithm
Deployed in Ridehailing Marketplace [12.298997392937876]
本研究では,強化学習に基づくリアルタイムディスパッチアルゴリズムを提案する。
ディディのA/Bテストの運営下にある複数の都市でオンラインに展開され、主要な国際市場の一つで展開されている。
デプロイされたアルゴリズムは、A/Bテストによるドライバーの総収入を1.3%以上改善している。
論文 参考訳（メタデータ） (2022-02-10T16:07:17Z) - On Effective Scheduling of Model-based Reinforcement Learning [53.027698625496015]
実データ比率を自動的にスケジュールするAutoMBPOというフレームワークを提案する。
本稿ではまず,政策訓練における実データの役割を理論的に分析し,実際のデータの比率を徐々に高めれば,より優れた性能が得られることを示唆する。
論文 参考訳（メタデータ） (2021-11-16T15:24:59Z) - MUSBO: Model-based Uncertainty Regularized and Sample Efficient Batch
Optimization for Deployment Constrained Reinforcement Learning [108.79676336281211]
データ収集とオンライン学習のための新しいポリシーの継続的展開はコスト非効率か非現実的かのどちらかである。
モデルベース不確実性正規化とサンプル効率的なバッチ最適化という新しいアルゴリズム学習フレームワークを提案する。
本フレームワークは,各デプロイメントの新規で高品質なサンプルを発見し,効率的なデータ収集を実現する。
論文 参考訳（メタデータ） (2021-02-23T01:30:55Z) - A Predictive Autoscaler for Elastic Batch Jobs [8.354712625979776]
Deep Learning、HPC、Sparkといった大規模なバッチジョブは、従来のオンラインサービスよりもはるかに多くの計算リソースとコストを必要とします。
顧客とオーバプロビジョンインスタンスに対して,柔軟なインターフェースを提供するための予測オートスケーラを提案する。
論文 参考訳（メタデータ） (2020-10-10T17:35:55Z) - Reinforcement Learning-based Application Autoscaling in the Cloud: A
Survey [2.9751538760825085]
強化学習(Reinforcement Learning, RL)は, 複雑な不確実環境における意思決定問題を自動的に解決する大きな可能性を実証した。
アプリケーションを実行するために透過的な(人間の介入なしに)、動的(静的な計画なしで)、適応可能な(即時更新された)リソース管理ポリシーを学ぶことができる。
クラウドの弾力性を利用して、所定の最適化基準に従ってアプリケーションの実行を最適化する。
論文 参考訳（メタデータ） (2020-01-27T18:23:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。