論文の概要: AI-based Resource Allocation: Reinforcement Learning for Adaptive
Auto-scaling in Serverless Environments
- arxiv url: http://arxiv.org/abs/2005.14410v1
- Date: Fri, 29 May 2020 06:18:39 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-26 23:05:35.173260
- Title: AI-based Resource Allocation: Reinforcement Learning for Adaptive
Auto-scaling in Serverless Environments
- Title（参考訳）: AIベースのリソース割り当て:サーバレス環境での適応型自動スケーリングのための強化学習
- Authors: Lucia Schuler and Somaya Jamil and Niklas K\"uhl
- Abstract要約: 近年、サーバーレスコンピューティングはクラウドコンピューティングモデルの魅力的な新しいパラダイムとして現れています。
商用およびオープンソースのサーバレスコンピューティングプラットフォームに共通するアプローチは、ワークロードベースの自動スケーリングである。
本稿では、サーバーレスフレームワークにおける要求ベース自動スケーリングに対する強化学習アプローチの適用性について検討する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Serverless computing has emerged as a compelling new paradigm of cloud
computing models in recent years. It promises the user services at large scale
and low cost while eliminating the need for infrastructure management. On cloud
provider side, flexible resource management is required to meet fluctuating
demand. It can be enabled through automated provisioning and deprovisioning of
resources. A common approach among both commercial and open source serverless
computing platforms is workload-based auto-scaling, where a designated
algorithm scales instances according to the number of incoming requests. In the
recently evolving serverless framework Knative a request-based policy is
proposed, where the algorithm scales resources by a configured maximum number
of requests that can be processed in parallel per instance, the so-called
concurrency. As we show in a baseline experiment, this predefined concurrency
level can strongly influence the performance of a serverless application.
However, identifying the concurrency configuration that yields the highest
possible quality of service is a challenging task due to various factors, e.g.
varying workload and complex infrastructure characteristics, influencing
throughput and latency. While there has been considerable research into
intelligent techniques for optimizing auto-scaling for virtual machine
provisioning, this topic has not yet been discussed in the area of serverless
computing. For this reason, we investigate the applicability of a reinforcement
learning approach, which has been proven on dynamic virtual machine
provisioning, to request-based auto-scaling in a serverless framework. Our
results show that within a limited number of iterations our proposed model
learns an effective scaling policy per workload, improving the performance
compared to the default auto-scaling configuration.
- Abstract（参考訳）: 近年、サーバーレスコンピューティングはクラウドコンピューティングモデルの魅力的な新しいパラダイムとして現れています。
大規模かつ低コストでユーザサービスを約束し、インフラストラクチャ管理の必要性を排除します。
クラウドプロバイダ側では、変動する需要を満たすために柔軟なリソース管理が必要である。
リソースの自動プロビジョニングとデプロビジョンによって実現できます。
商用およびオープンソースのサーバレスコンピューティングプラットフォームで一般的なアプローチは、ワークロードベースの自動スケーリングである。
最近進化したサーバレスフレームワークであるKnativeでは、リクエストベースのポリシが提案されている。アルゴリズムは、インスタンス毎に並列に処理可能な最大数のリクエストによって、リソースをスケールする。
ベースライン実験で示したように、この事前定義された並行処理レベルは、サーバーレスアプリケーションのパフォーマンスに強く影響を与えます。
しかし、サービスの最高の品質をもたらす並行性構成を特定することは、さまざまなワークロードや複雑なインフラストラクチャ特性など、スループットやレイテンシに影響を与えるさまざまな要因のため、難しい作業である。
仮想マシンのプロビジョニングに自動スケーリングを最適化するためのインテリジェントな技術の研究が盛んに行われているが、この話題はサーバーレスコンピューティングの分野ではまだ議論されていない。
このため、動的仮想マシンプロビジョニングで実証された強化学習アプローチを、サーバレスフレームワークにおける要求ベースの自動スケーリングに適用可能であるかを検討する。
その結果,提案モデルでは,少数のイテレーションで,ワークロード毎に効果的なスケーリングポリシを学習し,デフォルトの自動スケーリング構成と比較してパフォーマンスが向上することが示された。
関連論文リスト
- To Train or Not to Train: Balancing Efficiency and Training Cost in Deep Reinforcement Learning for Mobile Edge Computing [15.079887992932692]
資源を割り当てるDeep Reinforcement Learning (DRL)エージェントをいつトレーニングするかを動的に選択するアルゴリズムを提案する。
トレーニングのオーバーヘッドを伴うシナリオに対して直接適用することができるので,本手法は極めて一般的である。
論文 参考訳（メタデータ） (2024-11-11T16:02:12Z) - Switchable Decision: Dynamic Neural Generation Networks [98.61113699324429]
本稿では,各データインスタンスのリソースを動的に割り当てることで,推論を高速化するスイッチブルな決定を提案する。
提案手法は, 同一の精度を維持しながら, 推論時のコスト低減に有効である。
論文 参考訳（メタデータ） (2024-05-07T17:44:54Z) - Machine Learning Insides OptVerse AI Solver: Design Principles and
Applications [74.67495900436728]
本稿では,Huawei CloudのOpsVerse AIソルバに機械学習(ML)技術を統合するための総合的研究について述べる。
本稿では,実世界の多面構造を反映した生成モデルを用いて,複雑なSATインスタンスとMILPインスタンスを生成する手法を紹介する。
本稿では,解解器性能を著しく向上させる,最先端パラメータチューニングアルゴリズムの導入について詳述する。
論文 参考訳（メタデータ） (2024-01-11T15:02:15Z) - DeepScaler: Holistic Autoscaling for Microservices Based on
Spatiotemporal GNN with Adaptive Graph Learning [4.128665560397244]
本稿では,ディープラーニングに基づく総合的オートスケーリング手法であるDeepScalerを提案する。
サービスレベルの合意(SLA)とコスト効率を最適化するために、サービス依存関係に対処することに焦点を当てています。
実験により,本手法はマイクロサービスのより効率的な自動スケーリング機構を実装していることが示された。
論文 参考訳（メタデータ） (2023-09-02T08:22:21Z) - A Deep Recurrent-Reinforcement Learning Method for Intelligent AutoScaling of Serverless Functions [18.36339203254509]
Fは軽量で関数ベースのクラウド実行モデルを導入し、IoTエッジデータ処理や異常検出など、さまざまなアプリケーションでその妥当性を見出す。
論文 参考訳（メタデータ） (2023-08-11T04:41:19Z) - Predicting Resource Consumption of Kubernetes Container Systems using
Resource Models [3.138731415322007]
本稿では,クラウドシステムの資源モデルを実証的に導き出す方法について考察する。
私たちは、CPUとメモリリソースに明示的に準拠したフォーマルな言語でデプロイされたサービスのモデルに基づいています。
我々は、小規模なデプロイメントから収集したデータを経験的に活用して、より大きなデプロイメント上での高強度シナリオの実行をシミュレートする。
論文 参考訳（メタデータ） (2023-05-12T17:59:01Z) - FIRE: A Failure-Adaptive Reinforcement Learning Framework for Edge Computing Migrations [52.85536740465277]
FIREは、エッジコンピューティングのディジタルツイン環境でRLポリシーをトレーニングすることで、まれなイベントに適応するフレームワークである。
ImREは重要なサンプリングに基づくQ-ラーニングアルゴリズムであり、希少事象をその値関数への影響に比例してサンプリングする。
FIREは故障時にバニラRLやグリーディベースラインと比較してコストを削減できることを示す。
論文 参考訳（メタデータ） (2022-09-28T19:49:39Z) - Slimmable Domain Adaptation [112.19652651687402]
重み付けモデルバンクを用いて、ドメイン間の一般化を改善するためのシンプルなフレームワーク、Slimmable Domain Adaptationを導入する。
私たちのフレームワークは、他の競合するアプローチを、複数のベンチマークにおいて非常に大きなマージンで上回ります。
論文 参考訳（メタデータ） (2022-06-14T06:28:04Z) - SOLIS -- The MLOps journey from data acquisition to actionable insights [62.997667081978825]
本稿では,基本的なクロスプラットフォームテンソルフレームワークとスクリプト言語エンジンを使用しながら,すべての要件をサポートする統合デプロイメントパイプラインとフリー・ツー・オペレートアプローチを提案する。
しかし、このアプローチは、実際のプロダクショングレードシステムに機械学習機能を実際にデプロイするために必要な手順やパイプラインを提供していない。
論文 参考訳（メタデータ） (2021-12-22T14:45:37Z) - Reinforcement Learning on Computational Resource Allocation of
Cloud-based Wireless Networks [22.06811314358283]
IoT(Internet of Things)に使用される無線ネットワークには、主にクラウドベースのコンピューティングと処理が関与することが期待されている。
クラウド環境では、プロセスのパフォーマンスを維持しながらエネルギーを節約するために、動的計算資源割り当てが不可欠である。
本稿では、この動的計算資源割当問題をマルコフ決定プロセス(MDP)にモデル化し、CPU使用量の動的リソース割当を最適化するためのモデルベース強化学習エージェントを設計する。
その結果, エージェントは最適方針に迅速に収束し, 異なる設定で安定して動作し, 性能が良く, あるいは少なくとも等しく動作し, 異なるシナリオでの省エネにおけるベースラインアルゴリズムと比較した。
論文 参考訳（メタデータ） (2020-10-10T15:16:26Z) - A Privacy-Preserving Distributed Architecture for
Deep-Learning-as-a-Service [68.84245063902908]
本稿では,ディープラーニング・アズ・ア・サービスのための分散アーキテクチャを提案する。
クラウドベースのマシンとディープラーニングサービスを提供しながら、ユーザの機密データを保存できる。
論文 参考訳（メタデータ） (2020-03-30T15:12:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。