論文の概要: Reinforcement Learning (RL) Augmented Cold Start Frequency Reduction in Serverless Computing

• arxiv url: http://arxiv.org/abs/2308.07541v1
• Date: Tue, 15 Aug 2023 03:01:41 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-16 14:09:24.771496
• Title: Reinforcement Learning (RL) Augmented Cold Start Frequency Reduction in Serverless Computing
• Title（参考訳）: 強化学習(rl)によるサーバーレスコンピューティングにおけるコールドスタート頻度の低減
• Authors: Siddharth Agarwal, Maria A. Rodriguez, Rajkumar Buyya
• Abstract要約: この研究は、強化学習(Reinforcement Learning)を用いることで、Function-as-a-Serviceプラットフォーム上でのコールドスタートの頻度を減らすことに重点を置いている。 提案手法はKubeless上で実装され,作業負荷として行列乗算を用いた実世界の関数要求トレースを用いて評価された。
• 参考スコア（独自算出の注目度）: 20.638612359627952
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Function-as-a-Service is a cloud computing paradigm offering an event-driven execution model to applications. It features serverless attributes by eliminating resource management responsibilities from developers and offers transparent and on-demand scalability of applications. Typical serverless applications have stringent response time and scalability requirements and therefore rely on deployed services to provide quick and fault-tolerant feedback to clients. However, the FaaS paradigm suffers from cold starts as there is a non-negligible delay associated with on-demand function initialization. This work focuses on reducing the frequency of cold starts on the platform by using Reinforcement Learning. Our approach uses Q-learning and considers metrics such as function CPU utilization, existing function instances, and response failure rate to proactively initialize functions in advance based on the expected demand. The proposed solution was implemented on Kubeless and was evaluated using a normalised real-world function demand trace with matrix multiplication as the workload. The results demonstrate a favourable performance of the RL-based agent when compared to Kubeless' default policy and function keep-alive policy by improving throughput by up to 8.81% and reducing computation load and resource wastage by up to 55% and 37%, respectively, which is a direct outcome of reduced cold starts.
• Abstract（参考訳）: function-as-a-serviceは、アプリケーションにイベント駆動実行モデルを提供するクラウドコンピューティングパラダイムである。 開発者からリソース管理の責務を排除し、アプリケーションの透過的かつオンデマンドなスケーラビリティを提供する。 一般的なサーバーレスアプリケーションは、応答時間とスケーラビリティの要件が厳しいため、クライアントに迅速かつフォールトトレラントなフィードバックを提供するために、デプロイされたサービスに依存する。 しかし、FaaSパラダイムはオンデマンド関数の初期化に伴う非無視的な遅延があるため、コールドスタートに苦しむ。 本研究は強化学習を用いて,プラットフォーム上でのコールドスタート頻度の低減に重点を置いている。 提案手法ではQ-learningを用いて,期待する要求に基づいて,関数CPU利用,既存関数インスタンス,応答障害率などのメトリクスを前向きに初期化する。 提案手法はkubeless上で実装され,実世界の関数要求トレースと行列乗算を負荷として評価した。 その結果,最大8.81%のスループット向上と最大55%,37%の計算負荷とリソース浪費削減により,kubelessのデフォルトポリシや関数保留ポリシと比較した場合,rlベースのエージェントが好適な性能を示し,コールドスタートの直接的な結果となった。

関連論文リスト

• SPES: Towards Optimizing Performance-Resource Trade-Off for Serverless Functions [31.01399126339857]
  サーバーレスコンピューティングは、その効率性とオンデマンドのクラウドリソースを活用する能力によって、勢いを増している。 既存のソリューションでは、完全な呼び出しパターンを使わずに関数のプリロード/アンロードのために、過剰に単純化された戦略を使う傾向があります。 本研究では、サーバーレス関数のプロビジョニングを最適化することにより、実行時コールドスタート緩和のための最初の差別化スケジューラであるSPESを提案する。
  論文  参考訳（メタデータ） (2024-03-26T10:28:41Z)
• Shabari: Delayed Decision-Making for Faster and Efficient Serverless Functions [0.30693357740321775]
  サーバレスシステムのためのリソース管理フレームワークであるShabariを紹介します。 Shabariは、機能のパフォーマンス目標を満たすために、各呼び出しの右サイズを可能な限り遅くする。 さまざまなサーバレス関数と入力に対して、ShabariはSLO違反を11～73%削減する。
  論文  参考訳（メタデータ） (2024-01-16T22:20:36Z)
• Augmenting Unsupervised Reinforcement Learning with Self-Reference [63.68018737038331]
  人間は、新しいタスクを学ぶ際に、過去の経験を明確に表現する能力を持っている。 本稿では,歴史情報を活用するためのアドオンモジュールとして,自己参照(SR)アプローチを提案する。 提案手法は,非教師付き強化学習ベンチマークにおけるIQM(Interquartile Mean)性能と最適ギャップ削減の両面から,最先端の成果を実現する。
  論文  参考訳（メタデータ） (2023-11-16T09:07:34Z)
• OptScaler: A Hybrid Proactive-Reactive Framework for Robust Autoscaling in the Cloud [11.340252931723063]
  オートスケーリングはクラウドコンピューティングにおいて重要なメカニズムであり、動的ワークロード下でのコンピューティングリソースの自律的な調整をサポートする。 既存のアクティブ自動スケーリングメソッドは将来のワークロードを予測し、事前にリソースをスケールしますが、リアクティブメソッドはリアルタイムシステムフィードバックに依存します。 本稿では,CPU利用制御のためのプロアクティブ手法とリアクティブ手法の両方のパワーを統合するハイブリッド自動スケーリングフレームワークであるOpsScalerを提案する。
  論文  参考訳（メタデータ） (2023-10-26T04:38:48Z)
• A Deep Recurrent-Reinforcement Learning Method for Intelligent AutoScaling of Serverless Functions [18.36339203254509]
  Fは軽量で関数ベースのクラウド実行モデルを導入し、IoTエッジデータ処理や異常検出など、さまざまなアプリケーションでその妥当性を見出す。
  論文  参考訳（メタデータ） (2023-08-11T04:41:19Z)
• Efficient Model-Free Exploration in Low-Rank MDPs [76.87340323826945]
  低ランクマルコフ決定プロセスは、関数近似を持つRLに対して単純だが表現力のあるフレームワークを提供する。 既存のアルゴリズムは、(1)計算的に抽出可能であるか、または(2)制限的な統計的仮定に依存している。 提案手法は,低ランクMPPの探索のための最初の実証可能なサンプル効率アルゴリズムである。
  論文  参考訳（メタデータ） (2023-07-08T15:41:48Z)
• Offline Minimax Soft-Q-learning Under Realizability and Partial Coverage [100.8180383245813]
  オフライン強化学習(RL)のための値ベースアルゴリズムを提案する。 ソフトマージン条件下でのバニラQ関数の類似した結果を示す。 我々のアルゴリズムの損失関数は、推定問題を非線形凸最適化問題とラグランジフィケーションとしてキャストすることによって生じる。
  論文  参考訳（メタデータ） (2023-02-05T14:22:41Z)
• Offline Reinforcement Learning with Implicit Q-Learning [85.62618088890787]
  現行のオフライン強化学習手法では、トレーニング中に見つからない行動の価値を問い合わせて、ポリシーを改善する必要がある。 本稿では,データセット外の動作を評価する必要のないオフラインRL手法を提案する。 この方法により、学習したポリシーは、一般化によってデータの最良の振る舞いを大幅に改善することができる。
  論文  参考訳（メタデータ） (2021-10-12T17:05:05Z)
• Harvesting Idle Resources in Serverless Computing via Reinforcement Learning [7.346628578439277]
  FRMは、過給関数から過給関数から過給関数へ動的にアイドルリソースを収穫することで、資源効率を最大化する。 FRMは、各関数のリソース利用をリアルタイムで監視し、過剰なプロビジョニングと過剰なプロビジョンを検出し、深い強化学習を適用してアイドルリソースを安全に回収する。 我々は、FRMプロトタイプを13ノードのApache OpenWhiskクラスタで実装し、デプロイした。
  論文  参考訳（メタデータ） (2021-08-28T23:02:56Z)
• Online reinforcement learning with sparse rewards through an active inference capsule [62.997667081978825]
  本稿では,将来期待される新しい自由エネルギーを最小化するアクティブ推論エージェントを提案する。 我々のモデルは、非常に高いサンプル効率でスパース・リワード問題を解くことができる。 また、複雑な目的の表現を単純化する報奨関数から事前モデルを近似する新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-06-04T10:03:36Z)
• Optimizing for the Future in Non-Stationary MDPs [52.373873622008944]
  本稿では,今後の性能予測を最大化するポリシ勾配アルゴリズムを提案する。 我々のアルゴリズムであるPrognosticatorは2つのオンライン適応手法よりも非定常性に頑健であることを示す。
  論文  参考訳（メタデータ） (2020-05-17T03:41:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。