論文の概要: On-demand Cold Start Frequency Reduction with Off-Policy Reinforcement Learning in Serverless Computing

• arxiv url: http://arxiv.org/abs/2308.07541v2
• Date: Wed, 13 Nov 2024 02:17:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-14 19:24:49.961734
• Title: On-demand Cold Start Frequency Reduction with Off-Policy Reinforcement Learning in Serverless Computing
• Title（参考訳）: サーバーレスコンピューティングにおけるオフポリティ強化学習によるオンデマンドコールドスタート周波数低減
• Authors: Siddharth Agarwal, Maria A. Rodriguez, Rajkumar Buyya,
• Abstract要約: 提案した研究は、強化学習(RL)を用いて、プラットフォーム上での頻繁でオンデマンドなコールドスタートを減らすことに焦点を当てている。 提案手法では,CPU利用率や既存関数インスタンス,応答障害率といった関数メトリクスを考慮したモデルフリーQ-ラーニングを用いて,関数を前もって積極的に初期化する。 評価結果は,Kubelessのデフォルトポリシや関数維持ポリシと比較して,RLベースのエージェントの性能が良好であることを示す。
• 参考スコア（独自算出の注目度）: 18.36339203254509
• License:
• Abstract: Function-as-a-Service (FaaS) is a cloud computing paradigm offering an event-driven execution model to applications. It features serverless attributes by eliminating resource management responsibilities from developers, and offers transparent and on-demand scalability of applications. To provide seamless on-demand scalability, new function instances are prepared to serve the incoming workload in the absence or unavailability of function instances. However, FaaS platforms are known to suffer from cold starts, where this function provisioning process introduces a non-negligible delay in function response and reduces the end-user experience. Therefore, the presented work focuses on reducing the frequent, on-demand cold starts on the platform by using Reinforcement Learning(RL). The proposed approach uses model-free Q-learning that consider function metrics such as CPU utilization, existing function instances, and response failure rate, to proactively initialize functions, in advance, based on the expected demand. The proposed solution is implemented on Kubeless and evaluated using an open-source function invocation trace applied to a matrix multiplication function. The evaluation results demonstrate a favourable performance of the RL-based agent when compared to Kubeless' default policy and a function keep-alive policy by improving throughput by up to 8.81% and reducing computation load and resource wastage by up to 55% and 37%, respectively, that is a direct outcome of reduced cold starts.
• Abstract（参考訳）: FaaS(Function-as-a-Service)は、アプリケーションにイベント駆動実行モデルを提供するクラウドコンピューティングパラダイムである。 開発者からリソース管理の責務を排除し、アプリケーションの透過的かつオンデマンドなスケーラビリティを提供する。 シームレスなオンデマンドスケーラビリティを提供するため、新しいファンクションインスタンスは、ファンクションインスタンスの欠如や不有効性において、入ってくるワークロードを提供するように準備されている。 しかし、FaaSプラットフォームはコールドスタートに苦しむことで知られており、この関数プロビジョニングプロセスでは、関数応答の非無視的な遅延が発生し、エンドユーザエクスペリエンスが低下する。 そこで本研究では,Reinforcement Learning (RL) を用いて,プラットフォーム上で頻繁に発生するオンデマンドコールドスタートを減らすことに焦点を当てた。 提案手法では,CPU利用率,既存関数インスタンス,応答障害率などの関数メトリクスを考慮したQ-ラーニングモデルを用いて,期待する要求に基づいて関数を前向きに初期化する。 提案手法はKubeless上で実装され,行列乗算関数に適用したオープンソースの関数呼び出しトレースを用いて評価される。 評価結果は、Kubelessのデフォルトポリシーと関数維持ポリシーと比較して、スループットを最大8.81%向上し、それぞれ計算負荷とリソース浪費を最大55%と37%削減し、寒冷開始の直接的な結果である、RLベースのエージェントの良好な性能を示す。

関連論文リスト

• SPES: Towards Optimizing Performance-Resource Trade-Off for Serverless Functions [31.01399126339857]
  サーバーレスコンピューティングは、その効率性とオンデマンドのクラウドリソースを活用する能力によって、勢いを増している。 既存のソリューションでは、完全な呼び出しパターンを使わずに関数のプリロード/アンロードのために、過剰に単純化された戦略を使う傾向があります。 本研究では、サーバーレス関数のプロビジョニングを最適化することにより、実行時コールドスタート緩和のための最初の差別化スケジューラであるSPESを提案する。
  論文  参考訳（メタデータ） (2024-03-26T10:28:41Z)
• Shabari: Delayed Decision-Making for Faster and Efficient Serverless Functions [0.30693357740321775]
  サーバレスシステムのためのリソース管理フレームワークであるShabariを紹介します。 Shabariは、機能のパフォーマンス目標を満たすために、各呼び出しの右サイズを可能な限り遅くする。 さまざまなサーバレス関数と入力に対して、ShabariはSLO違反を11～73%削減する。
  論文  参考訳（メタデータ） (2024-01-16T22:20:36Z)
• Augmenting Unsupervised Reinforcement Learning with Self-Reference [63.68018737038331]
  人間は、新しいタスクを学ぶ際に、過去の経験を明確に表現する能力を持っている。 本稿では,歴史情報を活用するためのアドオンモジュールとして,自己参照(SR)アプローチを提案する。 提案手法は,非教師付き強化学習ベンチマークにおけるIQM(Interquartile Mean)性能と最適ギャップ削減の両面から,最先端の成果を実現する。
  論文  参考訳（メタデータ） (2023-11-16T09:07:34Z)
• OptScaler: A Hybrid Proactive-Reactive Framework for Robust Autoscaling in the Cloud [11.340252931723063]
  オートスケーリングはクラウドコンピューティングにおいて重要なメカニズムであり、動的ワークロード下でのコンピューティングリソースの自律的な調整をサポートする。 既存のアクティブ自動スケーリングメソッドは将来のワークロードを予測し、事前にリソースをスケールしますが、リアクティブメソッドはリアルタイムシステムフィードバックに依存します。 本稿では,CPU利用制御のためのプロアクティブ手法とリアクティブ手法の両方のパワーを統合するハイブリッド自動スケーリングフレームワークであるOpsScalerを提案する。
  論文  参考訳（メタデータ） (2023-10-26T04:38:48Z)
• A Deep Recurrent-Reinforcement Learning Method for Intelligent AutoScaling of Serverless Functions [18.36339203254509]
  Fは軽量で関数ベースのクラウド実行モデルを導入し、IoTエッジデータ処理や異常検出など、さまざまなアプリケーションでその妥当性を見出す。
  論文  参考訳（メタデータ） (2023-08-11T04:41:19Z)
• Efficient Model-Free Exploration in Low-Rank MDPs [76.87340323826945]
  低ランクマルコフ決定プロセスは、関数近似を持つRLに対して単純だが表現力のあるフレームワークを提供する。 既存のアルゴリズムは、(1)計算的に抽出可能であるか、または(2)制限的な統計的仮定に依存している。 提案手法は,低ランクMPPの探索のための最初の実証可能なサンプル効率アルゴリズムである。
  論文  参考訳（メタデータ） (2023-07-08T15:41:48Z)
• Offline Minimax Soft-Q-learning Under Realizability and Partial Coverage [100.8180383245813]
  オフライン強化学習(RL)のための値ベースアルゴリズムを提案する。 ソフトマージン条件下でのバニラQ関数の類似した結果を示す。 我々のアルゴリズムの損失関数は、推定問題を非線形凸最適化問題とラグランジフィケーションとしてキャストすることによって生じる。
  論文  参考訳（メタデータ） (2023-02-05T14:22:41Z)
• Offline Reinforcement Learning with Implicit Q-Learning [85.62618088890787]
  現行のオフライン強化学習手法では、トレーニング中に見つからない行動の価値を問い合わせて、ポリシーを改善する必要がある。 本稿では,データセット外の動作を評価する必要のないオフラインRL手法を提案する。 この方法により、学習したポリシーは、一般化によってデータの最良の振る舞いを大幅に改善することができる。
  論文  参考訳（メタデータ） (2021-10-12T17:05:05Z)
• Harvesting Idle Resources in Serverless Computing via Reinforcement Learning [7.346628578439277]
  FRMは、過給関数から過給関数から過給関数へ動的にアイドルリソースを収穫することで、資源効率を最大化する。 FRMは、各関数のリソース利用をリアルタイムで監視し、過剰なプロビジョニングと過剰なプロビジョンを検出し、深い強化学習を適用してアイドルリソースを安全に回収する。 我々は、FRMプロトタイプを13ノードのApache OpenWhiskクラスタで実装し、デプロイした。
  論文  参考訳（メタデータ） (2021-08-28T23:02:56Z)
• Online reinforcement learning with sparse rewards through an active inference capsule [62.997667081978825]
  本稿では,将来期待される新しい自由エネルギーを最小化するアクティブ推論エージェントを提案する。 我々のモデルは、非常に高いサンプル効率でスパース・リワード問題を解くことができる。 また、複雑な目的の表現を単純化する報奨関数から事前モデルを近似する新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-06-04T10:03:36Z)
• Optimizing for the Future in Non-Stationary MDPs [52.373873622008944]
  本稿では,今後の性能予測を最大化するポリシ勾配アルゴリズムを提案する。 我々のアルゴリズムであるPrognosticatorは2つのオンライン適応手法よりも非定常性に頑健であることを示す。
  論文  参考訳（メタデータ） (2020-05-17T03:41:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。