論文の概要: Shabari: Delayed Decision-Making for Faster and Efficient Serverless Function

• arxiv url: http://arxiv.org/abs/2401.08859v1
• Date: Tue, 16 Jan 2024 22:20:36 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-18 17:35:47.888330
• Title: Shabari: Delayed Decision-Making for Faster and Efficient Serverless Function
• Title（参考訳）: Shabari: 高速で効率的なサーバレス機能のための遅延決定処理
• Authors: Prasoon Sinha and Kostis Kaffes and Neeraja J. Yadwadkar
• Abstract要約: サーバレスシステムのためのリソース管理フレームワークであるShabariを紹介します。 Shabariは、機能のパフォーマンス目標を満たすために、各呼び出しの右サイズを可能な限り遅くする。 さまざまなサーバレス関数と入力に対して、ShabariはSLO違反を11～73%削減する。
• 参考スコア（独自算出の注目度）: 0.30693357740321775
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Serverless computing relieves developers from the burden of resource management, thus providing ease-of-use to the users and the opportunity to optimize resource utilization for the providers. However, today's serverless systems lack performance guarantees for function invocations, thus limiting support for performance-critical applications: we observed severe performance variability (up to 6x). Providers lack visibility into user functions and hence find it challenging to right-size them: we observed heavy resource underutilization (up to 80%). To understand the causes behind the performance variability and underutilization, we conducted a measurement study of commonly deployed serverless functions and learned that the function performance and resource utilization depend crucially on function semantics and inputs. Our key insight is to delay making resource allocation decisions until after the function inputs are available. We introduce Shabari, a resource management framework for serverless systems that makes decisions as late as possible to right-size each invocation to meet functions' performance objectives (SLOs) and improve resource utilization. Shabari uses an online learning agent to right-size each function invocation based on the features of the function input and makes cold-start-aware scheduling decisions. For a range of serverless functions and inputs, Shabari reduces SLO violations by 11-73% while not wasting any vCPUs and reducing wasted memory by 64-94% in the median case, compared to state-of-the-art systems, including Aquatope, Parrotfish, and Cypress.
• Abstract（参考訳）: サーバレスコンピューティングは、開発者がリソース管理の負担を軽減し、ユーザへの使いやすさと、プロバイダのリソース利用を最適化する機会を提供する。 しかしながら、今日のサーバレスシステムは、関数呼び出しのパフォーマンス保証が欠如しているため、パフォーマンスクリティカルなアプリケーションのサポートが制限されている。 プロバイダはユーザ機能の可視性を欠いているため、適切なサイズにすることは困難である。 性能変動と不使用の原因を理解するため,一般に展開されているサーバレス機能の測定を行い,機能性能と資源利用が機能意味と入力に大きく依存していることを学んだ。 私たちの重要な洞察は、関数入力が利用可能になるまでリソース割り当ての決定を遅らせることです。 サーバーレスシステムのためのリソース管理フレームワークであるShabariを導入し、各呼び出しを適切なサイズにすることで、機能のパフォーマンス目標(SLO)を満たし、リソース利用を改善する。 Shabariはオンライン学習エージェントを使用して、関数入力の特徴に基づいて各関数呼び出しを右サイズ化し、コールドスタート対応のスケジューリング決定を行う。 さまざまなサーバレス機能とインプットに対して、Shabariは、Aquatope、Parrotfish、Cypressといった最先端システムと比較して、SLO違反を11～73%削減し、vCPUを無駄にせず、時間の無駄なメモリを64～94%削減する。

関連論文リスト

• Input-Based Ensemble-Learning Method for Dynamic Memory Configuration of Serverless Computing Functions [18.36339203254509]
  本稿では、入力認識によるサーバレス関数のメモリ要求を推定するサーバーレスソリューションであるMemFigLessを紹介する。 MemFigLessは、入力対応のリソース関係をキャプチャし、最大82%のリソースを割り当て、最大87%のランタイムコストを節約できる。
  論文  参考訳（メタデータ） (2024-11-12T00:03:11Z)
• SeBS-Flow: Benchmarking Serverless Cloud Function Workflows [51.4200085836966]
  本稿では、最初のサーバーレスワークフローベンチマークスイートSeBS-Flowを提案する。 SeBS-Flowには6つの実世界のアプリケーションベンチマークと、異なる計算パターンを表す4つのマイクロベンチマークが含まれている。 当社では,パフォーマンス,コスト,スケーラビリティ,ランタイムの偏差など,3つの主要なクラウドプラットフォームに関する包括的な評価を実施しています。
  論文  参考訳（メタデータ） (2024-10-04T14:52:18Z)
• SPES: Towards Optimizing Performance-Resource Trade-Off for Serverless Functions [31.01399126339857]
  サーバーレスコンピューティングは、その効率性とオンデマンドのクラウドリソースを活用する能力によって、勢いを増している。 既存のソリューションでは、完全な呼び出しパターンを使わずに関数のプリロード/アンロードのために、過剰に単純化された戦略を使う傾向があります。 本研究では、サーバーレス関数のプロビジョニングを最適化することにより、実行時コールドスタート緩和のための最初の差別化スケジューラであるSPESを提案する。
  論文  参考訳（メタデータ） (2024-03-26T10:28:41Z)
• Adaptive Resource Allocation for Virtualized Base Stations in O-RAN with Online Learning [60.17407932691429]
  基地局(vBS)を備えたオープンラジオアクセスネットワークシステムは、柔軟性の向上、コスト削減、ベンダーの多様性、相互運用性のメリットを提供する。 本研究では,予期せぬ「混み合う」環境下であっても,効率的なスループットとvBSエネルギー消費のバランスをとるオンライン学習アルゴリズムを提案する。 提案手法は, 課題のある環境においても, 平均最適性ギャップをゼロにすることで, サブ線形後悔を実現する。
  論文  参考訳（メタデータ） (2023-09-04T17:30:21Z)
• On-demand Cold Start Frequency Reduction with Off-Policy Reinforcement Learning in Serverless Computing [18.36339203254509]
  提案した研究は、強化学習(RL)を用いて、プラットフォーム上での頻繁でオンデマンドなコールドスタートを減らすことに焦点を当てている。 提案手法では,CPU利用率や既存関数インスタンス,応答障害率といった関数メトリクスを考慮したモデルフリーQ-ラーニングを用いて,関数を前もって積極的に初期化する。 評価結果は,Kubelessのデフォルトポリシや関数維持ポリシと比較して,RLベースのエージェントの性能が良好であることを示す。
  論文  参考訳（メタデータ） (2023-08-15T03:01:41Z)
• Non-Convex Bilevel Optimization with Time-Varying Objective Functions [57.299128109226025]
  本稿では,時間変化の可能なオンライン二段階最適化を提案し,エージェントがオンラインデータを用いて決定を継続的に更新する。 既存のアルゴリズムと比較して、SOBOWは計算効率が良く、以前の関数を知る必要がない。 軽度条件下では,SOBOWはサブリニアな局所的後悔を達成できることを示す。
  論文  参考訳（メタデータ） (2023-08-07T06:27:57Z)
• Learning to Optimize Permutation Flow Shop Scheduling via Graph-based Imitation Learning [70.65666982566655]
  置換フローショップスケジューリング(PFSS)は製造業で広く使われている。 我々は,より安定かつ正確に収束を加速する専門家主導の模倣学習を通じてモデルを訓練することを提案する。 我々のモデルのネットワークパラメータはわずか37%に減少し、エキスパートソリューションに対する我々のモデルの解のギャップは平均6.8%から1.3%に減少する。
  論文  参考訳（メタデータ） (2022-10-31T09:46:26Z)
• Gradient and Projection Free Distributed Online Min-Max Resource Optimization [26.681658600897688]
  並列エージェントの集合を用いた分散オンライン min-max リソース割り当てについて検討する。 我々は、分散オンラインリソース・リアグル(DORA)と呼ばれる新しいオンライン戦略を提案する。 DORAは既存のオンライン戦略とは異なり、計算やプロジェクションの操作を必要としない。
  論文  参考訳（メタデータ） (2021-12-07T18:42:07Z)
• Harvesting Idle Resources in Serverless Computing via Reinforcement Learning [7.346628578439277]
  FRMは、過給関数から過給関数から過給関数へ動的にアイドルリソースを収穫することで、資源効率を最大化する。 FRMは、各関数のリソース利用をリアルタイムで監視し、過剰なプロビジョニングと過剰なプロビジョンを検出し、深い強化学習を適用してアイドルリソースを安全に回収する。 我々は、FRMプロトタイプを13ノードのApache OpenWhiskクラスタで実装し、デプロイした。
  論文  参考訳（メタデータ） (2021-08-28T23:02:56Z)
• Pollux: Co-adaptive Cluster Scheduling for Goodput-Optimized Deep Learning [61.29990368322931]
  Polluxは、相互依存要因を適応的に最適化することで、ディープラーニング(DL)クラスタのスケジューリング性能を改善する。 Polluxは、最先端のDLスケジューラと比較して、平均的なジョブ完了時間を37-50%削減する。
  論文  参考訳（メタデータ） (2020-08-27T16:56:48Z)
• Dynamic Parameter Allocation in Parameter Servers [74.250687861348]
  本稿では,パラメータサーバに動的パラメータ割り当てを組み込んで,Lapse と呼ばれるパラメータサーバの効率的な実装を提案する。 Lapseはニアリニアなスケーリングを提供しており、既存のパラメータサーバよりも桁違いに高速であることがわかった。
  論文  参考訳（メタデータ） (2020-02-03T11:37:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。