論文の概要: Shabari: Delayed Decision-Making for Faster and Efficient Serverless
Functions
- arxiv url: http://arxiv.org/abs/2401.08859v2
- Date: Thu, 25 Jan 2024 16:34:22 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-26 17:29:19.991527
- Title: Shabari: Delayed Decision-Making for Faster and Efficient Serverless
Functions
- Title(参考訳): Shabari: 高速で効率的なサーバレス機能のための遅延決定処理
- Authors: Prasoon Sinha and Kostis Kaffes and Neeraja J. Yadwadkar
- Abstract要約: サーバレスシステムのためのリソース管理フレームワークであるShabariを紹介します。
Shabariは、機能のパフォーマンス目標を満たすために、各呼び出しの右サイズを可能な限り遅くする。
さまざまなサーバレス関数と入力に対して、ShabariはSLO違反を11~73%削減する。
- 参考スコア(独自算出の注目度): 0.30693357740321775
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Serverless computing relieves developers from the burden of resource
management, thus providing ease-of-use to the users and the opportunity to
optimize resource utilization for the providers. However, today's serverless
systems lack performance guarantees for function invocations, thus limiting
support for performance-critical applications: we observed severe performance
variability (up to 6x). Providers lack visibility into user functions and hence
find it challenging to right-size them: we observed heavy resource
underutilization (up to 80%). To understand the causes behind the performance
variability and underutilization, we conducted a measurement study of commonly
deployed serverless functions and learned that the function performance and
resource utilization depend crucially on function semantics and inputs. Our key
insight is to delay making resource allocation decisions until after the
function inputs are available. We introduce Shabari, a resource management
framework for serverless systems that makes decisions as late as possible to
right-size each invocation to meet functions' performance objectives (SLOs) and
improve resource utilization. Shabari uses an online learning agent to
right-size each function invocation based on the features of the function input
and makes cold-start-aware scheduling decisions. For a range of serverless
functions and inputs, Shabari reduces SLO violations by 11-73% while not
wasting any vCPUs and reducing wasted memory by 64-94% in the median case,
compared to state-of-the-art systems, including Aquatope, Parrotfish, and
Cypress.
- Abstract(参考訳): サーバレスコンピューティングは、開発者がリソース管理の負担を軽減し、ユーザへの使いやすさと、プロバイダのリソース利用を最適化する機会を提供する。
しかしながら、今日のサーバレスシステムは、関数呼び出しのパフォーマンス保証が欠如しているため、パフォーマンスクリティカルなアプリケーションのサポートが制限されている。
プロバイダはユーザ機能の可視性を欠いているため、適切なサイズにすることは困難である。
性能変動と不使用の原因を理解するため,一般に展開されているサーバレス機能の測定を行い,機能性能と資源利用が機能意味と入力に大きく依存していることを学んだ。
私たちの重要な洞察は、関数入力が利用可能になるまでリソース割り当ての決定を遅らせることです。
サーバーレスシステムのためのリソース管理フレームワークであるShabariを導入し、各呼び出しを適切なサイズにすることで、機能のパフォーマンス目標(SLO)を満たし、リソース利用を改善する。
Shabariはオンライン学習エージェントを使用して、関数入力の特徴に基づいて各関数呼び出しを右サイズ化し、コールドスタート対応のスケジューリング決定を行う。
さまざまなサーバレス機能とインプットに対して、Shabariは、Aquatope、Parrotfish、Cypressといった最先端システムと比較して、SLO違反を11~73%削減し、vCPUを無駄にせず、時間の無駄なメモリを64~94%削減する。
関連論文リスト
- Adaptive Resource Allocation for Virtualized Base Stations in O-RAN with
Online Learning [60.17407932691429]
基地局(vBS)を備えたオープンラジオアクセスネットワークシステムは、柔軟性の向上、コスト削減、ベンダーの多様性、相互運用性のメリットを提供する。
本研究では,予期せぬ「混み合う」環境下であっても,効率的なスループットとvBSエネルギー消費のバランスをとるオンライン学習アルゴリズムを提案する。
提案手法は, 課題のある環境においても, 平均最適性ギャップをゼロにすることで, サブ線形後悔を実現する。
論文 参考訳(メタデータ) (2023-09-04T17:30:21Z) - Reinforcement Learning (RL) Augmented Cold Start Frequency Reduction in
Serverless Computing [20.638612359627952]
この研究は、強化学習(Reinforcement Learning)を用いることで、Function-as-a-Serviceプラットフォーム上でのコールドスタートの頻度を減らすことに重点を置いている。
提案手法はKubeless上で実装され,作業負荷として行列乗算を用いた実世界の関数要求トレースを用いて評価された。
論文 参考訳(メタデータ) (2023-08-15T03:01:41Z) - Non-Convex Bilevel Optimization with Time-Varying Objective Functions [57.299128109226025]
本稿では,時間変化の可能なオンライン二段階最適化を提案し,エージェントがオンラインデータを用いて決定を継続的に更新する。
既存のアルゴリズムと比較して、SOBOWは計算効率が良く、以前の関数を知る必要がない。
軽度条件下では,SOBOWはサブリニアな局所的後悔を達成できることを示す。
論文 参考訳(メタデータ) (2023-08-07T06:27:57Z) - Revisiting the Performance of Serverless Computing: An Analysis of
Variance [14.872563076658563]
サーバレスコンピューティングは、ソフトウェアエンジニアが関数の粒度でアプリケーションを開発することを可能にする(サーバレス関数と呼ばれる)。
同じサーバレス関数の複数の同一実行は、これらの関数が実行される非常にダイナミックな基盤環境のため、異なるパフォーマンスを示すことができる。
トップレベルのカンファレンスで公開された59の関連研究論文を調査し、サーバーレス関数のパフォーマンスのばらつきを定量化するために複数のランを使用するのは、40.68%に過ぎません。
論文 参考訳(メタデータ) (2023-05-07T15:32:16Z) - Learning to Optimize Permutation Flow Shop Scheduling via Graph-based
Imitation Learning [70.65666982566655]
置換フローショップスケジューリング(PFSS)は製造業で広く使われている。
我々は,より安定かつ正確に収束を加速する専門家主導の模倣学習を通じてモデルを訓練することを提案する。
我々のモデルのネットワークパラメータはわずか37%に減少し、エキスパートソリューションに対する我々のモデルの解のギャップは平均6.8%から1.3%に減少する。
論文 参考訳(メタデータ) (2022-10-31T09:46:26Z) - Gradient and Projection Free Distributed Online Min-Max Resource
Optimization [26.681658600897688]
並列エージェントの集合を用いた分散オンライン min-max リソース割り当てについて検討する。
我々は、分散オンラインリソース・リアグル(DORA)と呼ばれる新しいオンライン戦略を提案する。
DORAは既存のオンライン戦略とは異なり、計算やプロジェクションの操作を必要としない。
論文 参考訳(メタデータ) (2021-12-07T18:42:07Z) - Harvesting Idle Resources in Serverless Computing via Reinforcement
Learning [7.346628578439277]
FRMは、過給関数から過給関数から過給関数へ動的にアイドルリソースを収穫することで、資源効率を最大化する。
FRMは、各関数のリソース利用をリアルタイムで監視し、過剰なプロビジョニングと過剰なプロビジョンを検出し、深い強化学習を適用してアイドルリソースを安全に回収する。
我々は、FRMプロトタイプを13ノードのApache OpenWhiskクラスタで実装し、デプロイした。
論文 参考訳(メタデータ) (2021-08-28T23:02:56Z) - Optimal Resource Allocation for Serverless Queries [8.59568779761598]
以前の作業では、リソース割り当てと実行時の積極的なトレードオフを無視しながら、ピークアロケーションの予測に重点を置いていた。
本稿では,新しいクエリと過去のクエリの両方に対して,アグレッシブなトレードオフでパフォーマンスを予測できる最適なリソース割り当てシステムを提案する。
論文 参考訳(メタデータ) (2021-07-19T02:55:48Z) - Pollux: Co-adaptive Cluster Scheduling for Goodput-Optimized Deep
Learning [61.29990368322931]
Polluxは、相互依存要因を適応的に最適化することで、ディープラーニング(DL)クラスタのスケジューリング性能を改善する。
Polluxは、最先端のDLスケジューラと比較して、平均的なジョブ完了時間を37-50%削減する。
論文 参考訳(メタデータ) (2020-08-27T16:56:48Z) - Joint Parameter-and-Bandwidth Allocation for Improving the Efficiency of
Partitioned Edge Learning [73.82875010696849]
機械学習アルゴリズムは、人工知能(AI)モデルをトレーニングするために、ネットワークエッジにデプロイされる。
本稿では,パラメータ(計算負荷)割り当てと帯域幅割り当ての新しい共同設計に焦点を当てる。
論文 参考訳(メタデータ) (2020-03-10T05:52:15Z) - Dynamic Parameter Allocation in Parameter Servers [74.250687861348]
本稿では,パラメータサーバに動的パラメータ割り当てを組み込んで,Lapse と呼ばれるパラメータサーバの効率的な実装を提案する。
Lapseはニアリニアなスケーリングを提供しており、既存のパラメータサーバよりも桁違いに高速であることがわかった。
論文 参考訳(メタデータ) (2020-02-03T11:37:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。