論文の概要: SPES: Towards Optimizing Performance-Resource Trade-Off for Serverless Functions
- arxiv url: http://arxiv.org/abs/2403.17574v1
- Date: Tue, 26 Mar 2024 10:28:41 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-27 15:47:16.915842
- Title: SPES: Towards Optimizing Performance-Resource Trade-Off for Serverless Functions
- Title（参考訳）: SPES: サーバレス機能のためのパフォーマンスとリソースのトレードオフを最適化する
- Authors: Cheryl Lee, Zhouruixin Zhu, Tianyi Yang, Yintong Huo, Yuxin Su, Pinjia He, Michael R. Lyu,
- Abstract要約: サーバーレスコンピューティングは、その効率性とオンデマンドのクラウドリソースを活用する能力によって、勢いを増している。
既存のソリューションでは、完全な呼び出しパターンを使わずに関数のプリロード/アンロードのために、過剰に単純化された戦略を使う傾向があります。
本研究では、サーバーレス関数のプロビジョニングを最適化することにより、実行時コールドスタート緩和のための最初の差別化スケジューラであるSPESを提案する。
- 参考スコア（独自算出の注目度）: 31.01399126339857
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: As an emerging cloud computing deployment paradigm, serverless computing is gaining traction due to its efficiency and ability to harness on-demand cloud resources. However, a significant hurdle remains in the form of the cold start problem, causing latency when launching new function instances from scratch. Existing solutions tend to use over-simplistic strategies for function pre-loading/unloading without full invocation pattern exploitation, rendering unsatisfactory optimization of the trade-off between cold start latency and resource waste. To bridge this gap, we propose SPES, the first differentiated scheduler for runtime cold start mitigation by optimizing serverless function provision. Our insight is that the common architecture of serverless systems prompts the con- centration of certain invocation patterns, leading to predictable invocation behaviors. This allows us to categorize functions and pre-load/unload proper function instances with finer-grained strategies based on accurate invocation prediction. Experiments demonstrate the success of SPES in optimizing serverless function provision on both sides: reducing the 75th-percentile cold start rates by 49.77% and the wasted memory time by 56.43%, compared to the state-of-the-art. By mitigating the cold start issue, SPES is a promising advancement in facilitating cloud services deployed on serverless architectures.
- Abstract（参考訳）: クラウドコンピューティングのデプロイメントのパラダイムとして、サーバーレスコンピューティングは、その効率性とオンデマンドのクラウドリソースを活用する能力により、勢いを増している。
しかし、コールドスタートの問題という形で大きなハードルが残っており、新しいファンクションインスタンスをスクラッチから起動する際にレイテンシが発生する。
既存のソリューションでは、コールドスタート遅延とリソース浪費の間のトレードオフを満足のいく最適化を施すことなく、関数のプリロード/アンロードを単純化した戦略を使う傾向があります。
このギャップを埋めるために、サーバーレス関数のプロビジョニングを最適化し、実行時コールドスタート緩和のための最初の差別化スケジューラSPESを提案する。
私たちの洞察では、サーバレスシステムの共通アーキテクチャは、特定の呼び出しパターンの集中化を促し、予測可能な呼び出し動作をもたらします。
これにより、正確な呼び出し予測に基づいて、よりきめ細かい戦略で関数を分類し、適切な関数インスタンスをプリロード/アンロードできます。
実験では、サーバーレス関数のプロビジョニングを最適化するSPESの成功を実証している。75パーセントのコールドスタート率を49.77%削減し、時間の無駄なメモリ時間を56.43%削減する。
コールドスタート問題を緩和することにより、SPESは、サーバレスアーキテクチャにデプロイされたクラウドサービスを容易にするための、有望な進歩である。
関連論文リスト
- SeBS-Flow: Benchmarking Serverless Cloud Function Workflows [51.4200085836966]
本稿では、最初のサーバーレスワークフローベンチマークスイートSeBS-Flowを提案する。
SeBS-Flowには6つの実世界のアプリケーションベンチマークと、異なる計算パターンを表す4つのマイクロベンチマークが含まれている。
当社では,パフォーマンス,コスト,スケーラビリティ,ランタイムの偏差など,3つの主要なクラウドプラットフォームに関する包括的な評価を実施しています。
論文 参考訳（メタデータ） (2024-10-04T14:52:18Z) - Forecast-PEFT: Parameter-Efficient Fine-Tuning for Pre-trained Motion Forecasting Models [68.23649978697027]
Forecast-PEFTは、モデルのパラメータの大部分を凍結し、新しく導入されたプロンプトとアダプタの調整に集中する微調整戦略である。
実験の結果,Forecast-PEFTは動作予測タスクにおいて従来のフルチューニング手法よりも優れていた。
Forecast-FTは予測性能をさらに改善し、従来のベースライン法よりも最大9.6%向上した。
論文 参考訳（メタデータ） (2024-07-28T19:18:59Z) - SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning [63.93193829913252]
本稿では,リソース制限シナリオに対するSHERLと呼ばれる革新的なMETL戦略を提案する。
初期経路では、中間出力は反冗長動作によって統合される。
遅延ルートでは、最小限の遅延事前トレーニングされたレイヤを利用することで、メモリオーバーヘッドのピーク需要を軽減できる。
論文 参考訳（メタデータ） (2024-07-10T10:22:35Z) - DAISY: Data Adaptive Self-Supervised Early Exit for Speech Representation Models [55.608981341747246]
本稿では,データ適応型自己監督早期退避(DAISY)を導入する。
DAISYの適応性に関する分析では、ノイズの多いデータ上で(より多くのレイヤを使用して)遅い時間に、クリーンデータ上で(より少ないレイヤを使用して)モデルが早期に(より少ないレイヤを使用して)終了することを示しています。
論文 参考訳（メタデータ） (2024-06-08T12:58:13Z) - Shabari: Delayed Decision-Making for Faster and Efficient Serverless
Functions [0.30693357740321775]
サーバレスシステムのためのリソース管理フレームワークであるShabariを紹介します。
Shabariは、機能のパフォーマンス目標を満たすために、各呼び出しの右サイズを可能な限り遅くする。
さまざまなサーバレス関数と入力に対して、ShabariはSLO違反を11～73%削減する。
論文 参考訳（メタデータ） (2024-01-16T22:20:36Z) - On-demand Cold Start Frequency Reduction with Off-Policy Reinforcement Learning in Serverless Computing [18.36339203254509]
提案した研究は、強化学習(RL)を用いて、プラットフォーム上での頻繁でオンデマンドなコールドスタートを減らすことに焦点を当てている。
提案手法では,CPU利用率や既存関数インスタンス,応答障害率といった関数メトリクスを考慮したモデルフリーQ-ラーニングを用いて,関数を前もって積極的に初期化する。
評価結果は,Kubelessのデフォルトポリシや関数維持ポリシと比較して,RLベースのエージェントの性能が良好であることを示す。
論文 参考訳（メタデータ） (2023-08-15T03:01:41Z) - Instance-aware Dynamic Prompt Tuning for Pre-trained Point Cloud Models [64.49254199311137]
本稿では,事前学習点クラウドモデルのための新しいインスタンス対応動的プロンプトチューニング(IDPT)戦略を提案する。
IDPTの本質は、各ポイントクラウドインスタンスのセマンティックな事前特徴を知覚する動的プロンプト生成モジュールを開発することである。
実験では、IDPTはトレーニング可能なパラメータのわずか7%で、ほとんどのタスクにおいて完全な微調整よりも優れています。
論文 参考訳（メタデータ） (2023-04-14T16:03:09Z) - DeF-DReL: Systematic Deployment of Serverless Functions in Fog and Cloud
environments using Deep Reinforcement Learning [8.204696165200577]
Fog環境は、サーバーレスアプリケーションをデプロイするために、限られたリソースを多数のユーザに提供した。
最近の研究は、主に霧のノードからそのようなアプリケーションに最大限のリソースを割り当てることに焦点を当てており、クラウド環境を最大限に活用していない。
我々は,DeF-DReLを提案する。DeF-DReLは,Deep Reinforcement Learningを用いて,フォッグおよびクラウド環境におけるサーバレス関数のシステム展開を行う。
論文 参考訳（メタデータ） (2021-10-29T12:10:54Z) - Harvesting Idle Resources in Serverless Computing via Reinforcement
Learning [7.346628578439277]
FRMは、過給関数から過給関数から過給関数へ動的にアイドルリソースを収穫することで、資源効率を最大化する。
FRMは、各関数のリソース利用をリアルタイムで監視し、過剰なプロビジョニングと過剰なプロビジョンを検出し、深い強化学習を適用してアイドルリソースを安全に回収する。
我々は、FRMプロトタイプを13ノードのApache OpenWhiskクラスタで実装し、デプロイした。
論文 参考訳（メタデータ） (2021-08-28T23:02:56Z) - Optimal Resource Allocation for Serverless Queries [8.59568779761598]
以前の作業では、リソース割り当てと実行時の積極的なトレードオフを無視しながら、ピークアロケーションの予測に重点を置いていた。
本稿では,新しいクエリと過去のクエリの両方に対して,アグレッシブなトレードオフでパフォーマンスを予測できる最適なリソース割り当てシステムを提案する。
論文 参考訳（メタデータ） (2021-07-19T02:55:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。