論文の概要: SPES: Towards Optimizing Performance-Resource Trade-Off for Serverless Functions
- arxiv url: http://arxiv.org/abs/2403.17574v1
- Date: Tue, 26 Mar 2024 10:28:41 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-27 15:47:16.915842
- Title: SPES: Towards Optimizing Performance-Resource Trade-Off for Serverless Functions
- Title（参考訳）: SPES: サーバレス機能のためのパフォーマンスとリソースのトレードオフを最適化する
- Authors: Cheryl Lee, Zhouruixin Zhu, Tianyi Yang, Yintong Huo, Yuxin Su, Pinjia He, Michael R. Lyu,
- Abstract要約: サーバーレスコンピューティングは、その効率性とオンデマンドのクラウドリソースを活用する能力によって、勢いを増している。
既存のソリューションでは、完全な呼び出しパターンを使わずに関数のプリロード/アンロードのために、過剰に単純化された戦略を使う傾向があります。
本研究では、サーバーレス関数のプロビジョニングを最適化することにより、実行時コールドスタート緩和のための最初の差別化スケジューラであるSPESを提案する。
- 参考スコア（独自算出の注目度）: 31.01399126339857
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: As an emerging cloud computing deployment paradigm, serverless computing is gaining traction due to its efficiency and ability to harness on-demand cloud resources. However, a significant hurdle remains in the form of the cold start problem, causing latency when launching new function instances from scratch. Existing solutions tend to use over-simplistic strategies for function pre-loading/unloading without full invocation pattern exploitation, rendering unsatisfactory optimization of the trade-off between cold start latency and resource waste. To bridge this gap, we propose SPES, the first differentiated scheduler for runtime cold start mitigation by optimizing serverless function provision. Our insight is that the common architecture of serverless systems prompts the con- centration of certain invocation patterns, leading to predictable invocation behaviors. This allows us to categorize functions and pre-load/unload proper function instances with finer-grained strategies based on accurate invocation prediction. Experiments demonstrate the success of SPES in optimizing serverless function provision on both sides: reducing the 75th-percentile cold start rates by 49.77% and the wasted memory time by 56.43%, compared to the state-of-the-art. By mitigating the cold start issue, SPES is a promising advancement in facilitating cloud services deployed on serverless architectures.
- Abstract（参考訳）: クラウドコンピューティングのデプロイメントのパラダイムとして、サーバーレスコンピューティングは、その効率性とオンデマンドのクラウドリソースを活用する能力により、勢いを増している。
しかし、コールドスタートの問題という形で大きなハードルが残っており、新しいファンクションインスタンスをスクラッチから起動する際にレイテンシが発生する。
既存のソリューションでは、コールドスタート遅延とリソース浪費の間のトレードオフを満足のいく最適化を施すことなく、関数のプリロード/アンロードを単純化した戦略を使う傾向があります。
このギャップを埋めるために、サーバーレス関数のプロビジョニングを最適化し、実行時コールドスタート緩和のための最初の差別化スケジューラSPESを提案する。
私たちの洞察では、サーバレスシステムの共通アーキテクチャは、特定の呼び出しパターンの集中化を促し、予測可能な呼び出し動作をもたらします。
これにより、正確な呼び出し予測に基づいて、よりきめ細かい戦略で関数を分類し、適切な関数インスタンスをプリロード/アンロードできます。
実験では、サーバーレス関数のプロビジョニングを最適化するSPESの成功を実証している。75パーセントのコールドスタート率を49.77%削減し、時間の無駄なメモリ時間を56.43%削減する。
コールドスタート問題を緩和することにより、SPESは、サーバレスアーキテクチャにデプロイされたクラウドサービスを容易にするための、有望な進歩である。
関連論文リスト
- Shabari: Delayed Decision-Making for Faster and Efficient Serverless
Functions [0.30693357740321775]
サーバレスシステムのためのリソース管理フレームワークであるShabariを紹介します。
Shabariは、機能のパフォーマンス目標を満たすために、各呼び出しの右サイズを可能な限り遅くする。
さまざまなサーバレス関数と入力に対して、ShabariはSLO違反を11～73%削減する。
論文 参考訳（メタデータ） (2024-01-16T22:20:36Z) - Federated Learning of Large Language Models with Parameter-Efficient
Prompt Tuning and Adaptive Optimization [71.87335804334616]
フェデレートラーニング(FL)は、分散データとの協調モデルトレーニングを可能にする、有望なパラダイムである。
LLM(Large Language Models)のトレーニングプロセスは一般的に重要なパラメータの更新を引き起こす。
本稿では,性能と効率を同時に向上する効率的な部分的プロンプトチューニング手法を提案する。
論文 参考訳（メタデータ） (2023-10-23T16:37:59Z) - Latency-aware Unified Dynamic Networks for Efficient Image Recognition [72.8951331472913]
LAUDNetは動的ネットワークの理論的および実用的な効率ギャップを橋渡しするフレームワークである。
3つの主要な動的パラダイム - 適応型計算、動的層スキップ、動的チャネルスキップ - を統合している。
これにより、V100,3090やTX2 GPUのようなプラットフォーム上で、ResNetのようなモデルの遅延を50%以上削減できる。
論文 参考訳（メタデータ） (2023-08-30T10:57:41Z) - Reinforcement Learning (RL) Augmented Cold Start Frequency Reduction in
Serverless Computing [20.638612359627952]
この研究は、強化学習(Reinforcement Learning)を用いることで、Function-as-a-Serviceプラットフォーム上でのコールドスタートの頻度を減らすことに重点を置いている。
提案手法はKubeless上で実装され,作業負荷として行列乗算を用いた実世界の関数要求トレースを用いて評価された。
論文 参考訳（メタデータ） (2023-08-15T03:01:41Z) - Instance-aware Dynamic Prompt Tuning for Pre-trained Point Cloud Models [64.49254199311137]
本稿では,事前学習点クラウドモデルのための新しいインスタンス対応動的プロンプトチューニング(IDPT)戦略を提案する。
IDPTの本質は、各ポイントクラウドインスタンスのセマンティックな事前特徴を知覚する動的プロンプト生成モジュールを開発することである。
実験では、IDPTはトレーニング可能なパラメータのわずか7%で、ほとんどのタスクにおいて完全な微調整よりも優れています。
論文 参考訳（メタデータ） (2023-04-14T16:03:09Z) - DeF-DReL: Systematic Deployment of Serverless Functions in Fog and Cloud
environments using Deep Reinforcement Learning [8.204696165200577]
Fog環境は、サーバーレスアプリケーションをデプロイするために、限られたリソースを多数のユーザに提供した。
最近の研究は、主に霧のノードからそのようなアプリケーションに最大限のリソースを割り当てることに焦点を当てており、クラウド環境を最大限に活用していない。
我々は,DeF-DReLを提案する。DeF-DReLは,Deep Reinforcement Learningを用いて,フォッグおよびクラウド環境におけるサーバレス関数のシステム展開を行う。
論文 参考訳（メタデータ） (2021-10-29T12:10:54Z) - Revisiting Point Cloud Simplification: A Learnable Feature Preserving
Approach [57.67932970472768]
MeshとPoint Cloudの単純化手法は、3Dモデルの複雑さを低減しつつ、視覚的品質と関連する健全な機能を維持することを目的としている。
そこで本研究では,正解点の標本化を学習し,高速点雲の簡易化手法を提案する。
提案手法は、入力空間から任意のユーザ定義の点数を選択し、視覚的知覚誤差を最小限に抑えるために、その位置を再配置するよう訓練されたグラフニューラルネットワークアーキテクチャに依存する。
論文 参考訳（メタデータ） (2021-09-30T10:23:55Z) - Harvesting Idle Resources in Serverless Computing via Reinforcement
Learning [7.346628578439277]
FRMは、過給関数から過給関数から過給関数へ動的にアイドルリソースを収穫することで、資源効率を最大化する。
FRMは、各関数のリソース利用をリアルタイムで監視し、過剰なプロビジョニングと過剰なプロビジョンを検出し、深い強化学習を適用してアイドルリソースを安全に回収する。
我々は、FRMプロトタイプを13ノードのApache OpenWhiskクラスタで実装し、デプロイした。
論文 参考訳（メタデータ） (2021-08-28T23:02:56Z) - Learning from Images: Proactive Caching with Parallel Convolutional
Neural Networks [94.85780721466816]
本稿では,プロアクティブキャッシングのための新しいフレームワークを提案する。
モデルベースの最適化とデータ駆動技術を組み合わせて、最適化問題をグレースケールのイメージに変換する。
数値計算の結果,提案手法は71.6%の計算時間を0.8%のコストで削減できることがわかった。
論文 参考訳（メタデータ） (2021-08-15T21:32:47Z) - Optimal Resource Allocation for Serverless Queries [8.59568779761598]
以前の作業では、リソース割り当てと実行時の積極的なトレードオフを無視しながら、ピークアロケーションの予測に重点を置いていた。
本稿では,新しいクエリと過去のクエリの両方に対して,アグレッシブなトレードオフでパフォーマンスを予測できる最適なリソース割り当てシステムを提案する。
論文 参考訳（メタデータ） (2021-07-19T02:55:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。