論文の概要: Performance Modeling of Metric-Based Serverless Computing Platforms
- arxiv url: http://arxiv.org/abs/2202.11247v1
- Date: Wed, 23 Feb 2022 00:39:01 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-24 16:22:35.927949
- Title: Performance Modeling of Metric-Based Serverless Computing Platforms
- Title（参考訳）: メトリックベースのサーバレスコンピューティングプラットフォームの性能モデリング
- Authors: Nima Mahmoudi, Hamzeh Khazaei
- Abstract要約: 提案されたパフォーマンスモデルは、開発者とプロバイダが異なる構成でデプロイメントのパフォーマンスとコストを予測するのに役立つ。
Knative上での実環境実験を行うことで,提案した性能モデルの適用性と精度を検証した。
- 参考スコア（独自算出の注目度）: 5.089110111757978
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Analytical performance models are very effective in ensuring the quality of
service and cost of service deployment remain desirable under different
conditions and workloads. While various analytical performance models have been
proposed for previous paradigms in cloud computing, serverless computing lacks
such models that can provide developers with performance guarantees. Besides,
most serverless computing platforms still require developers' input to specify
the configuration for their deployment that could affect both the performance
and cost of their deployment, without providing them with any direct and
immediate feedback. In previous studies, we built such performance models for
steady-state and transient analysis of scale-per-request serverless computing
platforms (e.g., AWS Lambda, Azure Functions, Google Cloud Functions) that
could give developers immediate feedback about the quality of service and cost
of their deployments. In this work, we aim to develop analytical performance
models for the latest trend in serverless computing platforms that use
concurrency value and the rate of requests per second for autoscaling
decisions. Examples of such serverless computing platforms are Knative and
Google Cloud Run (a managed Knative service by Google). The proposed
performance model can help developers and providers predict the performance and
cost of deployments with different configurations which could help them tune
the configuration toward the best outcome. We validate the applicability and
accuracy of the proposed performance model by extensive real-world
experimentation on Knative and show that our performance model is able to
accurately predict the steady-state characteristics of a given workload with
minimal amount of data collection.
- Abstract（参考訳）: 分析パフォーマンスモデルは、異なる条件と負荷下でサービスの品質とサービス展開のコストが望ましいままであることを保証するのに非常に効果的です。
クラウドコンピューティングの以前のパラダイムに対して、さまざまな分析的パフォーマンスモデルが提案されているが、サーバレスコンピューティングには、パフォーマンス保証を提供するようなモデルがない。
さらに、ほとんどのサーバレスコンピューティングプラットフォームは、直接的かつ即時のフィードバックを提供することなく、デプロイメントのパフォーマンスとコストの両方に影響を与える可能性のあるデプロイメントの設定を指定するために、開発者の入力を必要とする。
これまでの研究では、サーバレスコンピューティングプラットフォーム(AWS Lambda、Azure Functions、Google Cloud Functionsなど)の定常的かつ過渡的な分析のために、このようなパフォーマンスモデルを構築しました。
本研究では,並列処理価値と秒あたりの要求数を自動スケーリング決定に使用する,サーバーレスコンピューティングプラットフォームの最新のトレンドに対する分析的パフォーマンスモデルの開発を目的とする。
サーバレスコンピューティングプラットフォームの例としては、KnativeとGoogle Cloud Run(Googleが管理するKnativeサービス)がある。
提案されたパフォーマンスモデルは、開発者とプロバイダが異なる構成でデプロイのパフォーマンスとコストを予測するのに役立つ。
提案する性能モデルの妥当性と精度を,knativeを用いた実世界実験により検証し,データ収集量を最小限に抑えることにより,与えられたワークロードの定常特性を正確に予測できることを示す。
関連論文リスト
- Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。
既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。
ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
論文 参考訳（メタデータ） (2024-10-29T19:02:54Z) - SeBS-Flow: Benchmarking Serverless Cloud Function Workflows [51.4200085836966]
本稿では、最初のサーバーレスワークフローベンチマークスイートSeBS-Flowを提案する。
SeBS-Flowには6つの実世界のアプリケーションベンチマークと、異なる計算パターンを表す4つのマイクロベンチマークが含まれている。
当社では,パフォーマンス,コスト,スケーラビリティ,ランタイムの偏差など,3つの主要なクラウドプラットフォームに関する包括的な評価を実施しています。
論文 参考訳（メタデータ） (2024-10-04T14:52:18Z) - QualEval: Qualitative Evaluation for Model Improvement [82.73561470966658]
モデル改善のための手段として,自動定性評価による定量的スカラー指標を付加するQualEvalを提案する。
QualEvalは強力なLCM推論器と新しいフレキシブルリニアプログラミングソルバを使用して、人間の読みやすい洞察を生成する。
例えば、その洞察を活用することで、Llama 2モデルの絶対性能が最大15%向上することを示す。
論文 参考訳（メタデータ） (2023-11-06T00:21:44Z) - Predicting Resource Consumption of Kubernetes Container Systems using
Resource Models [3.138731415322007]
本稿では,クラウドシステムの資源モデルを実証的に導き出す方法について考察する。
私たちは、CPUとメモリリソースに明示的に準拠したフォーマルな言語でデプロイされたサービスのモデルに基づいています。
我々は、小規模なデプロイメントから収集したデータを経験的に活用して、より大きなデプロイメント上での高強度シナリオの実行をシミュレートする。
論文 参考訳（メタデータ） (2023-05-12T17:59:01Z) - Cheaply Evaluating Inference Efficiency Metrics for Autoregressive
Transformer APIs [66.30706841821123]
大規模言語モデル(LLM)は、自然言語処理において多くの最先端システムに電力を供給する。
LLMは、推論時でさえ非常に計算コストが高い。
モデル間での推論効率を比較するための新しい指標を提案する。
論文 参考訳（メタデータ） (2023-05-03T21:51:42Z) - Measuring the Driving Forces of Predictive Performance: Application to
Credit Scoring [0.0]
信用スコアでは、機械学習モデルは標準パラメトリックモデルを上回ることが知られている。
本稿では、モデルに関連するコントリビューションにパフォーマンスメトリックを分解するXPER手法を紹介する。
モデル性能の驚くほど大きな部分を、少数の機能が説明できることを示す。
論文 参考訳（メタデータ） (2022-12-12T13:09:46Z) - Plex: Towards Reliability using Pretrained Large Model Extensions [69.13326436826227]
我々は,視覚と言語モダリティのための事前訓練された大規模モデル拡張であるViT-PlexとT5-Plexを開発した。
Plexは信頼性タスク間の最先端性を大幅に改善し、従来のプロトコルを単純化する。
最大1Bパラメータまでのモデルサイズに対するスケーリング効果と,最大4B例までのデータセットサイズを事前トレーニングした。
論文 参考訳（メタデータ） (2022-07-15T11:39:37Z) - SOLIS -- The MLOps journey from data acquisition to actionable insights [62.997667081978825]
本稿では,基本的なクロスプラットフォームテンソルフレームワークとスクリプト言語エンジンを使用しながら,すべての要件をサポートする統合デプロイメントパイプラインとフリー・ツー・オペレートアプローチを提案する。
しかし、このアプローチは、実際のプロダクショングレードシステムに機械学習機能を実際にデプロイするために必要な手順やパイプラインを提供していない。
論文 参考訳（メタデータ） (2021-12-22T14:45:37Z) - Serverless Model Serving for Data Science [23.05534539170047]
データサイエンスアプリケーションのための主流モデルとしてのサーバーレスの実現可能性について検討する。
サーバーレスは、コストとパフォーマンスに関して多くのクラウドベースの代替手段を上回っています。
スケーラブルで費用対効果の高いモデルサービスにサーバレスを使用する方法について、データサイエンティストにいくつかの推奨事項を提示します。
論文 参考訳（メタデータ） (2021-03-04T11:23:01Z) - Benchmarking and Performance Modelling of MapReduce Communication
Pattern [0.0]
モデルは、目に見えないアプリケーションのパフォーマンスを推測し、任意のデータセットを入力として使用する場合のパフォーマンスを近似するために使用することができる。
実証実験を2つの設定で実施することで,本手法の有効性を検証した。
論文 参考訳（メタデータ） (2020-05-23T21:52:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。