論文の概要: Optimal Resource Allocation for Serverless Queries
- arxiv url: http://arxiv.org/abs/2107.08594v1
- Date: Mon, 19 Jul 2021 02:55:48 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-20 14:37:57.721530
- Title: Optimal Resource Allocation for Serverless Queries
- Title(参考訳): サーバーレスクエリのための最適リソース割り当て
- Authors: Anish Pimpley, Shuo Li, Anubha Srivastava, Vishal Rohra, Yi Zhu,
Soundararajan Srinivasan, Alekh Jindal, Hiren Patel, Shi Qiao, Rathijit Sen
- Abstract要約: 以前の作業では、リソース割り当てと実行時の積極的なトレードオフを無視しながら、ピークアロケーションの予測に重点を置いていた。
本稿では,新しいクエリと過去のクエリの両方に対して,アグレッシブなトレードオフでパフォーマンスを予測できる最適なリソース割り当てシステムを提案する。
- 参考スコア(独自算出の注目度): 8.59568779761598
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Optimizing resource allocation for analytical workloads is vital for reducing
costs of cloud-data services. At the same time, it is incredibly hard for users
to allocate resources per query in serverless processing systems, and they
frequently misallocate by orders of magnitude. Unfortunately, prior work
focused on predicting peak allocation while ignoring aggressive trade-offs
between resource allocation and run-time. Additionally, these methods fail to
predict allocation for queries that have not been observed in the past. In this
paper, we tackle both these problems. We introduce a system for optimal
resource allocation that can predict performance with aggressive trade-offs,
for both new and past observed queries. We introduce the notion of a
performance characteristic curve (PCC) as a parameterized representation that
can compactly capture the relationship between resources and performance. To
tackle training data sparsity, we introduce a novel data augmentation technique
to efficiently synthesize the entire PCC using a single run of the query.
Lastly, we demonstrate the advantages of a constrained loss function coupled
with GNNs, over traditional ML methods, for capturing the domain specific
behavior through an extensive experimental evaluation over SCOPE big data
workloads at Microsoft.
- Abstract(参考訳): 分析ワークロードに対するリソース割り当ての最適化は、クラウドサービスのコスト削減に不可欠である。
同時に、サーバーレス処理システムでは、クエリ毎にリソースを割り当てることが非常に難しく、多くの場合、桁違いに配置を間違えます。
残念なことに、以前の作業では、リソース割り当てと実行時の積極的なトレードオフを無視しながら、ピークアロケーションの予測に重点を置いていた。
さらに、これらの手法は過去に観測されていないクエリの割り当てを予測できない。
本稿では,これら2つの問題に対処する。
本稿では,新しいクエリと過去のクエリの両方に対して,アグレッシブなトレードオフでパフォーマンスを予測できる最適なリソース割り当てシステムを提案する。
本稿では,資源と性能の関係をコンパクトに把握できるパラメータ化表現として,性能特性曲線(PCC)の概念を導入する。
トレーニングデータの分散性に対処するために,クエリの単一実行を用いてPCC全体を効率的に合成する新しいデータ拡張手法を提案する。
最後に、従来のML手法よりもGNNと結合した制約付き損失関数の利点を、MicrosoftのSCOPEビッグデータワークロードに対する広範な実験的評価を通じて、ドメイン固有の振る舞いをキャプチャする利点を示す。
関連論文リスト
- A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical
Computation Offloading [62.34538208323411]
共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。
MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
論文 参考訳(メタデータ) (2023-09-02T11:01:16Z) - Analysis and Optimization of Wireless Federated Learning with Data
Heterogeneity [72.85248553787538]
本稿では、データの不均一性を考慮した無線FLの性能解析と最適化と、無線リソース割り当てについて述べる。
ロス関数の最小化問題を、長期エネルギー消費と遅延の制約の下で定式化し、クライアントスケジューリング、リソース割り当て、ローカルトレーニングエポック数(CRE)を共同で最適化する。
実世界のデータセットの実験により、提案アルゴリズムは学習精度とエネルギー消費の点で他のベンチマークよりも優れていることが示された。
論文 参考訳(メタデータ) (2023-08-04T04:18:01Z) - Outage Performance and Novel Loss Function for an ML-Assisted Resource
Allocation: An Exact Analytical Framework [2.1397655110395752]
本稿では,MLベースのリソース割り当てシステムの停止確率を最小限に抑えるために,新たな損失関数を提案する。
MLバイナリ分類予測器は、確立された停止基準を満たすリソースの選択を支援する。
論文 参考訳(メタデータ) (2023-05-16T18:23:52Z) - Compressed Regression over Adaptive Networks [58.79251288443156]
分散エージェントのネットワークによって達成可能な性能を導出し,通信制約や回帰問題を解消し,適応的に解決する。
エージェントによって最適化に必要なパラメータをオンラインで学習できる最適化アロケーション戦略を考案する。
論文 参考訳(メタデータ) (2023-04-07T13:41:08Z) - Optimal transfer protocol by incremental layer defrosting [66.76153955485584]
トランスファーラーニングは、限られた量のデータでモデルトレーニングを可能にする強力なツールである。
最も単純な転送学習プロトコルは、データリッチなソースタスクで事前訓練されたネットワークの機能抽出層を凍結する。
このプロトコルは、しばしば準最適であり、事前学習されたネットワークの小さな部分を凍結したままにしておくと、最大の性能向上が達成される可能性がある。
論文 参考訳(メタデータ) (2023-03-02T17:32:11Z) - Perona: Robust Infrastructure Fingerprinting for Resource-Efficient Big
Data Analytics [0.06524460254566904]
ビッグデータ分析で使用するために,堅牢なインフラストラクチャフィンガープリントのための新しいアプローチであるPeronaを紹介します。
Peronaは、ベンチマークツールの共通セットと設定をターゲットリソースに採用しているため、ベンチマークメトリクスは直接比較され、ランキングが有効になる。
われわれのアプローチは、我々の実験から収集したデータと、リソース構成最適化に関する関連する作業の両方に基づいて評価する。
論文 参考訳(メタデータ) (2022-11-15T15:48:09Z) - Gradient and Projection Free Distributed Online Min-Max Resource
Optimization [26.681658600897688]
並列エージェントの集合を用いた分散オンライン min-max リソース割り当てについて検討する。
我々は、分散オンラインリソース・リアグル(DORA)と呼ばれる新しいオンライン戦略を提案する。
DORAは既存のオンライン戦略とは異なり、計算やプロジェクションの操作を必要としない。
論文 参考訳(メタデータ) (2021-12-07T18:42:07Z) - On the Potential of Execution Traces for Batch Processing Workload
Optimization in Public Clouds [0.0]
本稿では,匿名化されたワークロード実行トレースをユーザ間で共有するための協調的アプローチを提案する。
一般的なパターンとしてマイニングし、将来の最適化のために過去のワークロードのクラスタを活用します。
論文 参考訳(メタデータ) (2021-11-16T20:11:36Z) - JUMBO: Scalable Multi-task Bayesian Optimization using Offline Data [86.8949732640035]
追加データをクエリすることで制限をサイドステップするMBOアルゴリズムであるJUMBOを提案する。
GP-UCBに類似した条件下では, 応答が得られないことを示す。
実世界の2つの最適化問題に対する既存手法に対する性能改善を実証的に示す。
論文 参考訳(メタデータ) (2021-06-02T05:03:38Z) - A Predictive Autoscaler for Elastic Batch Jobs [8.354712625979776]
Deep Learning、HPC、Sparkといった大規模なバッチジョブは、従来のオンラインサービスよりもはるかに多くの計算リソースとコストを必要とします。
顧客とオーバプロビジョンインスタンスに対して,柔軟なインターフェースを提供するための予測オートスケーラを提案する。
論文 参考訳(メタデータ) (2020-10-10T17:35:55Z) - Joint Parameter-and-Bandwidth Allocation for Improving the Efficiency of
Partitioned Edge Learning [73.82875010696849]
機械学習アルゴリズムは、人工知能(AI)モデルをトレーニングするために、ネットワークエッジにデプロイされる。
本稿では,パラメータ(計算負荷)割り当てと帯域幅割り当ての新しい共同設計に焦点を当てる。
論文 参考訳(メタデータ) (2020-03-10T05:52:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。