論文の概要: Optimal Resource Allocation for Serverless Queries

• arxiv url: http://arxiv.org/abs/2107.08594v1
• Date: Mon, 19 Jul 2021 02:55:48 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-20 14:37:57.721530
• Title: Optimal Resource Allocation for Serverless Queries
• Title（参考訳）: サーバーレスクエリのための最適リソース割り当て
• Authors: Anish Pimpley, Shuo Li, Anubha Srivastava, Vishal Rohra, Yi Zhu, Soundararajan Srinivasan, Alekh Jindal, Hiren Patel, Shi Qiao, Rathijit Sen
• Abstract要約: 以前の作業では、リソース割り当てと実行時の積極的なトレードオフを無視しながら、ピークアロケーションの予測に重点を置いていた。 本稿では,新しいクエリと過去のクエリの両方に対して,アグレッシブなトレードオフでパフォーマンスを予測できる最適なリソース割り当てシステムを提案する。
• 参考スコア（独自算出の注目度）: 8.59568779761598
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Optimizing resource allocation for analytical workloads is vital for reducing costs of cloud-data services. At the same time, it is incredibly hard for users to allocate resources per query in serverless processing systems, and they frequently misallocate by orders of magnitude. Unfortunately, prior work focused on predicting peak allocation while ignoring aggressive trade-offs between resource allocation and run-time. Additionally, these methods fail to predict allocation for queries that have not been observed in the past. In this paper, we tackle both these problems. We introduce a system for optimal resource allocation that can predict performance with aggressive trade-offs, for both new and past observed queries. We introduce the notion of a performance characteristic curve (PCC) as a parameterized representation that can compactly capture the relationship between resources and performance. To tackle training data sparsity, we introduce a novel data augmentation technique to efficiently synthesize the entire PCC using a single run of the query. Lastly, we demonstrate the advantages of a constrained loss function coupled with GNNs, over traditional ML methods, for capturing the domain specific behavior through an extensive experimental evaluation over SCOPE big data workloads at Microsoft.
• Abstract（参考訳）: 分析ワークロードに対するリソース割り当ての最適化は、クラウドサービスのコスト削減に不可欠である。 同時に、サーバーレス処理システムでは、クエリ毎にリソースを割り当てることが非常に難しく、多くの場合、桁違いに配置を間違えます。 残念なことに、以前の作業では、リソース割り当てと実行時の積極的なトレードオフを無視しながら、ピークアロケーションの予測に重点を置いていた。 さらに、これらの手法は過去に観測されていないクエリの割り当てを予測できない。 本稿では,これら2つの問題に対処する。 本稿では,新しいクエリと過去のクエリの両方に対して,アグレッシブなトレードオフでパフォーマンスを予測できる最適なリソース割り当てシステムを提案する。 本稿では,資源と性能の関係をコンパクトに把握できるパラメータ化表現として,性能特性曲線(PCC)の概念を導入する。 トレーニングデータの分散性に対処するために,クエリの単一実行を用いてPCC全体を効率的に合成する新しいデータ拡張手法を提案する。 最後に、従来のML手法よりもGNNと結合した制約付き損失関数の利点を、MicrosoftのSCOPEビッグデータワークロードに対する広範な実験的評価を通じて、ドメイン固有の振る舞いをキャプチャする利点を示す。

関連論文リスト

• SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning [63.93193829913252]
  本稿では,リソース制限シナリオに対するSHERLと呼ばれる革新的なMETL戦略を提案する。 初期経路では、中間出力は反冗長動作によって統合される。 遅延ルートでは、最小限の遅延事前トレーニングされたレイヤを利用することで、メモリオーバーヘッドのピーク需要を軽減できる。
  論文  参考訳（メタデータ） (2024-07-10T10:22:35Z)
• A Thorough Performance Benchmarking on Lightweight Embedding-based Recommender Systems [67.52782366565658]
  State-of-the-art recommender system (RS) は、埋め込みベクトルによって符号化される分類的特徴に依存し、結果として非常に大きな埋め込みテーブルとなる。 軽量埋め込み型RSの繁栄にもかかわらず、評価プロトコルには幅広い多様性が見られる。 本研究では, LERSの性能, 効率, クロスタスク転送性について, 徹底的なベンチマークによる検討を行った。
  論文  参考訳（メタデータ） (2024-06-25T07:45:00Z)
• Switchable Decision: Dynamic Neural Generation Networks [98.61113699324429]
  本稿では,各データインスタンスのリソースを動的に割り当てることで,推論を高速化するスイッチブルな決定を提案する。 提案手法は, 同一の精度を維持しながら, 推論時のコスト低減に有効である。
  論文  参考訳（メタデータ） (2024-05-07T17:44:54Z)
• A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical Computation Offloading [62.34538208323411]
  共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。 MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
  論文  参考訳（メタデータ） (2023-09-02T11:01:16Z)
• Analysis and Optimization of Wireless Federated Learning with Data Heterogeneity [72.85248553787538]
  本稿では、データの不均一性を考慮した無線FLの性能解析と最適化と、無線リソース割り当てについて述べる。 ロス関数の最小化問題を、長期エネルギー消費と遅延の制約の下で定式化し、クライアントスケジューリング、リソース割り当て、ローカルトレーニングエポック数(CRE)を共同で最適化する。 実世界のデータセットの実験により、提案アルゴリズムは学習精度とエネルギー消費の点で他のベンチマークよりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-08-04T04:18:01Z)
• Outage Performance and Novel Loss Function for an ML-Assisted Resource Allocation: An Exact Analytical Framework [2.1397655110395752]
  本稿では,MLベースのリソース割り当てシステムの停止確率を最小限に抑えるために,新たな損失関数を提案する。 MLバイナリ分類予測器は、確立された停止基準を満たすリソースの選択を支援する。
  論文  参考訳（メタデータ） (2023-05-16T18:23:52Z)
• Compressed Regression over Adaptive Networks [58.79251288443156]
  分散エージェントのネットワークによって達成可能な性能を導出し,通信制約や回帰問題を解消し,適応的に解決する。 エージェントによって最適化に必要なパラメータをオンラインで学習できる最適化アロケーション戦略を考案する。
  論文  参考訳（メタデータ） (2023-04-07T13:41:08Z)
• Perona: Robust Infrastructure Fingerprinting for Resource-Efficient Big Data Analytics [0.06524460254566904]
  ビッグデータ分析で使用するために,堅牢なインフラストラクチャフィンガープリントのための新しいアプローチであるPeronaを紹介します。 Peronaは、ベンチマークツールの共通セットと設定をターゲットリソースに採用しているため、ベンチマークメトリクスは直接比較され、ランキングが有効になる。 われわれのアプローチは、我々の実験から収集したデータと、リソース構成最適化に関する関連する作業の両方に基づいて評価する。
  論文  参考訳（メタデータ） (2022-11-15T15:48:09Z)
• Gradient and Projection Free Distributed Online Min-Max Resource Optimization [26.681658600897688]
  並列エージェントの集合を用いた分散オンライン min-max リソース割り当てについて検討する。 我々は、分散オンラインリソース・リアグル(DORA)と呼ばれる新しいオンライン戦略を提案する。 DORAは既存のオンライン戦略とは異なり、計算やプロジェクションの操作を必要としない。
  論文  参考訳（メタデータ） (2021-12-07T18:42:07Z)
• On the Potential of Execution Traces for Batch Processing Workload Optimization in Public Clouds [0.0]
  本稿では,匿名化されたワークロード実行トレースをユーザ間で共有するための協調的アプローチを提案する。 一般的なパターンとしてマイニングし、将来の最適化のために過去のワークロードのクラスタを活用します。
  論文  参考訳（メタデータ） (2021-11-16T20:11:36Z)
• A Predictive Autoscaler for Elastic Batch Jobs [8.354712625979776]
  Deep Learning、HPC、Sparkといった大規模なバッチジョブは、従来のオンラインサービスよりもはるかに多くの計算リソースとコストを必要とします。 顧客とオーバプロビジョンインスタンスに対して,柔軟なインターフェースを提供するための予測オートスケーラを提案する。
  論文  参考訳（メタデータ） (2020-10-10T17:35:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。