Fugu-MT 論文翻訳(概要): Neural-based Modeling for Performance Tuning of Spark Data Analytics

論文の概要: Neural-based Modeling for Performance Tuning of Spark Data Analytics

arxiv url: http://arxiv.org/abs/2101.08167v1
Date: Wed, 20 Jan 2021 14:58:55 GMT
ステータス: 処理完了
システム内更新日: 2021-03-22 01:14:53.030096
Title: Neural-based Modeling for Performance Tuning of Spark Data Analytics
Title（参考訳）: Sparkデータ分析の性能チューニングのためのニューラルベースモデリング
Authors: Khaled Zaouk, Fei Song, Chenghao Lyu and Yanlei Diao
Abstract要約: クラウドデータ分析のパフォーマンスモデリングは、クラウドのパフォーマンスチューニングやその他の重要な操作に不可欠です。最近のDeep Learning技術は、クラウドデータ分析の自動パフォーマンスモデリングのプロセスに依存している。私達の仕事は私達の条件に適する異なったモデリングの選択の詳しい調査を提供します。
参考スコア（独自算出の注目度）: 1.2251128138369254
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Cloud data analytics has become an integral part of enterprise business operations for data-driven insight discovery. Performance modeling of cloud data analytics is crucial for performance tuning and other critical operations in the cloud. Traditional modeling techniques fail to adapt to the high degree of diversity in workloads and system behaviors in this domain. In this paper, we bring recent Deep Learning techniques to bear on the process of automated performance modeling of cloud data analytics, with a focus on Spark data analytics as representative workloads. At the core of our work is the notion of learning workload embeddings (with a set of desired properties) to represent fundamental computational characteristics of different jobs, which enable performance prediction when used together with job configurations that control resource allocation and other system knobs. Our work provides an in-depth study of different modeling choices that suit our requirements. Results of extensive experiments reveal the strengths and limitations of different modeling methods, as well as superior performance of our best performing method over a state-of-the-art modeling tool for cloud analytics.
Abstract（参考訳）: クラウドデータ分析は、データ駆動の洞察発見のためのエンタープライズビジネスオペレーションの不可欠な部分となっている。クラウドデータ分析のパフォーマンスモデリングは、クラウドのパフォーマンスチューニングやその他の重要な操作に不可欠である。従来のモデリングテクニックは、このドメインにおけるワークロードやシステムの振る舞いの多様さに適応できません。本稿では,Sparkデータ分析を代表的ワークロードとして重視した,クラウドデータ分析の自動パフォーマンスモデリングのプロセスに,近年のDeep Learning技術を導入します。私たちの研究の核心は、異なるジョブの基本的な計算特性を表現するために(望ましいプロパティのセットとともに)ワークロードの埋め込みを学習することであり、リソース割り当てやその他のシステムノブを制御するジョブ構成とともに、パフォーマンス予測を可能にします。私たちの研究は、要求に合致するさまざまなモデリング選択に関する詳細な研究を提供します。広範な実験の結果、異なるモデリング方法の長所と限界、そしてクラウド分析のための最先端のモデリングツールよりも最高の実行方法のパフォーマンスが明らかになった。