論文の概要: Neural-based Modeling for Performance Tuning of Spark Data Analytics
- arxiv url: http://arxiv.org/abs/2101.08167v1
- Date: Wed, 20 Jan 2021 14:58:55 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-22 01:14:53.030096
- Title: Neural-based Modeling for Performance Tuning of Spark Data Analytics
- Title(参考訳): Sparkデータ分析の性能チューニングのためのニューラルベースモデリング
- Authors: Khaled Zaouk, Fei Song, Chenghao Lyu and Yanlei Diao
- Abstract要約: クラウドデータ分析のパフォーマンスモデリングは、クラウドのパフォーマンスチューニングやその他の重要な操作に不可欠です。
最近のDeep Learning技術は、クラウドデータ分析の自動パフォーマンスモデリングのプロセスに依存している。
私達の仕事は私達の条件に適する異なったモデリングの選択の詳しい調査を提供します。
- 参考スコア(独自算出の注目度): 1.2251128138369254
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Cloud data analytics has become an integral part of enterprise business
operations for data-driven insight discovery. Performance modeling of cloud
data analytics is crucial for performance tuning and other critical operations
in the cloud. Traditional modeling techniques fail to adapt to the high degree
of diversity in workloads and system behaviors in this domain. In this paper,
we bring recent Deep Learning techniques to bear on the process of automated
performance modeling of cloud data analytics, with a focus on Spark data
analytics as representative workloads. At the core of our work is the notion of
learning workload embeddings (with a set of desired properties) to represent
fundamental computational characteristics of different jobs, which enable
performance prediction when used together with job configurations that control
resource allocation and other system knobs. Our work provides an in-depth study
of different modeling choices that suit our requirements. Results of extensive
experiments reveal the strengths and limitations of different modeling methods,
as well as superior performance of our best performing method over a
state-of-the-art modeling tool for cloud analytics.
- Abstract(参考訳): クラウドデータ分析は、データ駆動の洞察発見のためのエンタープライズビジネスオペレーションの不可欠な部分となっている。
クラウドデータ分析のパフォーマンスモデリングは、クラウドのパフォーマンスチューニングやその他の重要な操作に不可欠である。
従来のモデリングテクニックは、このドメインにおけるワークロードやシステムの振る舞いの多様さに適応できません。
本稿では,Sparkデータ分析を代表的ワークロードとして重視した,クラウドデータ分析の自動パフォーマンスモデリングのプロセスに,近年のDeep Learning技術を導入します。
私たちの研究の核心は、異なるジョブの基本的な計算特性を表現するために(望ましいプロパティのセットとともに)ワークロードの埋め込みを学習することであり、リソース割り当てやその他のシステムノブを制御するジョブ構成とともに、パフォーマンス予測を可能にします。
私たちの研究は、要求に合致するさまざまなモデリング選択に関する詳細な研究を提供します。
広範な実験の結果、異なるモデリング方法の長所と限界、そしてクラウド分析のための最先端のモデリングツールよりも最高の実行方法のパフォーマンスが明らかになった。
関連論文リスト
- Has Your Pretrained Model Improved? A Multi-head Posterior Based
Approach [25.927323251675386]
我々は、世界的知識の源として各エンティティに関連するメタ機能を活用し、モデルからエンティティ表現を採用する。
本稿では,これらの表現とメタ機能との整合性を,事前学習モデルの評価指標として用いることを提案する。
提案手法の有効性は,関係データセットを用いたモデル,大規模言語モデル,画像モデルなど,様々な領域で実証されている。
論文 参考訳(メタデータ) (2024-01-02T17:08:26Z) - Variational Exploration Module VEM: A Cloud-Native Optimization and
Validation Tool for Geospatial Modeling and AI Workflows [0.0]
クラウドベースのデプロイメントは、これらのモデリングとAIのスケールアップに役立つ。
我々は,クラウドにデプロイされたモデリングの最適化と検証を容易にする変分探索モジュールを開発した。
モデルに依存しないモジュールの柔軟性と堅牢性は、実世界のアプリケーションを用いて実証される。
論文 参考訳(メタデータ) (2023-11-26T23:07:00Z) - Fantastic Gains and Where to Find Them: On the Existence and Prospect of
General Knowledge Transfer between Any Pretrained Model [74.62272538148245]
事前訓練されたモデルの任意のペアリングに対して、一方のモデルは他方では利用できない重要なデータコンテキストを抽出する。
このような「補的」な知識を,性能劣化を伴わずに,あるモデルから別のモデルへ伝達できるかどうかを検討する。
論文 参考訳(メタデータ) (2023-10-26T17:59:46Z) - Learning Objective-Specific Active Learning Strategies with Attentive
Neural Processes [72.75421975804132]
学び アクティブラーニング(LAL)は、アクティブラーニング戦略自体を学ぶことを提案し、与えられた設定に適応できるようにする。
能動学習問題の対称性と独立性を利用した新しい分類法を提案する。
私たちのアプローチは、筋電図から学ぶことに基づいており、モデルに標準ではない目的に適応する能力を与えます。
論文 参考訳(メタデータ) (2023-09-11T14:16:37Z) - Towards Efficient Task-Driven Model Reprogramming with Foundation Models [52.411508216448716]
ビジョンファウンデーションモデルは、非常に大きなモデルキャパシティと幅広いトレーニングデータから恩恵を受け、印象的なパワーを示す。
しかし、実際には、下流のシナリオは限られた計算資源や効率上の考慮のため、小さなモデルしかサポートできない。
これは、ファンデーションモデルの現実的な応用に重要な課題をもたらします。
論文 参考訳(メタデータ) (2023-04-05T07:28:33Z) - Exploring the Impact of Instruction Data Scaling on Large Language
Models: An Empirical Study on Real-World Use Cases [17.431381376675432]
本稿では,命令データのスケールの異なる命令データに対して,命令チューニングに基づく大規模言語モデルの性能について検討する。
ベースモデルとしてBloomz-7B1-mtを用いると、命令データの量を増やすだけで、オープン・エンド・ジェネレーションのようなタスクが継続的に改善されることが示される。
本稿では,高品質なトレーニングデータ,スケールベースモデル,ハードタスクに特化したトレーニング手法を効果的に選択する,といった将来的な研究方向を提案する。
論文 参考訳(メタデータ) (2023-03-26T14:49:37Z) - Distributed intelligence on the Edge-to-Cloud Continuum: A systematic
literature review [62.997667081978825]
このレビューは、現在利用可能な機械学習とデータ分析のための最先端ライブラリとフレームワークに関する包括的なビジョンを提供することを目的としている。
現在利用可能なEdge-to-Cloud Continuumに関する実験的な研究のための、主要なシミュレーション、エミュレーション、デプロイメントシステム、テストベッドも調査されている。
論文 参考訳(メタデータ) (2022-04-29T08:06:05Z) - Learning Dynamics Models for Model Predictive Agents [28.063080817465934]
モデルに基づく強化学習は、データからテクトダイナミックスモデルを学習し、そのモデルを使用して振る舞いを最適化する。
本稿では, 動的モデル学習における設計選択の役割を, 基礎構造モデルとの比較により明らかにすることを目的としている。
論文 参考訳(メタデータ) (2021-09-29T09:50:25Z) - Bellamy: Reusing Performance Models for Distributed Dataflow Jobs Across
Contexts [52.9168275057997]
本稿では、スケールアウト、データセットサイズ、ランタイムをデータフロージョブの記述的特性と組み合わせた新しいモデリング手法であるBelamyを提案する。
我々は,異なる環境で実行される各種データフロージョブの実行データからなる2つの公開データセットに対するアプローチを評価した。
論文 参考訳(メタデータ) (2021-07-29T11:57:38Z) - Structured learning of rigid-body dynamics: A survey and unified view
from a robotics perspective [5.597839822252915]
剛体力学とデータ駆動モデリング技術を組み合わせた回帰モデルについて検討した。
我々は、ニューラルネットワークやガウス過程などのデータ駆動回帰モデルと分析モデル先行モデルの組み合わせに関する統一的な見解を提供する。
論文 参考訳(メタデータ) (2020-12-11T11:26:48Z) - How Training Data Impacts Performance in Learning-based Control [67.7875109298865]
本稿では,トレーニングデータの密度と制御性能の関係を考察する。
データセットの品質尺度を定式化し、$rho$-gap と呼ぶ。
フィードバック線形化制御法に$rho$-gapを適用する方法を示す。
論文 参考訳(メタデータ) (2020-05-25T12:13:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。