論文の概要: Benchmarking and Performance Modelling of MapReduce Communication
Pattern
- arxiv url: http://arxiv.org/abs/2005.11608v1
- Date: Sat, 23 May 2020 21:52:29 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-30 03:56:59.210742
- Title: Benchmarking and Performance Modelling of MapReduce Communication
Pattern
- Title(参考訳): MapReduce通信パターンのベンチマークと性能モデリング
- Authors: Sheriffo Ceesay, Adam Barker, Yuhui Lin
- Abstract要約: モデルは、目に見えないアプリケーションのパフォーマンスを推測し、任意のデータセットを入力として使用する場合のパフォーマンスを近似するために使用することができる。
実証実験を2つの設定で実施することで,本手法の有効性を検証した。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Understanding and predicting the performance of big data applications running
in the cloud or on-premises could help minimise the overall cost of operations
and provide opportunities in efforts to identify performance bottlenecks. The
complexity of the low-level internals of big data frameworks and the ubiquity
of application and workload configuration parameters makes it challenging and
expensive to come up with comprehensive performance modelling solutions.
In this paper, instead of focusing on a wide range of configurable
parameters, we studied the low-level internals of the MapReduce communication
pattern and used a minimal set of performance drivers to develop a set of phase
level parametric models for approximating the execution time of a given
application on a given cluster. Models can be used to infer the performance of
unseen applications and approximate their performance when an arbitrary dataset
is used as input. Our approach is validated by running empirical experiments in
two setups. On average the error rate in both setups is plus or minus 10% from
the measured values.
- Abstract(参考訳): クラウドやオンプレミスで動作するビッグデータアプリケーションのパフォーマンスの理解と予測は、運用全体のコストを最小化し、パフォーマンスボトルネックを特定する努力の機会を提供する。
ビッグデータフレームワークの低レベル内部の複雑さとアプリケーションとワークロードの構成パラメータの多様さにより、包括的なパフォーマンスモデリングソリューションを思いつくのは困難でコストがかかります。
本稿では、幅広い構成可能なパラメータではなく、MapReduce通信パターンの低レベル内部について検討し、最小限のパフォーマンスドライバを用いて、与えられたクラスタ上でのアプリケーションの実行時間を近似するフェーズレベルのパラメトリックモデルを開発した。
モデルは、見えないアプリケーションのパフォーマンスを推測し、任意のデータセットを入力として使用する場合のパフォーマンスを近似するために使うことができる。
このアプローチは、経験的な実験を2つのセットアップで実行することで検証されます。
平均して、両方のセットアップのエラーレートは、測定値から10%以上または10%以下である。
関連論文リスト
- Improved Distribution Matching for Dataset Condensation [91.55972945798531]
本稿では,分布マッチングに基づく新しいデータセット凝縮法を提案する。
提案手法は,計算資源の少ない従来の最適化指向手法よりも優れている。
論文 参考訳(メタデータ) (2023-07-19T04:07:33Z) - Efficient and Joint Hyperparameter and Architecture Search for
Collaborative Filtering [31.25094171513831]
協調フィルタリングモデルのための2段階探索アルゴリズムを提案する。
最初の段階では、サブサンプルデータセットからの知識を活用して評価コストを削減します。
第2段階では、データセット全体の上位候補モデルを効率的に微調整する。
論文 参考訳(メタデータ) (2023-07-12T10:56:25Z) - FuzzyFlow: Leveraging Dataflow To Find and Squash Program Optimization
Bugs [92.47146416628965]
FuzzyFlowはプログラム最適化をテストするために設計されたフォールトローカライゼーションとテストケース抽出フレームワークである。
我々は、データフロープログラム表現を活用して、完全に再現可能なシステム状態と最適化のエリア・オブ・エフェクトをキャプチャする。
テスト時間を削減するため,テスト入力を最小限に抑えるアルゴリズムを設計し,再計算のためのメモリ交換を行う。
論文 参考訳(メタデータ) (2023-06-28T13:00:17Z) - A Generic Performance Model for Deep Learning in a Distributed
Environment [0.7829352305480285]
本稿では,アプリケーション実行時間の汎用表現を用いた分散環境におけるアプリケーションの汎用性能モデルを提案する。
提案手法を3つのディープラーニングフレームワーク(MXnetとPytorch)で評価した。
論文 参考訳(メタデータ) (2023-05-19T13:30:34Z) - Parameter-efficient Tuning of Large-scale Multimodal Foundation Model [68.24510810095802]
我々はこれらの課題を克服するために、クロスモーダル転送(Aurora)のための優雅なプロンプトフレームワークを提案する。
既存のアーキテクチャの冗長性を考慮すると、まずモード近似を用いて0.1Mのトレーニング可能なパラメータを生成し、マルチモーダルプロンプトチューニングを実装する。
6つのクロスモーダルベンチマークの徹底的な評価は、最先端のベンチマークを上回るだけでなく、完全な微調整アプローチよりも優れていることを示している。
論文 参考訳(メタデータ) (2023-05-15T06:40:56Z) - Cheaply Evaluating Inference Efficiency Metrics for Autoregressive
Transformer APIs [66.30706841821123]
大規模言語モデル(LLM)は、自然言語処理において多くの最先端システムに電力を供給する。
LLMは、推論時でさえ非常に計算コストが高い。
モデル間での推論効率を比較するための新しい指標を提案する。
論文 参考訳(メタデータ) (2023-05-03T21:51:42Z) - Energy-efficient Task Adaptation for NLP Edge Inference Leveraging
Heterogeneous Memory Architectures [68.91874045918112]
Adapter-ALBERTは、様々なタスクにわたる最大データ再利用のための効率的なモデル最適化である。
検証されたNLPエッジアクセラレータ上でシミュレーションを行うことにより、モデルを不均一なオンチップメモリアーキテクチャにマッピングする利点を実証する。
論文 参考訳(メタデータ) (2023-03-25T14:40:59Z) - ParaFormer: Parallel Attention Transformer for Efficient Feature
Matching [8.552303361149612]
本稿ではParaFormerという新しい並列アテンションモデルを提案する。
振幅と位相という概念を通じて特徴とキーポイントの位置を融合させ、平行して自己と横断性を統合する。
ホモグラフィー推定、ポーズ推定、画像マッチングなど様々な応用実験により、ParaFormerが最先端の性能を達成することを示す。
効率のよいParaFormer-Uは、既存のアテンションベースモデルの50%未満のFLOPで同等のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2023-03-02T03:29:16Z) - Building Resilience to Out-of-Distribution Visual Data via Input
Optimization and Model Finetuning [13.804184845195296]
本稿では,特定の目標視モデルに対する入力データを最適化する前処理モデルを提案する。
自律走行車におけるセマンティックセグメンテーションの文脈におけるアウト・オブ・ディストリビューションシナリオについて検討する。
提案手法により, 微調整モデルに匹敵するデータの性能を実現できることを示す。
論文 参考訳(メタデータ) (2022-11-29T14:06:35Z) - HyperImpute: Generalized Iterative Imputation with Automatic Model
Selection [77.86861638371926]
カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。
既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
論文 参考訳(メタデータ) (2022-06-15T19:10:35Z) - AI Total: Analyzing Security ML Models with Imperfect Data in Production [2.629585075202626]
新しい機械学習モデルの開発は通常、手動でキュレートされたデータセット上で行われる。
本研究では,ユーザによるヘッドライン性能数値の収集を可能にするWebベースの可視化システムを開発した。
また,何か問題が発生した場合に,問題の根本原因を即座に観察することも可能だ。
論文 参考訳(メタデータ) (2021-10-13T20:56:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。