論文の概要: Benchmarking and Performance Modelling of MapReduce Communication
Pattern
- arxiv url: http://arxiv.org/abs/2005.11608v1
- Date: Sat, 23 May 2020 21:52:29 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-30 03:56:59.210742
- Title: Benchmarking and Performance Modelling of MapReduce Communication
Pattern
- Title（参考訳）: MapReduce通信パターンのベンチマークと性能モデリング
- Authors: Sheriffo Ceesay, Adam Barker, Yuhui Lin
- Abstract要約: モデルは、目に見えないアプリケーションのパフォーマンスを推測し、任意のデータセットを入力として使用する場合のパフォーマンスを近似するために使用することができる。
実証実験を2つの設定で実施することで,本手法の有効性を検証した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Understanding and predicting the performance of big data applications running
in the cloud or on-premises could help minimise the overall cost of operations
and provide opportunities in efforts to identify performance bottlenecks. The
complexity of the low-level internals of big data frameworks and the ubiquity
of application and workload configuration parameters makes it challenging and
expensive to come up with comprehensive performance modelling solutions.
In this paper, instead of focusing on a wide range of configurable
parameters, we studied the low-level internals of the MapReduce communication
pattern and used a minimal set of performance drivers to develop a set of phase
level parametric models for approximating the execution time of a given
application on a given cluster. Models can be used to infer the performance of
unseen applications and approximate their performance when an arbitrary dataset
is used as input. Our approach is validated by running empirical experiments in
two setups. On average the error rate in both setups is plus or minus 10% from
the measured values.
- Abstract（参考訳）: クラウドやオンプレミスで動作するビッグデータアプリケーションのパフォーマンスの理解と予測は、運用全体のコストを最小化し、パフォーマンスボトルネックを特定する努力の機会を提供する。
ビッグデータフレームワークの低レベル内部の複雑さとアプリケーションとワークロードの構成パラメータの多様さにより、包括的なパフォーマンスモデリングソリューションを思いつくのは困難でコストがかかります。
本稿では、幅広い構成可能なパラメータではなく、MapReduce通信パターンの低レベル内部について検討し、最小限のパフォーマンスドライバを用いて、与えられたクラスタ上でのアプリケーションの実行時間を近似するフェーズレベルのパラメトリックモデルを開発した。
モデルは、見えないアプリケーションのパフォーマンスを推測し、任意のデータセットを入力として使用する場合のパフォーマンスを近似するために使うことができる。
このアプローチは、経験的な実験を2つのセットアップで実行することで検証されます。
平均して、両方のセットアップのエラーレートは、測定値から10%以上または10%以下である。
関連論文リスト
- Tracing Optimization for Performance Modeling and Regression Detection [15.99435412859094]
性能モデルは、システムのパフォーマンスと実行時のアクティビティの関係を解析的に記述する。
性能に敏感なコード領域を識別・排除することで、トレーシングオーバーヘッドを低減する統計的手法を提案する。
私たちのアプローチは完全に自動化されており、最小限の人的労力で本番環境で使用できるようにしています。
論文 参考訳（メタデータ） (2024-11-26T16:11:55Z) - Efficient Ternary Weight Embedding Model: Bridging Scalability and Performance [15.877771709013743]
本研究では,3次重み付き埋め込みモデルのためのファインタニングフレームワークを提案する。
プレトレーニング埋込みモデルに三元化を適用するため, 線形層の三元重みを確定するために, 自己学習型知識蒸留を導入する。
パブリックテキストとビジョンデータセットに関する広範な実験により、テナライズされたモデルは、有効性を犠牲にすることなく、低メモリ使用量を消費することを示した。
論文 参考訳（メタデータ） (2024-11-23T03:44:56Z) - Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。
既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。
ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
論文 参考訳（メタデータ） (2024-10-29T19:02:54Z) - SeBS-Flow: Benchmarking Serverless Cloud Function Workflows [51.4200085836966]
本稿では、最初のサーバーレスワークフローベンチマークスイートSeBS-Flowを提案する。
SeBS-Flowには6つの実世界のアプリケーションベンチマークと、異なる計算パターンを表す4つのマイクロベンチマークが含まれている。
当社では,パフォーマンス,コスト,スケーラビリティ,ランタイムの偏差など,3つの主要なクラウドプラットフォームに関する包括的な評価を実施しています。
論文 参考訳（メタデータ） (2024-10-04T14:52:18Z) - Improved Distribution Matching for Dataset Condensation [91.55972945798531]
本稿では,分布マッチングに基づく新しいデータセット凝縮法を提案する。
提案手法は,計算資源の少ない従来の最適化指向手法よりも優れている。
論文 参考訳（メタデータ） (2023-07-19T04:07:33Z) - Efficient and Joint Hyperparameter and Architecture Search for
Collaborative Filtering [31.25094171513831]
協調フィルタリングモデルのための2段階探索アルゴリズムを提案する。
最初の段階では、サブサンプルデータセットからの知識を活用して評価コストを削減します。
第2段階では、データセット全体の上位候補モデルを効率的に微調整する。
論文 参考訳（メタデータ） (2023-07-12T10:56:25Z) - A Generic Performance Model for Deep Learning in a Distributed
Environment [0.7829352305480285]
本稿では,アプリケーション実行時間の汎用表現を用いた分散環境におけるアプリケーションの汎用性能モデルを提案する。
提案手法を3つのディープラーニングフレームワーク(MXnetとPytorch)で評価した。
論文 参考訳（メタデータ） (2023-05-19T13:30:34Z) - Parameter-efficient Tuning of Large-scale Multimodal Foundation Model [68.24510810095802]
我々はこれらの課題を克服するために、クロスモーダル転送(Aurora)のための優雅なプロンプトフレームワークを提案する。
既存のアーキテクチャの冗長性を考慮すると、まずモード近似を用いて0.1Mのトレーニング可能なパラメータを生成し、マルチモーダルプロンプトチューニングを実装する。
6つのクロスモーダルベンチマークの徹底的な評価は、最先端のベンチマークを上回るだけでなく、完全な微調整アプローチよりも優れていることを示している。
論文 参考訳（メタデータ） (2023-05-15T06:40:56Z) - Cheaply Evaluating Inference Efficiency Metrics for Autoregressive
Transformer APIs [66.30706841821123]
大規模言語モデル(LLM)は、自然言語処理において多くの最先端システムに電力を供給する。
LLMは、推論時でさえ非常に計算コストが高い。
モデル間での推論効率を比較するための新しい指標を提案する。
論文 参考訳（メタデータ） (2023-05-03T21:51:42Z) - Building Resilience to Out-of-Distribution Visual Data via Input
Optimization and Model Finetuning [13.804184845195296]
本稿では,特定の目標視モデルに対する入力データを最適化する前処理モデルを提案する。
自律走行車におけるセマンティックセグメンテーションの文脈におけるアウト・オブ・ディストリビューションシナリオについて検討する。
提案手法により, 微調整モデルに匹敵するデータの性能を実現できることを示す。
論文 参考訳（メタデータ） (2022-11-29T14:06:35Z) - HyperImpute: Generalized Iterative Imputation with Automatic Model
Selection [77.86861638371926]
カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。
既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
論文 参考訳（メタデータ） (2022-06-15T19:10:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。