論文の概要: A Generic Performance Model for Deep Learning in a Distributed
Environment
- arxiv url: http://arxiv.org/abs/2305.11665v1
- Date: Fri, 19 May 2023 13:30:34 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-22 14:18:35.788209
- Title: A Generic Performance Model for Deep Learning in a Distributed
Environment
- Title(参考訳): 分散環境におけるディープラーニングのためのジェネリックパフォーマンスモデル
- Authors: Tulasi Kavarakuntla, Liangxiu Han, Huw Lloyd, Annabel Latham, Anthony
Kleerekoper, Samson B. Akintoye
- Abstract要約: 本稿では,アプリケーション実行時間の汎用表現を用いた分散環境におけるアプリケーションの汎用性能モデルを提案する。
提案手法を3つのディープラーニングフレームワーク(MXnetとPytorch)で評価した。
- 参考スコア(独自算出の注目度): 0.7829352305480285
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Performance modelling of a deep learning application is essential to improve
and quantify the efficiency of the model framework. However, existing
performance models are mostly case-specific, with limited capability for the
new deep learning frameworks/applications. In this paper, we propose a generic
performance model of an application in a distributed environment with a generic
expression of the application execution time that considers the influence of
both intrinsic factors/operations (e.g. algorithmic parameters/internal
operations) and extrinsic scaling factors (e.g. the number of processors, data
chunks and batch size). We formulate it as a global optimization problem and
solve it using regularization on a cost function and differential evolution
algorithm to find the best-fit values of the constants in the generic
expression to match the experimentally determined computation time. We have
evaluated the proposed model on three deep learning frameworks (i.e.,
TensorFlow, MXnet, and Pytorch). The experimental results show that the
proposed model can provide accurate performance predictions and
interpretability. In addition, the proposed work can be applied to any
distributed deep neural network without instrumenting the code and provides
insight into the factors affecting performance and scalability.
- Abstract(参考訳): ディープラーニングアプリケーションのパフォーマンスモデリングは、モデルフレームワークの効率を改善し、定量化する上で不可欠である。
しかし、既存のパフォーマンスモデルはほとんどケース固有であり、新しいディープラーニングフレームワーク/アプリケーションには制限がある。
本稿では,本質的要因/操作(アルゴリズム的パラメータ/内部操作など)と拡張的スケーリング要因(プロセッサ数,データチャンク数,バッチサイズなど)の両方の影響を考慮した,アプリケーション実行時間の汎用表現を備えた分散環境におけるアプリケーションの汎用的パフォーマンスモデルを提案する。
大域的最適化問題として定式化し、コスト関数と微分進化アルゴリズムの正則化を用いて解き、実験的に決定された計算時間に合致する汎用式における定数の最適値を求める。
提案したモデルを3つのディープラーニングフレームワーク(TensorFlow、MXnet、Pytorch)で評価した。
実験結果は,提案モデルが精度の高い性能予測と解釈性をもたらすことを示す。
さらに、コードを設定することなく、任意の分散ディープニューラルネットワークに適用することができ、パフォーマンスとスケーラビリティに影響を与える要因に関する洞察を提供する。
関連論文リスト
- Towards Compute-Optimal Transfer Learning [82.88829463290041]
我々は、事前訓練されたモデルのゼロショット構造化プルーニングにより、性能を最小限に抑えて計算効率を向上させることができると主張している。
その結果,事前訓練されたモデルの畳み込み畳み込みフィルタは,低計算条件下で20%以上の性能向上をもたらす可能性が示唆された。
論文 参考訳(メタデータ) (2023-04-25T21:49:09Z) - Analyzing the Performance of Deep Encoder-Decoder Networks as Surrogates
for a Diffusion Equation [0.0]
本研究では,エンコーダ・デコーダ畳み込みニューラルネットワーク(CNN)を定常拡散解法の代用として利用することを検討した。
その結果,トレーニングセットのサイズが大きくなると,性能変動や全体的な誤差の低減に大きく影響することが示唆された。
論文 参考訳(メタデータ) (2023-02-07T22:53:19Z) - SlimSeg: Slimmable Semantic Segmentation with Boundary Supervision [54.16430358203348]
本稿では,単純なスリム化可能なセマンティックセマンティックセマンティクス(SlimSeg)法を提案する。
提案するSlimSegは,様々な主流ネットワークを用いて,計算コストの動的調整と性能向上を実現するフレキシブルなモデルを生成することができることを示す。
論文 参考訳(メタデータ) (2022-07-13T14:41:05Z) - HyperImpute: Generalized Iterative Imputation with Automatic Model
Selection [77.86861638371926]
カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。
既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
論文 参考訳(メタデータ) (2022-06-15T19:10:35Z) - Attention-Based Model and Deep Reinforcement Learning for Distribution
of Event Processing Tasks [0.0]
イベント処理は、動的でレスポンシブなモノのインターネット(IoT)の基盤である
本稿では,タスクを公平に分散するためのディープラーニングの利用について検討する。
効率的な負荷分散ソリューションを生成するために,注目に基づくニューラルネットワークモデルを提案する。
論文 参考訳(メタデータ) (2021-12-07T17:16:35Z) - Using Graph Neural Networks to model the performance of Deep Neural
Networks [2.1151356984322307]
グラフ表現を取り入れた新しいパフォーマンスモデルを開発した。
実験により,HalideモデルとTVMモデルと比較すると,予測誤差が7:75x,12x減少した。
論文 参考訳(メタデータ) (2021-08-27T20:20:17Z) - Models, Pixels, and Rewards: Evaluating Design Trade-offs in Visual
Model-Based Reinforcement Learning [109.74041512359476]
視覚的MBRLアルゴリズムにおける予測モデルの設計決定について検討する。
潜在空間の使用など、しばしば重要と見なされる設計上の決定は、タスクのパフォーマンスにはほとんど影響しないことが分かりました。
我々は,この現象が探索とどのように関係しているか,および標準ベンチマークにおける下位スコーリングモデルのいくつかが,同じトレーニングデータでトレーニングされた場合のベストパフォーマンスモデルと同等の性能を発揮するかを示す。
論文 参考訳(メタデータ) (2020-12-08T18:03:21Z) - Self Normalizing Flows [65.73510214694987]
本稿では,各層における学習された近似逆数により,勾配の高価な項を置き換えることで,フローの正規化を訓練するための柔軟なフレームワークを提案する。
これにより、各レイヤの正確な更新の計算複雑性が$mathcalO(D3)$から$mathcalO(D2)$に削減される。
実験により,これらのモデルは非常に安定であり,正確な勾配値と類似したデータ可能性値に最適化可能であることが示された。
論文 参考訳(メタデータ) (2020-11-14T09:51:51Z) - Benchmarking and Performance Modelling of MapReduce Communication
Pattern [0.0]
モデルは、目に見えないアプリケーションのパフォーマンスを推測し、任意のデータセットを入力として使用する場合のパフォーマンスを近似するために使用することができる。
実証実験を2つの設定で実施することで,本手法の有効性を検証した。
論文 参考訳(メタデータ) (2020-05-23T21:52:29Z) - An Advance on Variable Elimination with Applications to Tensor-Based
Computation [11.358487655918676]
本稿では,確率的推論を含む多くのアルゴリズムの基盤となる可変除去の古典的アルゴリズムについて述べる。
結果は機能的依存関係の活用に関連しており、非常に大きなツリー幅を持つモデルで推論と学習を効率的に行うことができる。
論文 参考訳(メタデータ) (2020-02-21T14:17:44Z) - Rethinking Generalization of Neural Models: A Named Entity Recognition
Case Study [81.11161697133095]
NERタスクをテストベッドとして、異なる視点から既存モデルの一般化挙動を分析する。
詳細な分析による実験は、既存のニューラルNERモデルのボトルネックを診断する。
本論文の副産物として,最近のNER論文の包括的要約を含むプロジェクトをオープンソース化した。
論文 参考訳(メタデータ) (2020-01-12T04:33:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。