論文の概要: A Generic Performance Model for Deep Learning in a Distributed Environment

• arxiv url: http://arxiv.org/abs/2305.11665v1
• Date: Fri, 19 May 2023 13:30:34 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-22 14:18:35.788209
• Title: A Generic Performance Model for Deep Learning in a Distributed Environment
• Title（参考訳）: 分散環境におけるディープラーニングのためのジェネリックパフォーマンスモデル
• Authors: Tulasi Kavarakuntla, Liangxiu Han, Huw Lloyd, Annabel Latham, Anthony Kleerekoper, Samson B. Akintoye
• Abstract要約: 本稿では,アプリケーション実行時間の汎用表現を用いた分散環境におけるアプリケーションの汎用性能モデルを提案する。 提案手法を3つのディープラーニングフレームワーク(MXnetとPytorch)で評価した。
• 参考スコア（独自算出の注目度）: 0.7829352305480285
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Performance modelling of a deep learning application is essential to improve and quantify the efficiency of the model framework. However, existing performance models are mostly case-specific, with limited capability for the new deep learning frameworks/applications. In this paper, we propose a generic performance model of an application in a distributed environment with a generic expression of the application execution time that considers the influence of both intrinsic factors/operations (e.g. algorithmic parameters/internal operations) and extrinsic scaling factors (e.g. the number of processors, data chunks and batch size). We formulate it as a global optimization problem and solve it using regularization on a cost function and differential evolution algorithm to find the best-fit values of the constants in the generic expression to match the experimentally determined computation time. We have evaluated the proposed model on three deep learning frameworks (i.e., TensorFlow, MXnet, and Pytorch). The experimental results show that the proposed model can provide accurate performance predictions and interpretability. In addition, the proposed work can be applied to any distributed deep neural network without instrumenting the code and provides insight into the factors affecting performance and scalability.
• Abstract（参考訳）: ディープラーニングアプリケーションのパフォーマンスモデリングは、モデルフレームワークの効率を改善し、定量化する上で不可欠である。 しかし、既存のパフォーマンスモデルはほとんどケース固有であり、新しいディープラーニングフレームワーク/アプリケーションには制限がある。 本稿では,本質的要因/操作(アルゴリズム的パラメータ/内部操作など)と拡張的スケーリング要因(プロセッサ数,データチャンク数,バッチサイズなど)の両方の影響を考慮した,アプリケーション実行時間の汎用表現を備えた分散環境におけるアプリケーションの汎用的パフォーマンスモデルを提案する。 大域的最適化問題として定式化し、コスト関数と微分進化アルゴリズムの正則化を用いて解き、実験的に決定された計算時間に合致する汎用式における定数の最適値を求める。 提案したモデルを3つのディープラーニングフレームワーク(TensorFlow、MXnet、Pytorch)で評価した。 実験結果は,提案モデルが精度の高い性能予測と解釈性をもたらすことを示す。 さらに、コードを設定することなく、任意の分散ディープニューラルネットワークに適用することができ、パフォーマンスとスケーラビリティに影響を与える要因に関する洞察を提供する。

関連論文リスト

• Revisiting SMoE Language Models by Evaluating Inefficiencies with Task Specific Expert Pruning [78.72226641279863]
  SMOE(Sparse Mixture of Expert)モデルは、言語モデリングにおける高密度モデルに代わるスケーラブルな代替品として登場した。 本研究は,SMoEアーキテクチャの設計に関する意思決定を行うために,タスク固有のモデルプルーニングについて検討する。 適応型タスク対応プルーニング手法 UNCURL を導入し,MoE 層当たりの専門家数をオフラインで学習する手法を提案する。
  論文  参考訳（メタデータ） (2024-09-02T22:35:03Z)
• In2Core: Leveraging Influence Functions for Coreset Selection in Instruction Finetuning of Large Language Models [37.45103473809928]
  In2Coreアルゴリズムは,トレーニングモデルと評価サンプルの相関関係を解析し,コアセットを選択する。 LLMの微調整データにアルゴリズムを適用することで、トレーニングデータの50%で同様の性能を実現することができる。
  論文  参考訳（メタデータ） (2024-08-07T05:48:05Z)
• Learning Generalizable Program and Architecture Representations for Performance Modeling [0.3277163122167434]
  PerfVecは、新しいディープラーニングベースのパフォーマンスモデリングフレームワークである。 高次元および独立/直交プログラムとマイクロアーキテクチャ表現を学習する。 PerfVecは、命令のパフォーマンスの本質をキャプチャする基盤モデルを生成する。
  論文  参考訳（メタデータ） (2023-10-25T17:24:01Z)
• Towards Compute-Optimal Transfer Learning [82.88829463290041]
  我々は、事前訓練されたモデルのゼロショット構造化プルーニングにより、性能を最小限に抑えて計算効率を向上させることができると主張している。 その結果,事前訓練されたモデルの畳み込み畳み込みフィルタは,低計算条件下で20%以上の性能向上をもたらす可能性が示唆された。
  論文  参考訳（メタデータ） (2023-04-25T21:49:09Z)
• Analyzing the Performance of Deep Encoder-Decoder Networks as Surrogates for a Diffusion Equation [0.0]
  本研究では,エンコーダ・デコーダ畳み込みニューラルネットワーク(CNN)を定常拡散解法の代用として利用することを検討した。 その結果,トレーニングセットのサイズが大きくなると,性能変動や全体的な誤差の低減に大きく影響することが示唆された。
  論文  参考訳（メタデータ） (2023-02-07T22:53:19Z)
• HyperImpute: Generalized Iterative Imputation with Automatic Model Selection [77.86861638371926]
  カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。 既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
  論文  参考訳（メタデータ） (2022-06-15T19:10:35Z)
• Using Graph Neural Networks to model the performance of Deep Neural Networks [2.1151356984322307]
  グラフ表現を取り入れた新しいパフォーマンスモデルを開発した。 実験により,HalideモデルとTVMモデルと比較すると,予測誤差が7:75x,12x減少した。
  論文  参考訳（メタデータ） (2021-08-27T20:20:17Z)
• Models, Pixels, and Rewards: Evaluating Design Trade-offs in Visual Model-Based Reinforcement Learning [109.74041512359476]
  視覚的MBRLアルゴリズムにおける予測モデルの設計決定について検討する。 潜在空間の使用など、しばしば重要と見なされる設計上の決定は、タスクのパフォーマンスにはほとんど影響しないことが分かりました。 我々は,この現象が探索とどのように関係しているか,および標準ベンチマークにおける下位スコーリングモデルのいくつかが,同じトレーニングデータでトレーニングされた場合のベストパフォーマンスモデルと同等の性能を発揮するかを示す。
  論文  参考訳（メタデータ） (2020-12-08T18:03:21Z)
• Self Normalizing Flows [65.73510214694987]
  本稿では,各層における学習された近似逆数により,勾配の高価な項を置き換えることで,フローの正規化を訓練するための柔軟なフレームワークを提案する。 これにより、各レイヤの正確な更新の計算複雑性が$mathcalO(D3)$から$mathcalO(D2)$に削減される。 実験により,これらのモデルは非常に安定であり,正確な勾配値と類似したデータ可能性値に最適化可能であることが示された。
  論文  参考訳（メタデータ） (2020-11-14T09:51:51Z)
• An Advance on Variable Elimination with Applications to Tensor-Based Computation [11.358487655918676]
  本稿では,確率的推論を含む多くのアルゴリズムの基盤となる可変除去の古典的アルゴリズムについて述べる。 結果は機能的依存関係の活用に関連しており、非常に大きなツリー幅を持つモデルで推論と学習を効率的に行うことができる。
  論文  参考訳（メタデータ） (2020-02-21T14:17:44Z)
• Rethinking Generalization of Neural Models: A Named Entity Recognition Case Study [81.11161697133095]
  NERタスクをテストベッドとして、異なる視点から既存モデルの一般化挙動を分析する。 詳細な分析による実験は、既存のニューラルNERモデルのボトルネックを診断する。 本論文の副産物として,最近のNER論文の包括的要約を含むプロジェクトをオープンソース化した。
  論文  参考訳（メタデータ） (2020-01-12T04:33:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。