論文の概要: PaSE: Parallelization Strategies for Efficient DNN Training
- arxiv url: http://arxiv.org/abs/2407.04001v1
- Date: Thu, 4 Jul 2024 15:21:20 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-08 17:33:44.106037
- Title: PaSE: Parallelization Strategies for Efficient DNN Training
- Title（参考訳）: PaSE:効率的なDNNトレーニングのための並列化戦略
- Authors: Venmugil Elango,
- Abstract要約: ディープニューラルネットワーク(DNN)のトレーニングには、かなりの計算とメモリの要求が必要である。
標準的なプラクティスは、単純さのためにデータ並列性を使用することです。
専門家が設計した戦略は、ドメイン固有の知識を使ってケースバイケースで提案されている。
- 参考スコア（独自算出の注目度）: 0.09889128046943638
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Training a deep neural network (DNN) requires substantial computational and memory requirements. It is common to use multiple devices to train a DNN to reduce the overall training time. There are several choices to parallelize each layer in a DNN. Exhaustively searching this list to find an optimal parallelization strategy is prohibitively time consuming and impractical. The standard practice is to use data parallelism because of its simplicity. However, data parallelism is often sub-optimal, and suffers from poor performance and high memory requirement. Expert-designed strategies have been proposed on a case-by-case basis using domain specific knowledge. These expert-designed strategies do not generalize well to DNNs other than the ones for which they were designed, and are not always necessarily the best choice. In this paper, we propose an approach to automatically find efficient parallelization strategies for DNNs from their computation graphs. We present an efficient algorithm to compute these strategies within a reasonable time in practice. We evaluate the effectiveness of our approach on various DNNs. We also compare the performance of the strategies identified by our approach against data parallelism, expert-designed strategies, and the state-of-the-art approaches. Our results show that the strategies found using our approach outperform the baseline data parallelism strategy in all the cases. In addition, our strategies achieve better performance than the expert-designed strategies and the state-of-the-art approaches.
- Abstract（参考訳）: ディープニューラルネットワーク(DNN)のトレーニングには、かなりの計算とメモリの要求が必要である。
複数のデバイスを使用してDNNをトレーニングすることで、全体のトレーニング時間を短縮することが一般的である。
DNNでは、各レイヤを並列化する方法がいくつかある。
最適な並列化戦略を見つけるために、このリストを徹底的に検索することは、極めて時間がかかり、実用的ではない。
標準的なプラクティスは、単純さのためにデータ並列性を使用することです。
しかし、データ並列性は、しばしば準最適であり、性能が悪く、高いメモリ要求に悩まされる。
専門家が設計した戦略は、ドメイン固有の知識を使ってケースバイケースで提案されている。
これらの専門家が設計した戦略は、DNNが設計したもの以外はうまく一般化せず、必ずしも最良の選択であるとは限らない。
本稿では,計算グラフからDNNの効率的な並列化戦略を自動検出する手法を提案する。
本稿では,これらの戦略を合理的な時間内に計算する効率的なアルゴリズムを提案する。
各種DNNに対するアプローチの有効性を評価する。
我々はまた、データ並列性、専門家設計戦略、最先端アプローチに対する我々のアプローチによって特定された戦略のパフォーマンスを比較した。
以上の結果から,本手法がベースラインデータ並列化戦略より優れていることが示唆された。
さらに、我々の戦略は、専門家が設計した戦略や最先端のアプローチよりも優れたパフォーマンスを達成する。
関連論文リスト
- Scalable and Equitable Math Problem Solving Strategy Prediction in Big
Educational Data [2.86829428083307]
我々はMVecと呼ばれる埋め込みを開発し、学生の熟達度に基づいて表現を学習する。
次に、これらの埋め込みを非パラメトリッククラスタリング法でクラスタ化する。
提案手法は,大規模データセットの小さなサンプルをトレーニングすることで,高精度にスケールアップ可能であることを示す。
論文 参考訳（メタデータ） (2023-08-07T19:51:10Z) - Online Network Source Optimization with Graph-Kernel MAB [62.6067511147939]
大規模ネットワークにおける最適なソース配置をオンラインで学習するためのグラフカーネルマルチアームバンディットアルゴリズムであるGrab-UCBを提案する。
適応グラフ辞書モデルを用いて,ネットワークプロセスを記述する。
我々は、ネットワークパラメータに依存する性能保証を導出し、シーケンシャルな意思決定戦略の学習曲線にさらに影響を及ぼす。
論文 参考訳（メタデータ） (2023-07-07T15:03:42Z) - Towards a Better Theoretical Understanding of Independent Subnetwork Training [56.24689348875711]
独立サブネットワークトレーニング(IST)の理論的考察
ISTは、上記の問題を解決するための、最近提案され、非常に効果的である。
圧縮通信を用いた分散手法など,ISTと代替手法の基本的な違いを同定する。
論文 参考訳（メタデータ） (2023-06-28T18:14:22Z) - Deep Reinforcement Learning for Exact Combinatorial Optimization:
Learning to Branch [13.024115985194932]
本稿では、強化学習(RL)パラダイムを用いた最適化において、データラベリングと推論の問題を解決するための新しいアプローチを提案する。
我々は模倣学習を用いてRLエージェントをブートストラップし、PPO(Proximal Policy)を使用してグローバルな最適なアクションを探索する。
論文 参考訳（メタデータ） (2022-06-14T16:35:58Z) - Survey on Large Scale Neural Network Training [48.424512364338746]
現代のディープニューラルネットワーク(DNN)は、トレーニング中にウェイト、アクティベーション、その他の中間テンソルを保存するためにかなりのメモリを必要とする。
この調査は、より効率的なDNNトレーニングを可能にするアプローチの体系的な概要を提供する。
論文 参考訳（メタデータ） (2022-02-21T18:48:02Z) - Understanding Robust Generalization in Learning Regular Languages [85.95124524975202]
我々は、リカレントニューラルネットワークを用いて正規言語を学習する文脈における堅牢な一般化について研究する。
この問題に対処するための構成戦略を提案する。
構成戦略がエンド・ツー・エンド戦略よりもはるかに優れていることを理論的に証明する。
論文 参考訳（メタデータ） (2022-02-20T02:50:09Z) - DistIR: An Intermediate Representation and Simulator for Efficient
Neural Network Distribution [15.086401550425125]
DistIRは分散計算のための表現であり、効率的な解析のために調整されている。
本研究では、DistIRとそのシミュレータが1000以上の構成にまたがる複雑な分散空間を高速にグリッドで探索する方法を示す。
論文 参考訳（メタデータ） (2021-11-09T21:32:51Z) - Parallel Training of Deep Networks with Local Updates [84.30918922367442]
ローカル並列性(Local Parallelism)は、グローバルバックプロパゲーションを切り捨てられたレイヤワイズバックプロパゲーションに置き換えることで、ディープネットワーク内の個々のレイヤのトレーニングを並列化するフレームワークである。
我々は、様々なアーキテクチャセットにわたるビジョンと言語領域の両方で結果を示し、局所的並列性は特に高コンピュートなシステムにおいて有効であることを見出した。
論文 参考訳（メタデータ） (2020-12-07T16:38:45Z) - Auto-MAP: A DQN Framework for Exploring Distributed Execution Plans for
DNN Workloads [11.646744408920764]
Auto-MAPはワークロードの分散実行計画を探索するフレームワークである。
ディープラーニングモデルのIRレベルの強化学習を通じて、高速な並列化戦略を自動的に発見することができる。
評価の結果,Auto-MAPは複数のNLPおよび畳み込みモデルにおいて,より優れたスループットを実現しつつ,最適解を2時間以内に見つけることができることがわかった。
論文 参考訳（メタデータ） (2020-07-08T12:38:03Z) - TensorOpt: Exploring the Tradeoffs in Distributed DNN Training with
Auto-Parallelism [21.980316675614787]
優れた並列化戦略は、ディープニューラルネットワーク(DNN)の分散トレーニングの効率を大幅に改善したり、コストを削減したりすることができる。
我々は,異なる目的間のトレードオフを可能にするために,並列化戦略の最適セットを探索する効率的なアルゴリズムFTを提案する。
我々はまた,ユーザが並列化戦略の詳細を気にすることなく分散DNNトレーニングジョブを実行できる,ユーザフレンドリーなシステムであるOptを開発した。
論文 参考訳（メタデータ） (2020-04-16T02:57:35Z) - Self-Directed Online Machine Learning for Topology Optimization [58.920693413667216]
自己指向型オンライン学習最適化は、ディープニューラルネットワーク(DNN)と有限要素法(FEM)計算を統合している。
本アルゴリズムは, コンプライアンスの最小化, 流体構造最適化, 伝熱促進, トラス最適化の4種類の問題によって検証された。
その結果, 直接使用法と比較して計算時間を2～5桁削減し, 実験で検証した全ての最先端アルゴリズムより優れていた。
論文 参考訳（メタデータ） (2020-02-04T20:00:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。