論文の概要: TensorOpt: Exploring the Tradeoffs in Distributed DNN Training with Auto-Parallelism

• arxiv url: http://arxiv.org/abs/2004.10856v1
• Date: Thu, 16 Apr 2020 02:57:35 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-12 21:30:13.964125
• Title: TensorOpt: Exploring the Tradeoffs in Distributed DNN Training with Auto-Parallelism
• Title（参考訳）: TensorOpt: 分散DNNトレーニングにおけるトレードオフを探る
• Authors: Zhenkun Cai, Kaihao Ma, Xiao Yan, Yidi Wu, Yuzhen Huang, James Cheng, Teng Su, Fan Yu
• Abstract要約: 優れた並列化戦略は、ディープニューラルネットワーク(DNN)の分散トレーニングの効率を大幅に改善したり、コストを削減したりすることができる。 我々は,異なる目的間のトレードオフを可能にするために,並列化戦略の最適セットを探索する効率的なアルゴリズムFTを提案する。 我々はまた,ユーザが並列化戦略の詳細を気にすることなく分散DNNトレーニングジョブを実行できる,ユーザフレンドリーなシステムであるOptを開発した。
• 参考スコア（独自算出の注目度）: 21.980316675614787
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A good parallelization strategy can significantly improve the efficiency or reduce the cost for the distributed training of deep neural networks (DNNs). Recently, several methods have been proposed to find efficient parallelization strategies but they all optimize a single objective (e.g., execution time, memory consumption) and produce only one strategy. We propose FT, an efficient algorithm that searches for an optimal set of parallelization strategies to allow the trade-off among different objectives. FT can adapt to different scenarios by minimizing the memory consumption when the number of devices is limited and fully utilize additional resources to reduce the execution time. For popular DNN models (e.g., vision, language), an in-depth analysis is conducted to understand the trade-offs among different objectives and their influence on the parallelization strategies. We also develop a user-friendly system, called TensorOpt, which allows users to run their distributed DNN training jobs without caring the details of parallelization strategies. Experimental results show that FT runs efficiently and provides accurate estimation of runtime costs, and TensorOpt is more flexible in adapting to resource availability compared with existing frameworks.
• Abstract（参考訳）: 優れた並列化戦略は、ディープニューラルネットワーク(DNN)の分散トレーニングの効率を大幅に改善したり、コストを削減することができる。 近年、効率的な並列化戦略を見つけるためにいくつかの手法が提案されているが、それらはすべて単一の目的(実行時間、メモリ消費など)を最適化し、1つの戦略のみを生成する。 我々は,異なる目的間のトレードオフを可能にするために,最適な並列化戦略を探索する効率的なアルゴリズムFTを提案する。 FTは、デバイス数が制限されている場合のメモリ消費を最小限に抑え、実行時間を短縮するために追加リソースを十分に活用することで、異なるシナリオに適応することができる。 一般的なdnnモデル(視覚、言語など)では、異なる目的間のトレードオフとその並列化戦略への影響を理解するために、詳細な分析が行われる。 また、並列化戦略の詳細を気にせずに分散DNNトレーニングジョブを実行できるTensorOptというユーザフレンドリーなシステムも開発しています。 実験の結果、FTは効率的に動作し、ランタイムコストを正確に見積もっていることが示され、TensorOptは既存のフレームワークと比較してリソースの可用性に適応する上でより柔軟である。

関連論文リスト

• PaSE: Parallelization Strategies for Efficient DNN Training [0.09889128046943638]
  ディープニューラルネットワーク(DNN)のトレーニングには、かなりの計算とメモリの要求が必要である。 標準的なプラクティスは、単純さのためにデータ並列性を使用することです。 専門家が設計した戦略は、ドメイン固有の知識を使ってケースバイケースで提案されている。
  論文  参考訳（メタデータ） (2024-07-04T15:21:20Z)
• Switchable Decision: Dynamic Neural Generation Networks [98.61113699324429]
  本稿では,各データインスタンスのリソースを動的に割り当てることで,推論を高速化するスイッチブルな決定を提案する。 提案手法は, 同一の精度を維持しながら, 推論時のコスト低減に有効である。
  論文  参考訳（メタデータ） (2024-05-07T17:44:54Z)
• FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup for Non-IID Data [54.81695390763957]
  フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。 我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。 クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
  論文  参考訳（メタデータ） (2023-09-18T12:35:05Z)
• A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical Computation Offloading [62.34538208323411]
  共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。 MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
  論文  参考訳（メタデータ） (2023-09-02T11:01:16Z)
• Online Network Source Optimization with Graph-Kernel MAB [62.6067511147939]
  大規模ネットワークにおける最適なソース配置をオンラインで学習するためのグラフカーネルマルチアームバンディットアルゴリズムであるGrab-UCBを提案する。 適応グラフ辞書モデルを用いて,ネットワークプロセスを記述する。 我々は、ネットワークパラメータに依存する性能保証を導出し、シーケンシャルな意思決定戦略の学習曲線にさらに影響を及ぼす。
  論文  参考訳（メタデータ） (2023-07-07T15:03:42Z)
• Combining Multi-Objective Bayesian Optimization with Reinforcement Learning for TinyML [4.2019872499238256]
  マルチオブジェクトベイズ最適化(MOBOpt)に基づくマイクロコントローラ(TinyML)にディープニューラルネットワークをデプロイするための新しい戦略を提案する。 本手法は,DNNの予測精度,メモリ消費量,計算複雑性のトレードオフを効率的に検出することを目的としている。
  論文  参考訳（メタデータ） (2023-05-23T14:31:52Z)
• Energy-efficient Task Adaptation for NLP Edge Inference Leveraging Heterogeneous Memory Architectures [68.91874045918112]
  Adapter-ALBERTは、様々なタスクにわたる最大データ再利用のための効率的なモデル最適化である。 検証されたNLPエッジアクセラレータ上でシミュレーションを行うことにより、モデルを不均一なオンチップメモリアーキテクチャにマッピングする利点を実証する。
  論文  参考訳（メタデータ） (2023-03-25T14:40:59Z)
• DistIR: An Intermediate Representation and Simulator for Efficient Neural Network Distribution [15.086401550425125]
  DistIRは分散計算のための表現であり、効率的な解析のために調整されている。 本研究では、DistIRとそのシミュレータが1000以上の構成にまたがる複雑な分散空間を高速にグリッドで探索する方法を示す。
  論文  参考訳（メタデータ） (2021-11-09T21:32:51Z)
• Deep Learning-based Resource Allocation For Device-to-Device Communication [66.74874646973593]
  デバイス間通信(D2D)を用いたマルチチャネルセルシステムにおいて,リソース割り当ての最適化のためのフレームワークを提案する。 任意のチャネル条件に対する最適な資源配分戦略をディープニューラルネットワーク(DNN)モデルにより近似する深層学習(DL)フレームワークを提案する。 シミュレーションの結果,提案手法のリアルタイム性能を低速で実現できることが確認された。
  論文  参考訳（メタデータ） (2020-11-25T14:19:23Z)
• DBS: Dynamic Batch Size For Distributed Deep Neural Network Training [19.766163856388694]
  ディープニューラルネットワーク(DNN)の分散学習のための動的バッチサイズ(DBS)戦略を提案する。 具体的には、前のエポックの事実に基づいて各ワーカーのパフォーマンスを第一に評価し、バッチサイズとデータセット分割を動的に調整する。 実験結果から,提案手法はクラスタの性能を十分に活用し,トレーニング時間を短縮し,無関係なタスクによる障害に強いロバスト性を有することを示す。
  論文  参考訳（メタデータ） (2020-07-23T07:31:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。