論文の概要: Accelerate Model Parallel Training by Using Efficient Graph Traversal Order in Device Placement

• arxiv url: http://arxiv.org/abs/2201.09676v1
• Date: Fri, 21 Jan 2022 09:27:48 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-25 14:38:40.449407
• Title: Accelerate Model Parallel Training by Using Efficient Graph Traversal Order in Device Placement
• Title（参考訳）: 効率的なグラフトラバーサル順序を用いたデバイス配置における加速度モデル並列トレーニング
• Authors: Tianze Wang, Amir H. Payberah, Desta Haileselassie Hagos, Vladimir Vlassov
• Abstract要約: 現代のニューラルネットワークは、大量のデータセット上で十分なパフォーマンスを得るために、長いトレーニングを必要とする。 トレーニングをスピードアップする一般的なアプローチのひとつは、大規模なニューラルネットワークを複数のデバイスに分割する、モデル並列化だ。 既存のデバイス配置ソリューションのほとんどは、問題をシーケンシャルな意思決定として扱う。
• 参考スコア（独自算出の注目度）: 1.577134752543077
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern neural networks require long training to reach decent performance on massive datasets. One common approach to speed up training is model parallelization, where large neural networks are split across multiple devices. However, different device placements of the same neural network lead to different training times. Most of the existing device placement solutions treat the problem as sequential decision-making by traversing neural network graphs and assigning their neurons to different devices. This work studies the impact of graph traversal order on device placement. In particular, we empirically study how different graph traversal order leads to different device placement, which in turn affects the training execution time. Our experiment results show that the best graph traversal order depends on the type of neural networks and their computation graphs features. In this work, we also provide recommendations on choosing graph traversal order in device placement for various neural network families to improve the training time in model parallelization.
• Abstract（参考訳）: 現代のニューラルネットワークは、膨大なデータセットでまともなパフォーマンスに達するためには、長いトレーニングが必要です。 トレーニングをスピードアップする一般的なアプローチのひとつは、大規模なニューラルネットワークを複数のデバイスに分割する、モデル並列化だ。 しかし、同じニューラルネットワークの異なるデバイス配置は、異なるトレーニング時間をもたらす。 既存のデバイス配置ソリューションのほとんどは、ニューラルネットワークグラフをトラバースし、ニューロンを異なるデバイスに割り当てることで、問題をシーケンシャルな意思決定として扱う。 本研究は, デバイス配置に対するグラフトラバース順序の影響について検討する。 特に,異なるグラフトラバース順序が,異なるデバイス配置にどのように影響するかを実証的に検討し,トレーニング実行時間に影響を与える。 実験の結果,最良のグラフトラバーサル順序は,ニューラルネットワークのタイプとその計算グラフの特徴に依存することがわかった。 本稿では,モデル並列化におけるトレーニング時間を改善するため,各種ニューラルネットワークファミリーのデバイス配置におけるグラフトラバース順序の選択を推奨する。

関連論文リスト

• Communication-Free Distributed GNN Training with Vertex Cut [63.22674903170953]
  CoFree-GNNは、コミュニケーションのないトレーニングを実装することで、トレーニングプロセスを大幅に高速化する、分散GNNトレーニングフレームワークである。 我々は、CoFree-GNNが既存の最先端のGNNトレーニングアプローチよりも最大10倍高速なGNNトレーニングプロセスを実証した。
  論文  参考訳（メタデータ） (2023-08-06T21:04:58Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Multirate Training of Neural Networks [0.0]
  視覚およびNLPにおける様々な伝達学習アプリケーションに対して、ほぼ半分の時間でディープニューラルネットワークを微調整できることを示す。 本稿では,異なる時間スケールで全ネットワークをトレーニングすることで,データに存在するさまざまな特徴を同時に学習するマルチレート手法を提案する。
  論文  参考訳（メタデータ） (2021-06-20T22:44:55Z)
• Variational models for signal processing with Graph Neural Networks [3.5939555573102853]
  本稿では,ニューラルネットワークを用いた点雲の信号処理について述べる。 本研究では,このようなグラフニューラルネットワークの変分モデルを用いて,教師なし学習のためのグラフ上の信号を処理する方法を検討する。
  論文  参考訳（メタデータ） (2021-03-30T13:31:11Z)
• ItNet: iterative neural networks with small graphs for accurate and efficient anytime prediction [1.52292571922932]
  本研究では,計算グラフの観点から,メモリフットプリントが小さいネットワークモデルについて紹介する。 CamVidおよびCityscapesデータセットでセマンティックセグメンテーションの最新の結果を示します。
  論文  参考訳（メタデータ） (2021-01-21T15:56:29Z)
• Binary Graph Neural Networks [69.51765073772226]
  グラフニューラルネットワーク(gnns)は、不規則データに対する表現学習のための強力で柔軟なフレームワークとして登場した。 本稿では,グラフニューラルネットワークのバイナライゼーションのための異なる戦略を提示し,評価する。 モデルの慎重な設計とトレーニングプロセスの制御によって、バイナリグラフニューラルネットワークは、挑戦的なベンチマークの精度において、適度なコストでトレーニングできることを示しています。
  論文  参考訳（メタデータ） (2020-12-31T18:48:58Z)
• Graph-Based Neural Network Models with Multiple Self-Supervised Auxiliary Tasks [79.28094304325116]
  グラフ畳み込みネットワークは、構造化されたデータポイント間の関係をキャプチャするための最も有望なアプローチである。 マルチタスク方式でグラフベースニューラルネットワークモデルを学習するための3つの新しい自己教師付き補助タスクを提案する。
  論文  参考訳（メタデータ） (2020-11-14T11:09:51Z)
• Graph Structure of Neural Networks [104.33754950606298]
  ニューラルネットワークのグラフ構造が予測性能にどのように影響するかを示す。 リレーショナルグラフの"スイートスポット"は、予測性能を大幅に改善したニューラルネットワークにつながる。 トップパフォーマンスニューラルネットワークは、実際の生物学的ニューラルネットワークと驚くほどよく似たグラフ構造を持つ。
  論文  参考訳（メタデータ） (2020-07-13T17:59:31Z)
• Graph Neural Networks and Reinforcement Learning for Behavior Generation in Semantic Environments [3.1410342959104725]
  本稿では,グラフニューラルネットワークとアクタ-批判的強化学習を組み合わせることを提案する。 グラフニューラルネットワークは、すべての車両に同じネットワークを適用するため、車両の数と順序に不変である。 グラフニューラルネットワークは,トレーニングや応用において,車両数や順序の異なるシナリオを処理可能であることを示す。
  論文  参考訳（メタデータ） (2020-06-22T19:24:52Z)
• Analyzing Neural Networks Based on Random Graphs [77.34726150561087]
  様々なタイプのランダムグラフに対応するアーキテクチャを用いて,ニューラルネットワークの大規模評価を行う。 古典的な数値グラフ不変量は、それ自体が最良のネットワークを選び出すことができない。 また、主に短距離接続を持つネットワークは、多くの長距離接続が可能なネットワークよりも性能が良いことも見出した。
  論文  参考訳（メタデータ） (2020-02-19T11:04:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。