論文の概要: Automatic Configuration for Optimal Communication Scheduling in DNN Training

• arxiv url: http://arxiv.org/abs/2112.13509v1
• Date: Mon, 27 Dec 2021 04:54:49 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-29 00:50:36.451754
• Title: Automatic Configuration for Optimal Communication Scheduling in DNN Training
• Title（参考訳）: dnn訓練における最適通信スケジューリングの自動構成
• Authors: Yiqing Ma, Hao Wang, Yiming Zhang, Kai Chen
• Abstract要約: ByteSchedulerは、分散Deep Neural Network(DNN)トレーニングの通信効率を改善するために、テンソル送信を分割して再配置する。 しかし実際には、様々な実行時要素(例えば、ワーカーノードの状態とネットワークの状態)が時間とともに変化し、静的に決定されたワンショット構成結果が最適化される。 トレーニングシステムが動的に変化すると、最適なハイパーパラメータを自動的にタイムリーに検索するリアルタイム設定手法(AutoByte)を提案する。
• 参考スコア（独自算出の注目度）: 10.098059745559349
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: ByteScheduler partitions and rearranges tensor transmissions to improve the communication efficiency of distributed Deep Neural Network (DNN) training. The configuration of hyper-parameters (i.e., the partition size and the credit size) is critical to the effectiveness of partitioning and rearrangement. Currently, ByteScheduler adopts Bayesian Optimization (BO) to find the optimal configuration for the hyper-parameters beforehand. In practice, however, various runtime factors (e.g., worker node status and network conditions) change over time, making the statically-determined one-shot configuration result suboptimal for real-world DNN training. To address this problem, we present a real-time configuration method (called AutoByte) that automatically and timely searches the optimal hyper-parameters as the training systems dynamically change. AutoByte extends the ByteScheduler framework with a meta-network, which takes the system's runtime statistics as its input and outputs predictions for speedups under specific configurations. Evaluation results on various DNN models show that AutoByte can dynamically tune the hyper-parameters with low resource usage, and deliver up to 33.2\% higher performance than the best static configuration in ByteScheduler.
• Abstract（参考訳）: ByteSchedulerは、分散Deep Neural Network(DNN)トレーニングの通信効率を改善するために、テンソル送信を分割して再配置する。 ハイパーパラメータの構成(すなわち、パーティショニングサイズとクレジットサイズ)は、パーティショニングと再配置の有効性に不可欠である。 現在ByteSchedulerは、ハイパーパラメータの最適設定を事前に見つけるためにBayesian Optimization (BO)を採用している。 しかし実際には、様々なランタイム要因(例えば、ワーカーノードの状態とネットワーク条件)が時間とともに変化し、静的に決定されたワンショット構成結果が現実世界のDNNトレーニングに最適化される。 この問題を解決するために、トレーニングシステムが動的に変化するにつれて最適なハイパーパラメータを自動的にタイムリーに検索するリアルタイム構成法(AutoByte)を提案する。 AutoByteはByteSchedulerフレームワークをメタネットワークで拡張し、システムのランタイム統計を入力として、特定の設定下でのスピードアップの予測を出力する。 様々なDNNモデルの評価結果から、AutoByteはリソース使用量の少ないハイパーパラメータを動的にチューニングでき、ByteSchedulerの最高の静的構成よりも最大33.2\%高いパフォーマンスを提供する。

関連論文リスト

• Parameter Optimization with Conscious Allocation (POCA) [4.478575931884855]
  ハイパーバンドベースの機械学習アプローチが最も効果的である。 私たちは出席します。 新人 Conscious Allocation (POCA) は、入力を適応的に割り当てるハイパーバンドベースのアルゴリズムである。 ハイパーパラメータの構成に予算を割り当てます POCAは、両方の設定で強い設定を高速に見つける。
  論文  参考訳（メタデータ） (2023-12-29T00:13:55Z)
• Towards Hyperparameter-Agnostic DNN Training via Dynamical System Insights [4.513581513983453]
  本稿では,ディープニューラルネットワーク(DNN),ECCO-DNNに特化した一階最適化手法を提案する。 本手法は, 最適変数軌道を動的システムとしてモデル化し, 軌道形状に基づいてステップサイズを適応的に選択する離散化アルゴリズムを開発する。
  論文  参考訳（メタデータ） (2023-10-21T03:45:13Z)
• Latency-aware Unified Dynamic Networks for Efficient Image Recognition [72.8951331472913]
  LAUDNetは動的ネットワークの理論的および実用的な効率ギャップを橋渡しするフレームワークである。 3つの主要な動的パラダイム - 適応型計算、動的層スキップ、動的チャネルスキップ - を統合している。 これにより、V100,3090やTX2 GPUのようなプラットフォーム上で、ResNetのようなモデルの遅延を50%以上削減できる。
  論文  参考訳（メタデータ） (2023-08-30T10:57:41Z)
• AUTOMATA: Gradient Based Data Subset Selection for Compute-Efficient Hyper-parameter Tuning [72.54359545547904]
  ハイパーパラメータチューニングのための勾配に基づくサブセット選択フレームワークを提案する。 ハイパーパラメータチューニングに勾配ベースのデータサブセットを用いることで、3$times$-30$times$のターンアラウンド時間とスピードアップが大幅に向上することを示す。
  論文  参考訳（メタデータ） (2022-03-15T19:25:01Z)
• An Adaptive Device-Edge Co-Inference Framework Based on Soft Actor-Critic [72.35307086274912]
  高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。 本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。 レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
  論文  参考訳（メタデータ） (2022-01-09T09:31:50Z)
• DS-Net++: Dynamic Weight Slicing for Efficient Inference in CNNs and Transformers [105.74546828182834]
  本稿では,様々な難易度を持つ入力に対して,ネットワークパラメータの一部を適応的にスライスする動的ウェイトスライシングという,ハードウェア効率のよい動的推論方式を示す。 我々は、CNNのフィルタ数とCNNと変換器の多重次元を入力依存的に調整することで、動的スライム可能なネットワーク(DS-Net)と動的スライス可能なネットワーク(DS-Net++)を提案する。
  論文  参考訳（メタデータ） (2021-09-21T09:57:21Z)
• Multi-Exit Semantic Segmentation Networks [78.44441236864057]
  本稿では,最先端セグメンテーションモデルをMESSネットワークに変換するフレームワークを提案する。 パラメトリド早期出口を用いた特別訓練されたCNNは、より簡単なサンプルの推測時に、その深さに沿って保存する。 接続されたセグメンテーションヘッドの数、配置、アーキテクチャとエグジットポリシーを併用して、デバイス機能とアプリケーション固有の要件に適応する。
  論文  参考訳（メタデータ） (2021-06-07T11:37:03Z)
• Online hyperparameter optimization by real-time recurrent learning [57.01871583756586]
  ニューラルネットワーク(rnn)におけるハイパーパラメータ最適化とパラメータ学習の類似性を活用した。 RNNのための学習済みのオンライン学習アルゴリズムのファミリーを適応させ、ハイパーパラメータとネットワークパラメータを同時に調整します。 この手順は、通常の方法に比べて、ウォールクロック時間のほんの少しで、体系的に一般化性能が向上する。
  論文  参考訳（メタデータ） (2021-02-15T19:36:18Z)
• DynaComm: Accelerating Distributed CNN Training between Edges and Clouds through Dynamic Communication Scheduling [11.34309642431225]
  本稿では,各送信手順を複数のセグメントに分割し,実行時に重複する最適な通信と計算を実現する新しいスケジューラDynaCommを提案する。 DynaComm は、モデル精度を保ちながら、競合する戦略と比較して、すべてのケースで最適なスケジューリングを実現できることを確認します。
  論文  参考訳（メタデータ） (2021-01-20T05:09:41Z)
• Caramel: Accelerating Decentralized Distributed Deep Learning with Computation Scheduling [1.5785002371773138]
  Caramelは、AllReduceのモデル認識スケジューリングと通信最適化を通じて分散ディープラーニングを高速化するシステムである。 Caramelは、データフローモデルの正確性を維持し、ハードウェアに依存しず、ユーザーレベルやフレームワークレベルの変更を一切必要としない。
  論文  参考訳（メタデータ） (2020-04-29T08:32:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。