論文の概要: Distributed Optimization using Heterogeneous Compute Systems

• arxiv url: http://arxiv.org/abs/2110.08941v1
• Date: Sun, 3 Oct 2021 11:21:49 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-24 04:27:51.000990
• Title: Distributed Optimization using Heterogeneous Compute Systems
• Title（参考訳）: 不均一計算システムを用いた分散最適化
• Authors: Vineeth S
• Abstract要約: 計算能力の異なる労働者の分散システムにおけるディープニューラルネットワークのトレーニングを検討する。 同期分散トレーニングの簡単な実装により、より高速なワーカは、最も遅いワーカが処理を完了するのを待つことになる。 トレーニング中に各作業員に割り当てられたデータを動的に調整することを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Hardware compute power has been growing at an unprecedented rate in recent years. The utilization of such advancements plays a key role in producing better results in less time -- both in academia and industry. However, merging the existing hardware with the latest hardware within the same ecosystem poses a challenging task. One of the key challenges, in this case, is varying compute power. In this paper, we consider the training of deep neural networks on a distributed system of workers with varying compute power. A naive implementation of synchronous distributed training will result in the faster workers waiting for the slowest worker to complete processing. To mitigate this issue, we propose to dynamically adjust the data assigned for each worker during the training. We assign each worker a partition of total data proportional to its computing power. Our experiments show that dynamically adjusting the data partition helps to improve the utilization of the system and significantly reduces the time taken for training. Code is available at the repository: \url{https://github.com/vineeths96/Heterogeneous-Systems}.
• Abstract（参考訳）: 近年、ハードウェア・コンピューティング・パワーは前例のない速度で成長している。 このような進歩の活用は、アカデミックと産業の両方において、より少ない時間でより良い結果を生み出す上で重要な役割を果たす。 しかし、既存のハードウェアと最新のハードウェアを同じエコシステム内で統合することは、難しい課題である。 この場合の重要な課題の1つは、計算能力の変化である。 本稿では,計算能力の異なる作業者の分散システム上でのディープニューラルネットワークのトレーニングについて考察する。 同期分散トレーニングのナイーブな実装は、最も遅いワーカが処理を完了するのを待つ高速なワーカに結果をもたらす。 この問題を軽減するため、トレーニング中に各ワーカーに割り当てられたデータを動的に調整することを提案する。 各作業者に計算能力に比例したデータの分割を割り当てる。 実験では,データの分割を動的に調整することでシステムの利用性が向上し,トレーニングに要する時間を大幅に削減できることを示した。 コードはリポジトリで入手できる。 \url{https://github.com/vineeths96/Heterogeneous-Systems}。

関連論文リスト

• FusionLLM: A Decentralized LLM Training System on Geo-distributed GPUs with Adaptive Compression [55.992528247880685]
  分散トレーニングは、システム設計と効率に関する重要な課題に直面します。 大規模深層ニューラルネットワーク(DNN)のトレーニング用に設計・実装された分散トレーニングシステムFusionLLMを提案する。 本システムと手法は,収束性を確保しつつ,ベースライン法と比較して1.45～9.39倍の高速化を実現可能であることを示す。
  論文  参考訳（メタデータ） (2024-10-16T16:13:19Z)
• TensorSocket: Shared Data Loading for Deep Learning Training [0.0]
  ディープラーニングトレーニングは反復的かつリソース集約的なプロセスである。 socketは、同じデータローダを共有する同時トレーニングプロセスを可能にする。 評価の結果,データ共有なしでは実現不可能なシナリオが実現でき,トレーニングのスループットを最大で100%向上できることがわかった。
  論文  参考訳（メタデータ） (2024-09-27T13:39:47Z)
• Efficient Asynchronous Federated Learning with Sparsification and Quantization [55.6801207905772]
  フェデレートラーニング(FL)は、生データを転送することなく、機械学習モデルを協調的にトレーニングするために、ますます注目を集めている。 FLは一般的に、モデルトレーニングの全プロセス中にパラメータサーバーと多数のエッジデバイスを利用する。 TEASQ-Fedは、エッジデバイスを利用して、タスクに積極的に適用することで、トレーニングプロセスに非同期に参加する。
  論文  参考訳（メタデータ） (2023-12-23T07:47:07Z)
• DropCompute: simple and more robust distributed synchronous training via compute variance reduction [30.46681332866494]
  本稿では,計算時間の変動により労働者が混在する典型的なシナリオについて考察する。 作業者間のばらつきを低減し,同期学習の堅牢性を向上する,シンプルで効果的な分散化手法を提案する。
  論文  参考訳（メタデータ） (2023-06-18T16:55:31Z)
• Solving Large-scale Spatial Problems with Convolutional Neural Networks [88.31876586547848]
  大規模空間問題に対する学習効率を向上させるために移動学習を用いる。 畳み込みニューラルネットワーク (CNN) は, 信号の小さな窓で訓練できるが, 性能劣化の少ない任意の大信号で評価できる。
  論文  参考訳（メタデータ） (2023-06-14T01:24:42Z)
• Fast and Straggler-Tolerant Distributed SGD with Reduced Computation Load [11.069252535469644]
  勾配降下(SGD)のような最適化手順は、ストラグラーと呼ばれる非応答性や遅い労働者の影響を軽減するために利用することができる。 これは、ワーカのサブセットがアルゴリズムの各イテレーションで計算を完了するのを待つだけで実現できる。 我々は,アルゴリズムの実行時間を通じて,作業者数と計算負荷の両方を適応させる新しいスキームを構築した。
  論文  参考訳（メタデータ） (2023-04-17T20:12:18Z)
• Partitioning Distributed Compute Jobs with Reinforcement Learning and Graph Neural Networks [58.720142291102135]
  大規模な機械学習モデルは、幅広い分野に進歩をもたらしている。 これらのモデルの多くは、単一のマシンでトレーニングするには大きすぎるため、複数のデバイスに分散する必要がある。 スループットやブロッキングレートといったユーザクリティカルな指標に対して,並列化の最大化が準最適であることを示す。
  論文  参考訳（メタデータ） (2023-01-31T17:41:07Z)
• Collaborative Learning over Wireless Networks: An Introductory Overview [84.09366153693361]
  主に、ワイヤレスデバイス間の協調トレーニングに焦点を合わせます。 過去数十年間、多くの分散最適化アルゴリズムが開発されてきた。 データ局所性 – すなわち、各参加デバイスで利用可能なデータがローカルのままである間、共同モデルを協調的にトレーニングすることができる。
  論文  参考訳（メタデータ） (2021-12-07T20:15:39Z)
• Straggler-Resilient Distributed Machine Learning with Dynamic Backup Workers [9.919012793724628]
  作業者毎のバックアップ作業者数を決定するための完全分散アルゴリズムを提案する。 我々のアルゴリズムは収束の線形スピードアップを達成する(すなわち、労働者数に対して収束性能が線形に増加する)。
  論文  参考訳（メタデータ） (2021-02-11T21:39:53Z)
• DaSGD: Squeezing SGD Parallelization Performance in Distributed Training Using Delayed Averaging [4.652668321425679]
  ミニバッチ勾配降下(SGD)アルゴリズムでは、作業者は前方/後方の伝搬を停止する必要がある。 DaSGDはSGDとフォワード/バックの伝搬を並列化し、通信オーバーヘッドの100%を隠蔽する。
  論文  参考訳（メタデータ） (2020-05-31T05:43:50Z)
• Fitting the Search Space of Weight-sharing NAS with Graph Convolutional Networks [100.14670789581811]
  サンプルサブネットワークの性能に適合するグラフ畳み込みネットワークを訓練する。 この戦略により、選択された候補集合において、より高いランク相関係数が得られる。
  論文  参考訳（メタデータ） (2020-04-17T19:12:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。