論文の概要: PSO-PS: Parameter Synchronization with Particle Swarm Optimization for
Distributed Training of Deep Neural Networks
- arxiv url: http://arxiv.org/abs/2009.03816v1
- Date: Sun, 6 Sep 2020 05:18:32 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-21 07:55:38.844469
- Title: PSO-PS: Parameter Synchronization with Particle Swarm Optimization for
Distributed Training of Deep Neural Networks
- Title（参考訳）: PSO-PS:ディープニューラルネットワークの分散トレーニングのための粒子群最適化によるパラメータ同期
- Authors: Qing Ye, Yuxuan Han, Yanan sun and JIancheng Lv
- Abstract要約: 我々はディープニューラルネットワーク(DNN)の分散トレーニングプロセスにParticle Swarm Optimizationを統合する新しいアルゴリズムを提案する。
提案アルゴリズムでは,粒子によって計算処理を符号化し,DNNの重みとトレーニング損失を粒子特性によってモデル化する。
各同期段階では、重みや勾配を平均化する代わりに、すべての労働者から集められたサブウェイトからPSOによって重みが更新される。
- 参考スコア（独自算出の注目度）: 16.35607080388805
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Parameter updating is an important stage in parallelism-based distributed
deep learning. Synchronous methods are widely used in distributed training the
Deep Neural Networks (DNNs). To reduce the communication and synchronization
overhead of synchronous methods, decreasing the synchronization frequency
(e.g., every $n$ mini-batches) is a straightforward approach. However, it often
suffers from poor convergence. In this paper, we propose a new algorithm of
integrating Particle Swarm Optimization (PSO) into the distributed training
process of DNNs to automatically compute new parameters. In the proposed
algorithm, a computing work is encoded by a particle, the weights of DNNs and
the training loss are modeled by the particle attributes. At each
synchronization stage, the weights are updated by PSO from the sub weights
gathered from all workers, instead of averaging the weights or the gradients.
To verify the performance of the proposed algorithm, the experiments are
performed on two commonly used image classification benchmarks: MNIST and
CIFAR10, and compared with the peer competitors at multiple different
synchronization configurations. The experimental results demonstrate the
competitiveness of the proposed algorithm.
- Abstract（参考訳）: パラメータ更新は並列性に基づく分散ディープラーニングにおいて重要な段階である。
同期手法はディープニューラルネットワーク(DNN)の分散トレーニングに広く用いられている。
同期メソッドの通信と同期のオーバーヘッドを減らすために、同期周波数(例えば、$n$のミニバッチ毎に)を減少させることは簡単なアプローチである。
しかし、しばしば収束不良に悩まされる。
本稿では,粒子群最適化(pso)をdnnの分散学習プロセスに統合し,新しいパラメータを自動的に計算する新しいアルゴリズムを提案する。
提案アルゴリズムでは,計算作業は粒子によって符号化され,dnnの重みとトレーニング損失は粒子属性によってモデル化される。
各同期段階では、重みや勾配を平均化する代わりに、すべての労働者から集めたサブウェイトからPSOによって重みが更新される。
提案アルゴリズムの性能を検証するために,MNIST と CIFAR10 の2つの画像分類ベンチマークを用いて実験を行い,複数の異なる同期構成で競合相手と比較した。
実験結果は,提案アルゴリズムの競合性を示すものである。
関連論文リスト
- Asynchronous Stochastic Gradient Descent with Decoupled Backpropagation and Layer-Wise Updates [1.9241821314180372]
バックプロパゲーションの大きな欠点の1つは、アルゴリズムの前方フェーズと後方フェーズの間のインターロックである。
本稿では,複数のスレッドから非同期に更新することで,モデルのレイヤ間でSGD更新を並列化する手法を提案する。
このアプローチは、Hongwild!よりも最大2.97倍高速で複数のデバイスでスケールしながら、最先端の結果に近い結果が得られることを示す。
論文 参考訳（メタデータ） (2024-10-08T12:32:36Z) - AsGrad: A Sharp Unified Analysis of Asynchronous-SGD Algorithms [45.90015262911875]
不均一な環境で分散SGDのための非同期型アルゴリズムを解析する。
また,本分析の副産物として,ランダムなきついSGDのような勾配型アルゴリズムの保証を示す。
論文 参考訳（メタデータ） (2023-10-31T13:44:53Z) - Accelerating Distributed ML Training via Selective Synchronization [0.0]
textttSelSyncは、DNNトレーニングの実践的で低オーバーヘッドな方法であり、各ステップでコミュニケーションを発生または回避することを動的に選択する。
トレーニング時間を最大14$times$まで短縮しながら,BSPと同等あるいはより優れた精度に収束する。
論文 参考訳（メタデータ） (2023-07-16T05:28:59Z) - OSP: Boosting Distributed Model Training with 2-stage Synchronization [24.702780532364056]
オーバーラップ並列化(OSP)と呼ばれる新しいモデル同期手法を提案する。
OSPは2段階同期方式で効率的な通信を実現し、Local-Gradientベースを使用する。
古いパラメータによる精度損失を避けるための修正(LGP)。
その結果、OSPは、一般的な同期モデルと比較して、精度を損なうことなく、最大50%のスループット向上を達成できることがわかった。
論文 参考訳（メタデータ） (2023-06-29T13:24:12Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳（メタデータ） (2022-11-19T15:44:08Z) - LocalDrop: A Hybrid Regularization for Deep Neural Networks [98.30782118441158]
本稿では,ローカルラデマチャー複雑性を用いたニューラルネットワークの正規化のための新しい手法であるLocalDropを提案する。
フルコネクテッドネットワーク(FCN)と畳み込みニューラルネットワーク(CNN)の両方のための新しい正規化機能は、ローカルラデマチャー複雑さの上限提案に基づいて開発されました。
論文 参考訳（メタデータ） (2021-03-01T03:10:11Z) - Learning N:M Fine-grained Structured Sparse Neural Networks From Scratch [75.69506249886622]
ディープニューラルネットワーク(DNN)におけるスパーシティは、資源制約された環境でモデルを圧縮し、加速するために広く研究されている。
本稿では,N:M細粒構造スパースネットワークのスクラッチからトレーニングを初めて行う。
論文 参考訳（メタデータ） (2021-02-08T05:55:47Z) - A Low Complexity Decentralized Neural Net with Centralized Equivalence
using Layer-wise Learning [49.15799302636519]
我々は、分散処理ノード(労働者)で最近提案された大規模ニューラルネットワークをトレーニングするために、低複雑性分散学習アルゴリズムを設計する。
我々の設定では、トレーニングデータは作業者間で分散されるが、プライバシやセキュリティ上の懸念からトレーニングプロセスでは共有されない。
本研究では,データが一箇所で利用可能であるかのように,等価な学習性能が得られることを示す。
論文 参考訳（メタデータ） (2020-09-29T13:08:12Z) - DBS: Dynamic Batch Size For Distributed Deep Neural Network Training [19.766163856388694]
ディープニューラルネットワーク(DNN)の分散学習のための動的バッチサイズ(DBS)戦略を提案する。
具体的には、前のエポックの事実に基づいて各ワーカーのパフォーマンスを第一に評価し、バッチサイズとデータセット分割を動的に調整する。
実験結果から,提案手法はクラスタの性能を十分に活用し,トレーニング時間を短縮し,無関係なタスクによる障害に強いロバスト性を有することを示す。
論文 参考訳（メタデータ） (2020-07-23T07:31:55Z) - Communication-Efficient Distributed Stochastic AUC Maximization with
Deep Neural Networks [50.42141893913188]
本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。
我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。
いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
論文 参考訳（メタデータ） (2020-05-05T18:08:23Z) - Accelerating Feedforward Computation via Parallel Nonlinear Equation
Solving [106.63673243937492]
ニューラルネットワークの評価や自己回帰モデルからのサンプリングなどのフィードフォワード計算は、機械学習においてユビキタスである。
本稿では,非線形方程式の解法としてフィードフォワード計算の課題を定式化し,ジャコビ・ガウス・シーデル固定点法とハイブリッド法を用いて解を求める。
提案手法は, 並列化可能な繰り返し回数の削減(あるいは等値化)により, 元のフィードフォワード計算と全く同じ値が与えられることを保証し, 十分な並列化計算能力を付与する。
論文 参考訳（メタデータ） (2020-02-10T10:11:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。