論文の概要: Asynchronous Decentralized Learning of a Neural Network
- arxiv url: http://arxiv.org/abs/2004.05082v1
- Date: Fri, 10 Apr 2020 15:53:37 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-14 21:30:13.250690
- Title: Asynchronous Decentralized Learning of a Neural Network
- Title（参考訳）: ニューラルネットワークの非同期分散学習
- Authors: Xinyue Liang, Alireza M. Javid, Mikael Skoglund, Saikat Chatterjee
- Abstract要約: 我々は、ARockと呼ばれる非同期コンピューティングフレームワークを利用して、分散シナリオでフィードフォワードニューラルネットワーク(SSFN)を推定する自己サイズ推定と呼ばれるディープニューラルネットワークを学習する。
非同期分散SSFNは1ノードのアクティベーションと一方の通信を許容することで通信ボトルネックを緩和し、通信オーバーヘッドを大幅に低減する。
実験結果において、非同期dSSFNと従来の同期dSSFNを比較し、特に通信ネットワークが疎い場合に、非同期dSSFNの競合性能を示す。
- 参考スコア（独自算出の注目度）: 49.15799302636519
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this work, we exploit an asynchronous computing framework namely ARock to
learn a deep neural network called self-size estimating feedforward neural
network (SSFN) in a decentralized scenario. Using this algorithm namely
asynchronous decentralized SSFN (dSSFN), we provide the centralized equivalent
solution under certain technical assumptions. Asynchronous dSSFN relaxes the
communication bottleneck by allowing one node activation and one side
communication, which reduces the communication overhead significantly,
consequently increasing the learning speed. We compare asynchronous dSSFN with
traditional synchronous dSSFN in the experimental results, which shows the
competitive performance of asynchronous dSSFN, especially when the
communication network is sparse.
- Abstract（参考訳）: 本研究では、ARockと呼ばれる非同期コンピューティングフレームワークを利用して、分散シナリオで自己サイズ推定フィードフォワードニューラルネットワーク(SSFN)と呼ばれるディープニューラルネットワークを学習する。
このアルゴリズム,すなわち非同期分散SSFN (dSSFN) を用いて,特定の技術的前提の下で集中的な等価解を提供する。
非同期dSSFNは1ノードのアクティベーションと一方の通信を可能にすることで通信ボトルネックを緩和し、通信オーバーヘッドを大幅に低減し、学習速度を向上する。
実験結果において、非同期dSSFNと従来の同期dSSFNを比較し、特に通信ネットワークが疎い場合に、非同期dSSFNの競合性能を示す。
関連論文リスト
- LC-TTFS: Towards Lossless Network Conversion for Spiking Neural Networks
with TTFS Coding [55.64533786293656]
我々は,AIタスクにおいて,ANNのアクティベーション値とSNNのスパイク時間とのほぼ完全なマッピングを実現することができることを示す。
この研究は、電力制約のあるエッジコンピューティングプラットフォームに超低消費電力のTTFSベースのSNNをデプロイする方法を舗装している。
論文 参考訳（メタデータ） (2023-10-23T14:26:16Z) - FAVANO: Federated AVeraging with Asynchronous NOdes [14.412305295989444]
本稿では,資源制約環境下でのディープニューラルネットワーク(DNN)のトレーニングのための,新しい集中型非同期フェデレートラーニング(FL)フレームワークであるFAVANOを提案する。
論文 参考訳（メタデータ） (2023-05-25T14:30:17Z) - AEGNN: Asynchronous Event-based Graph Neural Networks [54.528926463775946]
イベントベースのグラフニューラルネットワークは、標準のGNNを一般化して、イベントを"進化的"時間グラフとして処理する。
AEGNNは同期入力で容易に訓練でき、テスト時に効率的な「非同期」ネットワークに変換できる。
論文 参考訳（メタデータ） (2022-03-31T16:21:12Z) - Locally Asynchronous Stochastic Gradient Descent for Decentralised Deep
Learning [0.0]
Local Asynchronous SGD (LASGD) は、モデル同期にAll Reduceに依存する非同期分散アルゴリズムである。
ImageNetデータセット上の画像分類タスクにおいて、LASGDの性能を実証的に検証する。
論文 参考訳（メタデータ） (2022-03-24T14:25:15Z) - Asynchronous Decentralized Learning over Unreliable Wireless Networks [4.630093015127539]
分散型学習は、デバイス間通信を通じて情報を交換することで、エッジユーザが協力的にモデルをトレーニングすることを可能にする。
無線ネットワークエッジで発生する固有および通信障害に対して頑健な非同期分散勾配降下(DSGD)アルゴリズムを提案する。
実験結果は,信頼性の低い無線ネットワーク上での分散学習における非同期性と時代遅れな勾配情報の再利用の利点を実証し,我々の分析を裏付けるものである。
論文 参考訳（メタデータ） (2022-02-02T11:00:49Z) - Finite-Time Consensus Learning for Decentralized Optimization with
Nonlinear Gossiping [77.53019031244908]
本稿では,非線形ゴシップ(NGO)に基づく分散学習フレームワークを提案する。
コミュニケーション遅延とランダム化チャットが学習にどう影響するかを解析することで,実践的なバリエーションの導出が可能となる。
論文 参考訳（メタデータ） (2021-11-04T15:36:25Z) - Deep Chaos Synchronization [0.0]
畳み込みニューラルネットワーク(CNN)を用いた新しいDeep Chaos Synchronization(DCS)システムを提案する。
また、比較分析のための新しいリカレントニューラルネットワーク(RNN)ベースのカオス同期システムも提供する。
論文 参考訳（メタデータ） (2021-04-17T03:57:53Z) - Accelerating Neural Network Training with Distributed Asynchronous and
Selective Optimization (DASO) [0.0]
分散非同期および選択的最適化(DASO)手法を導入し、ネットワークトレーニングを加速します。
DASOは、ノードローカルおよびグローバルネットワークで構成される階層型および非同期通信スキームを使用する。
DASOは従来のネットワークや最先端ネットワークで最大34%のトレーニング時間を短縮できることを示す。
論文 参考訳（メタデータ） (2021-04-12T16:02:20Z) - Federated Learning over Wireless Device-to-Device Networks: Algorithms
and Convergence Analysis [46.76179091774633]
本稿では,無線デバイス対デバイス(d2d)ネットワーク上でのフェデレーション学習(fl)について検討する。
まず、通信効率の良いDSGDアルゴリズムの汎用ディジタルおよびアナログ無線実装を紹介する。
第二に、凸性と接続性の仮定の下で、両実装に収束境界を提供する。
論文 参考訳（メタデータ） (2021-01-29T17:42:26Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-07-02T15:38:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。