論文の概要: A Low Complexity Decentralized Neural Net with Centralized Equivalence using Layer-wise Learning

• arxiv url: http://arxiv.org/abs/2009.13982v1
• Date: Tue, 29 Sep 2020 13:08:12 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-13 06:03:47.512328
• Title: A Low Complexity Decentralized Neural Net with Centralized Equivalence using Layer-wise Learning
• Title（参考訳）: 階層学習を用いた集中的等価性を持つ低複雑性分散ニューラルネットワーク
• Authors: Xinyue Liang, Alireza M. Javid, Mikael Skoglund, Saikat Chatterjee
• Abstract要約: 我々は、分散処理ノード(労働者)で最近提案された大規模ニューラルネットワークをトレーニングするために、低複雑性分散学習アルゴリズムを設計する。 我々の設定では、トレーニングデータは作業者間で分散されるが、プライバシやセキュリティ上の懸念からトレーニングプロセスでは共有されない。 本研究では,データが一箇所で利用可能であるかのように,等価な学習性能が得られることを示す。
• 参考スコア（独自算出の注目度）: 49.15799302636519
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We design a low complexity decentralized learning algorithm to train a recently proposed large neural network in distributed processing nodes (workers). We assume the communication network between the workers is synchronized and can be modeled as a doubly-stochastic mixing matrix without having any master node. In our setup, the training data is distributed among the workers but is not shared in the training process due to privacy and security concerns. Using alternating-direction-method-of-multipliers (ADMM) along with a layerwise convex optimization approach, we propose a decentralized learning algorithm which enjoys low computational complexity and communication cost among the workers. We show that it is possible to achieve equivalent learning performance as if the data is available in a single place. Finally, we experimentally illustrate the time complexity and convergence behavior of the algorithm.
• Abstract（参考訳）: 分散処理ノード (workers) において,最近提案されている大規模ニューラルネットワークを学習するために,低複雑性の分散学習アルゴリズムを設計する。 作業者間の通信ネットワークは同期しており、マスターノードを持たずに二重確率混合行列としてモデル化できると仮定する。 我々の設定では、トレーニングデータは労働者間で分散されるが、プライバシやセキュリティ上の懸念からトレーニングプロセスでは共有されない。 階層的凸最適化手法とともに、交互方向乗算器(ADMM)を用いて、作業者間での計算複雑性と通信コストの低減を両立する分散学習アルゴリズムを提案する。 一つの場所でデータが利用可能であるかのように、同等の学習性能を達成することが可能であることを示す。 最後に,アルゴリズムの時間複雑性と収束挙動を実験的に示す。

関連論文リスト

• From promise to practice: realizing high-performance decentralized training [8.955918346078935]
  ディープニューラルネットワークの分散トレーニングは、All-Reduceのような同期データ並列メソッドよりも理論的に優れたスケーラビリティのために大きな注目を集めている。 本稿では、All-Reduceトレーニングのスピードアップにつながる3つの重要な要因を特定し、いつ、どのように、どの程度の分散化によって、より短い実行時間が得られるかを決定するランタイムモデルを構築する。
  論文  参考訳（メタデータ） (2024-10-15T19:04:56Z)
• Communication-Efficient Decentralized Federated Learning via One-Bit Compressive Sensing [52.402550431781805]
  分散連合学習(DFL)は、様々なアプリケーションにまたがる実用性によって人気を博している。 集中型バージョンと比較して、DFLの多数のノード間で共有モデルをトレーニングするのはより難しい。 我々は,iADM (iexact alternating direction method) の枠組みに基づく新しいアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2023-08-31T12:22:40Z)
• Federated K-Means Clustering via Dual Decomposition-based Distributed Optimization [0.0]
  本稿では,$Kのクラスタリング問題に対する分散トレーニングに双対分解を適用する方法について述べる。 トレーニングは、異なるノードにデータを分割し、コンセンサス制約を通じてこれらのノードをリンクすることで、分散的に行うことができる。
  論文  参考訳（メタデータ） (2023-07-25T05:34:50Z)
• Online Distributed Learning with Quantized Finite-Time Coordination [0.4910937238451484]
  私たちの設定では、エージェントのセットは、ストリーミングデータから学習モデルを協調的にトレーニングする必要があります。 本稿では,量子化された有限時間協調プロトコルに依存する分散アルゴリズムを提案する。 提案アルゴリズムの性能を,オンラインソリューションからの平均距離の観点から解析する。
  論文  参考訳（メタデータ） (2023-07-13T08:36:15Z)
• Stochastic Unrolled Federated Learning [85.6993263983062]
  本稿では,UnRolled Federated Learning (SURF)を導入する。 提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
  論文  参考訳（メタデータ） (2023-05-24T17:26:22Z)
• Federated Learning with a Sampling Algorithm under Isoperimetry [9.990687944474738]
  フェデレーション学習は、機械学習アルゴリズムのトレーニングを複数のデバイスに効率的に分散するために、一連のテクニックを使用する。 本稿では,Langevinvin のサンプル Aafteri の通信効率のよい変種を提案する。
  論文  参考訳（メタデータ） (2022-06-02T08:19:03Z)
• Communication-Efficient Distributionally Robust Decentralized Learning [23.612400109629544]
  分散学習アルゴリズムは、相互接続されたエッジデバイスにデータと計算資源を共有する権限を与える。 そこで本研究では,単一分散ループ降下/上昇アルゴリズム(ADGDA)を提案し,その基礎となるミニマックス最適化問題を解く。
  論文  参考訳（メタデータ） (2022-05-31T09:00:37Z)
• Coded Stochastic ADMM for Decentralized Consensus Optimization with Edge Computing [113.52575069030192]
  セキュリティ要件の高いアプリケーションを含むビッグデータは、モバイルデバイスやドローン、車両など、複数の異種デバイスに収集され、格納されることが多い。 通信コストとセキュリティ要件の制限のため、核融合センターにデータを集約するのではなく、分散的に情報を抽出することが最重要となる。 分散エッジノードを介してデータを局所的に処理するマルチエージェントシステムにおいて,モデルパラメータを学習する問題を考える。 分散学習モデルを開発するために,乗算器アルゴリズムの最小バッチ交互方向法(ADMM)のクラスについて検討した。
  論文  参考訳（メタデータ） (2020-10-02T10:41:59Z)
• Adaptive Serverless Learning [114.36410688552579]
  本研究では,データから学習率を動的に計算できる適応型分散学習手法を提案する。 提案アルゴリズムは, 作業者数に対して線形高速化が可能であることを示す。 通信効率のオーバーヘッドを低減するため,通信効率のよい分散訓練手法を提案する。
  論文  参考訳（メタデータ） (2020-08-24T13:23:02Z)
• Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
  本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。 我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。 いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2020-05-05T18:08:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。