論文の概要: RelaySum for Decentralized Deep Learning on Heterogeneous Data

• arxiv url: http://arxiv.org/abs/2110.04175v1
• Date: Fri, 8 Oct 2021 14:55:32 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-11 17:21:32.039612
• Title: RelaySum for Decentralized Deep Learning on Heterogeneous Data
• Title（参考訳）: 不均一データに基づく分散深層学習のためのリレーサム
• Authors: Thijs Vogels and Lie He and Anastasia Koloskova and Tao Lin and Sai Praneeth Karimireddy and Sebastian U. Stich and Martin Jaggi
• Abstract要約: 分散機械学習では、労働者はローカルデータのモデル更新を計算する。 労働者は中心的な調整なしに隣人とのみ通信するため、これらの更新はネットワーク上で徐々に伝播する。 このパラダイムは、全接続のないネットワーク上での分散トレーニングを可能にし、データのプライバシ保護と、データセンタでの分散トレーニングの通信コストの削減を支援する。
• 参考スコア（独自算出の注目度）: 71.36228931225362
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In decentralized machine learning, workers compute model updates on their local data. Because the workers only communicate with few neighbors without central coordination, these updates propagate progressively over the network. This paradigm enables distributed training on networks without all-to-all connectivity, helping to protect data privacy as well as to reduce the communication cost of distributed training in data centers. A key challenge, primarily in decentralized deep learning, remains the handling of differences between the workers' local data distributions. To tackle this challenge, we introduce the RelaySum mechanism for information propagation in decentralized learning. RelaySum uses spanning trees to distribute information exactly uniformly across all workers with finite delays depending on the distance between nodes. In contrast, the typical gossip averaging mechanism only distributes data uniformly asymptotically while using the same communication volume per step as RelaySum. We prove that RelaySGD, based on this mechanism, is independent of data heterogeneity and scales to many workers, enabling highly accurate decentralized deep learning on heterogeneous data. Our code is available at http://github.com/epfml/relaysgd.
• Abstract（参考訳）: 分散機械学習では、ワーカーはローカルデータのモデル更新を計算する。 労働者は中心的な調整なしに隣人とのみ通信するため、これらの更新はネットワーク上で徐々に伝播する。 このパラダイムは、全接続のないネットワーク上での分散トレーニングを可能にし、データのプライバシ保護と、データセンタでの分散トレーニングの通信コストの削減を支援する。 主に分散深層学習において重要な課題は、労働者のローカルデータ分布の違いの扱いである。 この課題に対処するために、分散学習における情報伝達のためのRelaySum機構を導入する。 RelaySumはスパンニングツリーを使用して、ノード間の距離によって遅延が有限であるすべてのワーカーに情報を正確に分散する。 対照的に、典型的なゴシップ平均化機構は、RelaySumと同じ通信量を使用しながら、データを均一に漸近的にのみ分散する。 このメカニズムに基づいたrelaysgdは、データの不均一性と多くのワーカーへのスケールに依存しており、異種データに対する高精度な分散ディープラーニングを可能にする。 私たちのコードはhttp://github.com/epfml/relaysgdで利用可能です。

関連論文リスト

• Communication Efficient Distributed Learning over Wireless Channels [35.90632878033643]
  垂直分散学習は、複数の学習従事者が収集した局所的特徴を利用して、より良いグローバルモデルを形成する。 本研究では,各作業者が局所観測データの低次元埋め込みを個別に学習する階層型分散学習フレームワークを提案する。 提案した学習フレームワークは,学習者の生出力の結合を利用して,学習モデルとほぼ同一のモデル精度を達成可能であることを示す。
  論文  参考訳（メタデータ） (2022-09-04T19:41:21Z)
• Homogeneous Learning: Self-Attention Decentralized Deep Learning [0.6091702876917281]
  本研究では,非IIDデータに自己認識機構を持たせるために,HL(Homogeneous Learning)と呼ばれる分散学習モデルを提案する。 HLはスタンドアローンの学習と比較してパフォーマンスが向上し、トレーニングラウンド全体の50.8%、通信コスト74.6%を大幅に削減できる。
  論文  参考訳（メタデータ） (2021-10-11T14:05:29Z)
• Decentralized federated learning of deep neural networks on non-iid data [0.6335848702857039]
  分散環境でパーソナライズされたディープラーニングモデルを学ぶことの難しさに対処する。 本稿では,PENS(Performance-Based Neighbor Selection)という手法を提案する。 PENSは強力なベースラインに比べて高い精度を達成することができる。
  論文  参考訳（メタデータ） (2021-07-18T19:05:44Z)
• Decentralized Local Stochastic Extra-Gradient for Variational Inequalities [125.62877849447729]
  我々は、不均一(非IID)で多くのデバイスに分散する問題データを持つ領域上での分散変分不等式(VIs)を考察する。 我々は、完全に分散化された計算の設定を網羅する計算ネットワークについて、非常に一般的な仮定を行う。 理論的には, モノトン, モノトンおよび非モノトンセッティングにおける収束速度を理論的に解析する。
  論文  参考訳（メタデータ） (2021-06-15T17:45:51Z)
• OCTOPUS: Overcoming Performance andPrivatization Bottlenecks in Distributed Learning [16.98452728773235]
  フェデレーションラーニングは、分散参加者がデータをローカルに保持しながら、共通共有モデルを共同学習することを可能にする。 遅延圧縮による通信オーバーヘッドに対処するための,新たな分散学習方式を提案する。 コンパクトな潜在表現の下流タスクは集中学習に匹敵する精度が得られることを示す。
  論文  参考訳（メタデータ） (2021-05-03T02:24:53Z)
• Learning Connectivity for Data Distribution in Robot Teams [96.39864514115136]
  グラフニューラルネットワーク(GNN)を用いたアドホックネットワークにおけるデータ分散のためのタスク非依存,分散化,低レイテンシ手法を提案する。 当社のアプローチは、グローバル状態情報に基づいたマルチエージェントアルゴリズムを各ロボットで利用可能にすることで機能させます。 我々は,情報の平均年齢を報酬関数として強化学習を通じて分散gnn通信政策を訓練し,タスク固有の報酬関数と比較してトレーニング安定性が向上することを示す。
  論文  参考訳（メタデータ） (2021-03-08T21:48:55Z)
• BayGo: Joint Bayesian Learning and Information-Aware Graph Optimization [48.30183416069897]
  BayGoは、ベイズ学習とグラフ最適化のフレームワークである。 本研究の枠組みは、完全連結および恒星トポロジーグラフと比較して、より高速な収束と精度を実現する。
  論文  参考訳（メタデータ） (2020-11-09T11:16:55Z)
• A Low Complexity Decentralized Neural Net with Centralized Equivalence using Layer-wise Learning [49.15799302636519]
  我々は、分散処理ノード(労働者)で最近提案された大規模ニューラルネットワークをトレーニングするために、低複雑性分散学習アルゴリズムを設計する。 我々の設定では、トレーニングデータは作業者間で分散されるが、プライバシやセキュリティ上の懸念からトレーニングプロセスでは共有されない。 本研究では,データが一箇所で利用可能であるかのように,等価な学習性能が得られることを示す。
  論文  参考訳（メタデータ） (2020-09-29T13:08:12Z)
• Decentralised Learning from Independent Multi-Domain Labels for Person Re-Identification [69.29602103582782]
  ディープラーニングは多くのコンピュータビジョンタスクで成功している。 しかし、プライバシー問題に対する意識の高まりは、特に人物の再識別(Re-ID)において、ディープラーニングに新たな課題をもたらす。 我々は,複数のプライバシ保護されたローカルモデル(ローカルクライアント)を同時に学習することにより,汎用的なグローバルモデル(中央サーバ)を構築するための,フェデレート・パーソナライゼーション(FedReID)と呼ばれる新しいパラダイムを提案する。 このクライアントサーバ共同学習プロセスは、プライバシコントロールの下で反復的に実行されるため、分散データを共有したり、収集したりすることなく、分散学習を実現することができる。
  論文  参考訳（メタデータ） (2020-06-07T13:32:33Z)
• Consensus Driven Learning [0.0]
  本稿では,信頼できないネットワーク上での非同期更新を用いて,ノードのネットワークがトレーニングを調整できる分散分散型学習手法を提案する。 これは、様々なノードを調整するために、分散平均コンセンサスアルゴリズムからインスピレーションを得て達成される。 この調整手法により,高度に偏りのあるデータセットや間欠的な通信障害の存在下でモデルを学習できることを示す。
  論文  参考訳（メタデータ） (2020-05-20T18:24:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。