論文の概要: Get More for Less in Decentralized Learning Systems

• arxiv url: http://arxiv.org/abs/2306.04377v1
• Date: Wed, 7 Jun 2023 12:18:36 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-08 14:42:01.558828
• Title: Get More for Less in Decentralized Learning Systems
• Title（参考訳）: 分散学習システムにおける学習機会の削減
• Authors: Akash Dhasade, Anne-Marie Kermarrec, Rafael Pires, Rishi Sharma, Milos Vujasinovic, Jeffrey Wigger
• Abstract要約: JWINSは分散学習システムであり、スパーシフィケーションを通じてパラメータのサブセットのみを共有する。 JWINSは最大64%のバイトを送信しながら、完全共有型DLと同様の精度を達成できることを実証した。 通信予算の低さにより、JWINSは最先端の通信効率の高いDLアルゴリズムであるCHOCO-SGDを最大4倍に向上させる。
• 参考スコア（独自算出の注目度）: 2.9686294158279414
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Decentralized learning (DL) systems have been gaining popularity because they avoid raw data sharing by communicating only model parameters, hence preserving data confidentiality. However, the large size of deep neural networks poses a significant challenge for decentralized training, since each node needs to exchange gigabytes of data, overloading the network. In this paper, we address this challenge with JWINS, a communication-efficient and fully decentralized learning system that shares only a subset of parameters through sparsification. JWINS uses wavelet transform to limit the information loss due to sparsification and a randomized communication cut-off that reduces communication usage without damaging the performance of trained models. We demonstrate empirically with 96 DL nodes on non-IID datasets that JWINS can achieve similar accuracies to full-sharing DL while sending up to 64% fewer bytes. Additionally, on low communication budgets, JWINS outperforms the state-of-the-art communication-efficient DL algorithm CHOCO-SGD by up to 4x in terms of network savings and time.
• Abstract（参考訳）: 分散学習(dl)システムは、モデルパラメータのみを通信することで生のデータ共有を避け、データの機密性を維持するため、人気を集めている。 しかし、ディープニューラルネットワークの大規模化は、各ノードがギガバイトのデータを交換し、ネットワークをオーバーロードする必要があるため、分散トレーニングにおいて大きな課題となる。 本稿では,通信効率が高く,分散化された学習システムであるJWINSを用いて,この課題に対処する。 jwinsはwavelet変換を使用して、スパースフィケーションによる情報損失と、トレーニングされたモデルのパフォーマンスを損なうことなく通信使用量を削減するランダム化された通信カットオフを制限する。 96のDLノードを非IIDデータセット上で実証的に示し、JWINSは最大64%のバイトを送信しながら、完全共有DLと類似の精度を達成できることを示した。 さらに、通信予算の低さから、JWINSは、最先端の通信効率の高いDLアルゴリズムであるCHOCO-SGDをネットワークの節約と時間で最大4倍に向上させる。

関連論文リスト

• Distributed Training of Large Graph Neural Networks with Variable Communication Rates [71.7293735221656]
  大きなグラフ上でグラフニューラルネットワーク(GNN)をトレーニングすることは、大きなメモリとコンピューティング要件のために、ユニークな課題を提示する。 グラフを複数のマシンに分割する分散GNNトレーニングは、大きなグラフ上でGNNをトレーニングするための一般的なアプローチである。 本稿では,学習モデルの精度を損なうことなく,分散GNNトレーニングにおける通信量を削減するための可変圧縮方式を提案する。
  論文  参考訳（メタデータ） (2024-06-25T14:57:38Z)
• Federated Hyperdimensional Computing [14.844383542052169]
  フェデレートラーニング(FL)は、参加するクライアントの緩やかなセットが、中央サーバによる調整を通じて、グローバルモデルを協調的に学習することを可能にする。 既存のFLアプローチは、ディープニューラルネットワーク(DNN)のような巨大なモデルを持つ複雑なアルゴリズムに依存している。 我々はまず,超次元コンピューティング(HDC)に基づくフェデレーション学習フレームワークであるFedHDCを提案する。
  論文  参考訳（メタデータ） (2023-12-26T09:24:19Z)
• Communication-Efficient Decentralized Federated Learning via One-Bit Compressive Sensing [52.402550431781805]
  分散連合学習(DFL)は、様々なアプリケーションにまたがる実用性によって人気を博している。 集中型バージョンと比較して、DFLの多数のノード間で共有モデルをトレーニングするのはより難しい。 我々は,iADM (iexact alternating direction method) の枠組みに基づく新しいアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2023-08-31T12:22:40Z)
• Graph Neural Networks-Based User Pairing in Wireless Communication Systems [0.34410212782758043]
  ユーザペアリング問題を効率的に解くために,教師なしグラフニューラルネットワーク(GNN)アプローチを提案する。 提案手法は20dBのSNRにおいて,k平均よりも49%,SUSより95%高い総和率を達成する。
  論文  参考訳（メタデータ） (2023-05-14T11:57:42Z)
• Does Decentralized Learning with Non-IID Unlabeled Data Benefit from Self Supervision? [51.00034621304361]
  自己教師型学習(SSL)のレンズによるラベルなしデータによる分散学習の研究 本研究では,分散学習環境下でのコントラスト学習アルゴリズムの有効性について検討する。
  論文  参考訳（メタデータ） (2022-10-20T01:32:41Z)
• Federated Learning over Wireless IoT Networks with Optimized Communication and Resources [98.18365881575805]
  協調学習技術のパラダイムとしてのフェデレートラーニング(FL)は研究の注目を集めている。 無線システム上での高速応答および高精度FLスキームの検証が重要である。 提案する通信効率のよいフェデレーション学習フレームワークは,強い線形速度で収束することを示す。
  論文  参考訳（メタデータ） (2021-10-22T13:25:57Z)
• RelaySum for Decentralized Deep Learning on Heterogeneous Data [71.36228931225362]
  分散機械学習では、労働者はローカルデータのモデル更新を計算する。 労働者は中心的な調整なしに隣人とのみ通信するため、これらの更新はネットワーク上で徐々に伝播する。 このパラダイムは、全接続のないネットワーク上での分散トレーニングを可能にし、データのプライバシ保護と、データセンタでの分散トレーニングの通信コストの削減を支援する。
  論文  参考訳（メタデータ） (2021-10-08T14:55:32Z)
• Sparse-Push: Communication- & Energy-Efficient Decentralized Distributed Learning over Directed & Time-Varying Graphs with non-IID Datasets [2.518955020930418]
  Sparse-Pushはコミュニケーション効率の高い分散型トレーニングアルゴリズムである。 提案アルゴリズムは,通信性能がわずか1%の466倍の低減を実現する。 非IIDデータセットのケースにおいて,通信圧縮が性能を著しく低下させることを示す。
  論文  参考訳（メタデータ） (2021-02-10T19:41:11Z)
• Distributed Learning with Low Communication Cost via Gradient Boosting Untrained Neural Network [4.6539963342114286]
  グラディエント・ブースティング・アントレーニングニューラルネットワーク(GBUN)を提案する。 GBUNは、トレーニングされていないランダムに生成されたニューラルネットワークをアンサンブルし、データサンプルを複数のニューロン出力にソフトに分散し、分散学習のための通信コストを劇的に削減する。 複数の公開データセットに対する実験により,GBUNは予測精度の点で従来のGBDTと同等であり,分散学習のスケーリング特性よりもはるかに優れていることがわかった。
  論文  参考訳（メタデータ） (2020-11-10T10:26:57Z)
• A(DP)$^2$SGD: Asynchronous Decentralized Parallel Stochastic Gradient Descent with Differential Privacy [15.038697541988746]
  一般的な分散学習戦略はフェデレーション学習であり、グローバルモデルを格納する中央サーバと、対応するデータでモデルパラメータを更新するローカルコンピューティングノードのセットがある。 本稿では,ADPSGDの通信効率を保ち,悪意のある参加者による推論を防止する,非同期分散並列SGDフレームワークの差分プライベート版A(DP)$2$SGDを提案する。
  論文  参考訳（メタデータ） (2020-08-21T00:56:22Z)
• Communication-Efficient and Distributed Learning Over Wireless Networks: Principles and Applications [55.65768284748698]
  機械学習(ML)は、第5世代(5G)通信システムなどのための有望なイネーブルである。 本稿では、関連するコミュニケーションとMLの原則を概観し、選択したユースケースでコミュニケーション効率と分散学習フレームワークを提示することを目的とする。
  論文  参考訳（メタデータ） (2020-08-06T12:37:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。