論文の概要: Asynchronous Decentralized Learning over Unreliable Wireless Networks

• arxiv url: http://arxiv.org/abs/2202.00955v1
• Date: Wed, 2 Feb 2022 11:00:49 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-03 15:18:06.635017
• Title: Asynchronous Decentralized Learning over Unreliable Wireless Networks
• Title（参考訳）: 信頼できない無線ネットワーク上での非同期分散学習
• Authors: Eunjeong Jeong, Matteo Zecchin, Marios Kountouris
• Abstract要約: 分散型学習は、デバイス間通信を通じて情報を交換することで、エッジユーザが協力的にモデルをトレーニングすることを可能にする。 無線ネットワークエッジで発生する固有および通信障害に対して頑健な非同期分散勾配降下(DSGD)アルゴリズムを提案する。 実験結果は,信頼性の低い無線ネットワーク上での分散学習における非同期性と時代遅れな勾配情報の再利用の利点を実証し,我々の分析を裏付けるものである。
• 参考スコア（独自算出の注目度）: 4.630093015127539
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Decentralized learning enables edge users to collaboratively train models by exchanging information via device-to-device communication, yet prior works have been limited to wireless networks with fixed topologies and reliable workers. In this work, we propose an asynchronous decentralized stochastic gradient descent (DSGD) algorithm, which is robust to the inherent computation and communication failures occurring at the wireless network edge. We theoretically analyze its performance and establish a non-asymptotic convergence guarantee. Experimental results corroborate our analysis, demonstrating the benefits of asynchronicity and outdated gradient information reuse in decentralized learning over unreliable wireless networks.
• Abstract（参考訳）: 分散学習は、デバイス間通信を介して情報を交換することで、エッジユーザーが協調的にモデルを訓練することを可能にする。 本研究では,無線ネットワークエッジで発生する固有計算や通信障害に対して頑健な,非同期分散確率勾配降下(dsgd)アルゴリズムを提案する。 その性能を理論的に解析し,非漸近収束保証を確立する。 実験結果から,非信頼な無線ネットワーク上での分散学習における非同期性と時代遅れの勾配情報再利用の利点を実証した。

関連論文リスト

• DRACO: Decentralized Asynchronous Federated Learning over Continuous Row-Stochastic Network Matrices [7.389425875982468]
  DRACOは、行確率ゴシップ無線ネットワーク上での分散非同期Descent(SGD)の新しい手法である。 我々のアプローチは、分散ネットワーク内のエッジデバイスが、連続したタイムラインに沿ってローカルトレーニングとモデル交換を行うことを可能にする。 我々の数値実験は提案手法の有効性を裏付けるものである。
  論文  参考訳（メタデータ） (2024-06-19T13:17:28Z)
• Decentralized Learning over Wireless Networks with Broadcast-Based Subgraph Sampling [36.99249604183772]
  この研究は、コンセンサスに基づく分散降下(D-SGD)を用いた、無線ネットワーク上の分散学習のコミュニケーション面を中心にしている。 ネットワーク内情報交換による実際の通信コストや遅延を考慮すると,送信スロット毎の改善によって測定されたアルゴリズムの高速収束を実現することが目的である。 本稿では,無線ネットワーク上でのD-SGDの効率的な通信フレームワークであるBASSを提案する。
  論文  参考訳（メタデータ） (2023-10-24T18:15:52Z)
• Decentralized Learning over Wireless Networks: The Effect of Broadcast with Random Access [56.91063444859008]
  本稿では,D-SGDのコンバージェンス性能に及ぼす放送送信と確率的ランダムアクセスポリシーの影響について検討する。 この結果から,アクセス確率を最適化し,期待されるリンク数の最大化が,システム収束を加速するための極めて効果的な戦略であることが示唆された。
  論文  参考訳（メタデータ） (2023-05-12T10:32:26Z)
• Communication-Efficient Distributionally Robust Decentralized Learning [23.612400109629544]
  分散学習アルゴリズムは、相互接続されたエッジデバイスにデータと計算資源を共有する権限を与える。 そこで本研究では,単一分散ループ降下/上昇アルゴリズム(ADGDA)を提案し,その基礎となるミニマックス最適化問題を解く。
  論文  参考訳（メタデータ） (2022-05-31T09:00:37Z)
• UAV-Aided Decentralized Learning over Mesh Networks [23.612400109629544]
  分散学習は、デバイス間通信(D2D)のみに依存する機械学習(ML)モデルを協調的にトレーニングする、無線ネットワークデバイスに権限を与える。 実世界のメッシュネットワークのローカル接続は、無線ノードの通信範囲が限られており、分散学習プロトコルの効率を損なう。 本論文は,UAVトラジェクトリを最適化し,ユーザグループ間のインテリジェンスを伝達するために,UAVが逐次訪問する一連の経路ポイントとして定義する。
  論文  参考訳（メタデータ） (2022-03-02T10:39:40Z)
• Finite-Time Consensus Learning for Decentralized Optimization with Nonlinear Gossiping [77.53019031244908]
  本稿では,非線形ゴシップ(NGO)に基づく分散学習フレームワークを提案する。 コミュニケーション遅延とランダム化チャットが学習にどう影響するかを解析することで,実践的なバリエーションの導出が可能となる。
  論文  参考訳（メタデータ） (2021-11-04T15:36:25Z)
• Distributed Learning in Wireless Networks: Recent Progress and Future Challenges [170.35951727508225]
  次世代のワイヤレスネットワークは、エッジデバイスが収集するさまざまな種類のデータを分析する多くの機械学習ツールやアプリケーションを可能にする。 エッジデバイスが生データ交換なしでMLモデルを協調的にトレーニングできるようにする手段として,分散学習と推論技術が提案されている。 本稿では,ワイヤレスエッジネットワーク上で分散学習を効率的に効果的に展開する方法を包括的に研究する。
  論文  参考訳（メタデータ） (2021-04-05T20:57:56Z)
• Federated Learning over Wireless Device-to-Device Networks: Algorithms and Convergence Analysis [46.76179091774633]
  本稿では,無線デバイス対デバイス(d2d)ネットワーク上でのフェデレーション学習(fl)について検討する。 まず、通信効率の良いDSGDアルゴリズムの汎用ディジタルおよびアナログ無線実装を紹介する。 第二に、凸性と接続性の仮定の下で、両実装に収束境界を提供する。
  論文  参考訳（メタデータ） (2021-01-29T17:42:26Z)
• Asynchronous Decentralized Learning of a Neural Network [49.15799302636519]
  我々は、ARockと呼ばれる非同期コンピューティングフレームワークを利用して、分散シナリオでフィードフォワードニューラルネットワーク(SSFN)を推定する自己サイズ推定と呼ばれるディープニューラルネットワークを学習する。 非同期分散SSFNは1ノードのアクティベーションと一方の通信を許容することで通信ボトルネックを緩和し、通信オーバーヘッドを大幅に低減する。 実験結果において、非同期dSSFNと従来の同期dSSFNを比較し、特に通信ネットワークが疎い場合に、非同期dSSFNの競合性能を示す。
  論文  参考訳（メタデータ） (2020-04-10T15:53:37Z)
• A Compressive Sensing Approach for Federated Learning over Massive MIMO Communication Systems [82.2513703281725]
  フェデレートラーニング(Federated Learning)は、無線デバイスとのコラボレーションによって、中央サーバでグローバルモデルをトレーニングするための、プライバシ保護のアプローチである。 本稿では,大規模マルチインプット多出力通信システム上でのフェデレーション学習のための圧縮センシング手法を提案する。
  論文  参考訳（メタデータ） (2020-03-18T05:56:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。