論文の概要: DRACO: Decentralized Asynchronous Federated Learning over Continuous Row-Stochastic Network Matrices
- arxiv url: http://arxiv.org/abs/2406.13533v1
- Date: Wed, 19 Jun 2024 13:17:28 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-21 19:43:36.537699
- Title: DRACO: Decentralized Asynchronous Federated Learning over Continuous Row-Stochastic Network Matrices
- Title（参考訳）: DRACO: 継続的Row-Stochasticネットワーク行列による分散非同期フェデレーション学習
- Authors: Eunjeong Jeong, Marios Kountouris,
- Abstract要約: DRACOは、行確率ゴシップ無線ネットワーク上での分散非同期Descent(SGD)の新しい手法である。
我々のアプローチは、分散ネットワーク内のエッジデバイスが、連続したタイムラインに沿ってローカルトレーニングとモデル交換を行うことを可能にする。
我々の数値実験は提案手法の有効性を裏付けるものである。
- 参考スコア（独自算出の注目度）: 7.389425875982468
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Recent developments and emerging use cases, such as smart Internet of Things (IoT) and Edge AI, have sparked considerable interest in the training of neural networks over fully decentralized (serverless) networks. One of the major challenges of decentralized learning is to ensure stable convergence without resorting to strong assumptions applied for each agent regarding data distributions or updating policies. To address these issues, we propose DRACO, a novel method for decentralized asynchronous Stochastic Gradient Descent (SGD) over row-stochastic gossip wireless networks by leveraging continuous communication. Our approach enables edge devices within decentralized networks to perform local training and model exchanging along a continuous timeline, thereby eliminating the necessity for synchronized timing. The algorithm also features a specific technique of decoupling communication and computation schedules, which empowers complete autonomy for all users and manageable instructions for stragglers. Through a comprehensive convergence analysis, we highlight the advantages of asynchronous and autonomous participation in decentralized optimization. Our numerical experiments corroborate the efficacy of the proposed technique.
- Abstract（参考訳）: スマートモノのインターネット(IoT)やエッジAIといった最近の発展と新たなユースケースは、完全に分散された(サーバーレス)ネットワーク上でのニューラルネットワークのトレーニングに大きな関心を喚起している。
分散学習の大きな課題の1つは、データ分散やポリシーの更新に関して各エージェントに適用される強い仮定に頼ることなく、安定した収束を確保することである。
これらの問題に対処するために,DRACOを提案する。DRACOは,連続的な通信を活用することで,行確率ゴシップ無線ネットワーク上での非同期確率勾配Descent(SGD)を分散化する新しい手法である。
本手法により、分散ネットワーク内のエッジデバイスが、連続したタイムラインに沿って局所的なトレーニングやモデル交換を行うことができ、同期タイミングの必要性を排除できる。
このアルゴリズムはまた、通信と計算スケジュールを分離する特定の技術を備えており、すべてのユーザに対して完全な自律性と、ストラグラーに対する管理可能な命令を付与する。
総合的な収束分析を通じて、分散最適化における非同期および自律的参加の利点を強調した。
我々の数値実験は提案手法の有効性を裏付けるものである。
関連論文リスト
- Decentralized Learning Strategies for Estimation Error Minimization with Graph Neural Networks [94.2860766709971]
統計的に同一性を持つ無線ネットワークにおける自己回帰的マルコフ過程のサンプリングとリモート推定の課題に対処する。
我々のゴールは、分散化されたスケーラブルサンプリングおよび送信ポリシーを用いて、時間平均推定誤差と/または情報の年齢を最小化することである。
論文 参考訳（メタデータ） (2024-04-04T06:24:11Z) - Decentralized Learning over Wireless Networks: The Effect of Broadcast
with Random Access [56.91063444859008]
本稿では,D-SGDのコンバージェンス性能に及ぼす放送送信と確率的ランダムアクセスポリシーの影響について検討する。
この結果から,アクセス確率を最適化し,期待されるリンク数の最大化が,システム収束を加速するための極めて効果的な戦略であることが示唆された。
論文 参考訳（メタデータ） (2023-05-12T10:32:26Z) - Decentralized Learning Made Easy with DecentralizePy [3.1848820580333737]
分散学習(DL)は、スケーラビリティ、プライバシ、フォールトトレランスの面でその潜在的な利点で有名になった。
本稿では,大規模学習ネットワークを任意のトポロジでエミュレート可能な分散機械学習フレームワークDecentralizePyを提案する。
いくつかのトポロジ上にスパーシフィケーションやセキュアアグリゲーションといったテクニックを配置することで、分散Pyの能力を実証する。
論文 参考訳（メタデータ） (2023-04-17T14:42:33Z) - UAV-Aided Decentralized Learning over Mesh Networks [23.612400109629544]
分散学習は、デバイス間通信(D2D)のみに依存する機械学習(ML)モデルを協調的にトレーニングする、無線ネットワークデバイスに権限を与える。
実世界のメッシュネットワークのローカル接続は、無線ノードの通信範囲が限られており、分散学習プロトコルの効率を損なう。
本論文は,UAVトラジェクトリを最適化し,ユーザグループ間のインテリジェンスを伝達するために,UAVが逐次訪問する一連の経路ポイントとして定義する。
論文 参考訳（メタデータ） (2022-03-02T10:39:40Z) - Asynchronous Decentralized Learning over Unreliable Wireless Networks [4.630093015127539]
分散型学習は、デバイス間通信を通じて情報を交換することで、エッジユーザが協力的にモデルをトレーニングすることを可能にする。
無線ネットワークエッジで発生する固有および通信障害に対して頑健な非同期分散勾配降下(DSGD)アルゴリズムを提案する。
実験結果は,信頼性の低い無線ネットワーク上での分散学習における非同期性と時代遅れな勾配情報の再利用の利点を実証し,我々の分析を裏付けるものである。
論文 参考訳（メタデータ） (2022-02-02T11:00:49Z) - Finite-Time Consensus Learning for Decentralized Optimization with
Nonlinear Gossiping [77.53019031244908]
本稿では,非線形ゴシップ(NGO)に基づく分散学習フレームワークを提案する。
コミュニケーション遅延とランダム化チャットが学習にどう影響するかを解析することで,実践的なバリエーションの導出が可能となる。
論文 参考訳（メタデータ） (2021-11-04T15:36:25Z) - Learning Autonomy in Management of Wireless Random Networks [102.02142856863563]
本稿では,任意の数のランダム接続ノードを持つ無線ネットワークにおいて,分散最適化タスクに取り組む機械学習戦略を提案する。
我々は,ネットワークトポロジとは無関係に,前方および後方に計算を行う分散メッセージパスニューラルネットワーク(DMPNN)と呼ばれる,柔軟な深層ニューラルネットワーク形式を開発した。
論文 参考訳（メタデータ） (2021-06-15T09:03:28Z) - Accelerating Neural Network Training with Distributed Asynchronous and
Selective Optimization (DASO) [0.0]
分散非同期および選択的最適化(DASO)手法を導入し、ネットワークトレーニングを加速します。
DASOは、ノードローカルおよびグローバルネットワークで構成される階層型および非同期通信スキームを使用する。
DASOは従来のネットワークや最先端ネットワークで最大34%のトレーニング時間を短縮できることを示す。
論文 参考訳（メタデータ） (2021-04-12T16:02:20Z) - Reinforcement Learning for Datacenter Congestion Control [50.225885814524304]
渋滞制御アルゴリズムの成功は、レイテンシとネットワーク全体のスループットを劇的に改善する。
今日まで、このような学習ベースのアルゴリズムはこの領域で実用的な可能性を示さなかった。
実世界のデータセンターネットワークの様々な構成に一般化することを目的としたRLに基づくアルゴリズムを考案する。
本稿では,この手法が他のRL手法よりも優れており,トレーニング中に見られなかったシナリオに一般化可能であることを示す。
論文 参考訳（メタデータ） (2021-02-18T13:49:28Z) - Decentralized MCTS via Learned Teammate Models [89.24858306636816]
本稿では,モンテカルロ木探索に基づくトレーニング可能なオンライン分散計画アルゴリズムを提案する。
深層学習と畳み込みニューラルネットワークを用いて正確なポリシー近似を作成可能であることを示す。
論文 参考訳（メタデータ） (2020-03-19T13:10:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。