論文の概要: Scale-Robust Timely Asynchronous Decentralized Learning

• arxiv url: http://arxiv.org/abs/2404.19749v1
• Date: Tue, 30 Apr 2024 17:54:16 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-01 13:16:41.276147
• Title: Scale-Robust Timely Asynchronous Decentralized Learning
• Title（参考訳）: スケールロバストなタイムリー非同期分散学習
• Authors: Purbesh Mitra, Sennur Ulukus,
• Abstract要約: 本稿では,機械学習モデルを学習しようとする接続デバイスネットワークで構成される非同期分散学習システムについて考察する。 本研究では,個々のユーザモデルを収束させるのに十分な条件である,そのようなシステムの安定性基準について検討する。 ネットワークスケーリングでは、例えば、ユーザデバイス数$n$が非常に大きい場合、個々のユーザのゴシップ容量が$Omega(log n)$にスケールした場合、有限時間でユーザモデルの収束を保証することができる。
• 参考スコア（独自算出の注目度）: 35.16231062731263
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We consider an asynchronous decentralized learning system, which consists of a network of connected devices trying to learn a machine learning model without any centralized parameter server. The users in the network have their own local training data, which is used for learning across all the nodes in the network. The learning method consists of two processes, evolving simultaneously without any necessary synchronization. The first process is the model update, where the users update their local model via a fixed number of stochastic gradient descent steps. The second process is model mixing, where the users communicate with each other via randomized gossiping to exchange their models and average them to reach consensus. In this work, we investigate the staleness criteria for such a system, which is a sufficient condition for convergence of individual user models. We show that for network scaling, i.e., when the number of user devices $n$ is very large, if the gossip capacity of individual users scales as $\Omega(\log n)$, we can guarantee the convergence of user models in finite time. Furthermore, we show that the bounded staleness can only be guaranteed by any distributed opportunistic scheme by $\Omega(n)$ scaling.
• Abstract（参考訳）: 本稿では,集中型パラメータサーバを使わずに機械学習モデルを学習しようとする,接続デバイスネットワークで構成される非同期分散学習システムについて考察する。 ネットワークのユーザは独自のローカルトレーニングデータを持ち、ネットワーク内のすべてのノードをまたぐ学習に使用される。 学習方法は2つのプロセスから構成され、同期を必要とせずに同時に進化する。 最初のプロセスはモデル更新で、ユーザーは定数の確率勾配降下ステップを通じてローカルモデルを更新する。 第二のプロセスはモデルミキシングであり、ユーザーはランダムなゴシップを通じて互いにコミュニケーションし、モデルを交換し、平均してコンセンサスに達する。 本研究では,個々のユーザモデルを収束させるのに十分な条件である,そのようなシステムの安定性基準について検討する。 ネットワークスケーリングでは、例えば、ユーザデバイス数$n$が非常に大きい場合、個々のユーザのゴシップ容量が$\Omega(\log n)$とスケールした場合、有限時間でユーザモデルの収束を保証することができる。 さらに、有界な安定度は、$\Omega(n)$スケーリングによって任意の分散機会的スキームによってのみ保証できることが示される。

関連論文リスト

• Communication Efficient ConFederated Learning: An Event-Triggered SAGA Approach [67.27031215756121]
  Federated Learning(FL)は、さまざまなデータソース上のローカルデータを収集することなく、モデルトレーニングをターゲットとする機械学習パラダイムである。 単一のサーバを使用するStandard FLは、限られた数のユーザしかサポートできないため、学習能力の低下につながる。 本研究では,多数のユーザに対応するために,emphConfederated Learning(CFL)と呼ばれるマルチサーバFLフレームワークを検討する。
  論文  参考訳（メタデータ） (2024-02-28T03:27:10Z)
• Stochastic Approximation Approach to Federated Machine Learning [0.0]
  本稿では、近似(SA)フレームワークにおけるフェデレートラーニング(FL)について検討する。 FLは、さまざまな参加者やクライアント間でニューラルネットワークモデルをトレーニングする、協調的な方法である。 提案アルゴリズムは頑健であり,より信頼性の高い重み推定を行う。
  論文  参考訳（メタデータ） (2024-02-20T12:00:25Z)
• Ravnest: Decentralized Asynchronous Training on Heterogeneous Devices [0.0]
  Ravnestは、計算ノードをクラスタに効率的に整理することで、分散トレーニングを促進する。 遅延更新を伴うブロック構造最適化問題として,非同期SGD損失関数のフレーム化を行った。
  論文  参考訳（メタデータ） (2024-01-03T13:07:07Z)
• Timely Asynchronous Hierarchical Federated Learning: Age of Convergence [59.96266198512243]
  クライアント-エッジ-クラウドフレームワークを用いた非同期階層型フェデレーション学習環境について検討する。 クライアントはトレーニングされたパラメータをエッジサーバと交換し、ローカルに集約されたモデルを更新する。 各クライアントの目標は、クライアントのタイムラインを維持しながら、グローバルモデルに収束することだ。
  論文  参考訳（メタデータ） (2023-06-21T17:39:16Z)
• Just One Byte (per gradient): A Note on Low-Bandwidth Decentralized Language Model Finetuning Using Shared Randomness [86.61582747039053]
  分散環境での言語モデルトレーニングは、交換の通信コストによって制限される。 分散微調整を低帯域幅で行うために,共有ランダムネスを用いた最近の作業を拡張した。
  論文  参考訳（メタデータ） (2023-06-16T17:59:51Z)
• Federated Action Recognition on Heterogeneous Embedded Devices [16.88104153104136]
  本研究では,限られた計算能力を持つクライアントが行動認識を行うことを可能にする。 我々はまず,大規模なデータセットの知識蒸留を通じて,中央サーバでモデル圧縮を行う。 より小さなデータセットに存在する限られたデータは、アクション認識モデルが複雑な時間的特徴を学習するのに十分なものではないため、微調整が必要である。
  論文  参考訳（メタデータ） (2021-07-18T02:33:24Z)
• Flow-FL: Data-Driven Federated Learning for Spatio-Temporal Predictions in Multi-Robot Systems [16.887485428725043]
  我々は,フェデレートラーニングフレームワークが,コネクテッドロボットチームの分散データから集合的に学習する方法について述べる。 このフレームワークは通常、データをローカルに収集し、モデルのニューラルネットワーク重みを更新し、グローバルモデルに集約するためにサーバにアップデートを送信する。
  論文  参考訳（メタデータ） (2020-10-16T19:09:57Z)
• Coded Stochastic ADMM for Decentralized Consensus Optimization with Edge Computing [113.52575069030192]
  セキュリティ要件の高いアプリケーションを含むビッグデータは、モバイルデバイスやドローン、車両など、複数の異種デバイスに収集され、格納されることが多い。 通信コストとセキュリティ要件の制限のため、核融合センターにデータを集約するのではなく、分散的に情報を抽出することが最重要となる。 分散エッジノードを介してデータを局所的に処理するマルチエージェントシステムにおいて,モデルパラメータを学習する問題を考える。 分散学習モデルを開発するために,乗算器アルゴリズムの最小バッチ交互方向法(ADMM)のクラスについて検討した。
  論文  参考訳（メタデータ） (2020-10-02T10:41:59Z)
• Information-Theoretic Bounds on the Generalization Error and Privacy Leakage in Federated Learning [96.38757904624208]
  モバイルネットワーク上の機械学習アルゴリズムは、3つのカテゴリに分類される。 この研究の主な目的は、前述のすべての学習パラダイムに対する情報理論のフレームワークを提供することである。
  論文  参考訳（メタデータ） (2020-05-05T21:23:45Z)
• Model Fusion via Optimal Transport [64.13185244219353]
  ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。 これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
  論文  参考訳（メタデータ） (2019-10-12T22:07:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。