論文の概要: Resource-Aware Asynchronous Online Federated Learning for Nonlinear Regression

• arxiv url: http://arxiv.org/abs/2111.13931v1
• Date: Sat, 27 Nov 2021 16:41:30 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-03 08:22:51.563562
• Title: Resource-Aware Asynchronous Online Federated Learning for Nonlinear Regression
• Title（参考訳）: 非線形回帰のためのリソースアウェア非同期オンライン連合学習
• Authors: Francois Gauthier, Vinay Chakravarthi Gogineni, Stefan Werner, Yih-Fang Huang, Anthony Kuh
• Abstract要約: 非同期オンライン連合学習(ASO-Fed) 我々は、ASO-Fedに関連する通信オーバーヘッドを低減するために、部分共有ベースのコミュニケーションの原則を用いる。 非同期設定では、フェデレート勾配(Online-FedSGD)と同じ収束を達成することができる。
• 参考スコア（独自算出の注目度）: 5.194557636096977
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Many assumptions in the federated learning literature present a best-case scenario that can not be satisfied in most real-world applications. An asynchronous setting reflects the realistic environment in which federated learning methods must be able to operate reliably. Besides varying amounts of non-IID data at participants, the asynchronous setting models heterogeneous client participation due to available computational power and battery constraints and also accounts for delayed communications between clients and the server. To reduce the communication overhead associated with asynchronous online federated learning (ASO-Fed), we use the principles of partial-sharing-based communication. In this manner, we reduce the communication load of the participants and, therefore, render participation in the learning task more accessible. We prove the convergence of the proposed ASO-Fed and provide simulations to analyze its behavior further. The simulations reveal that, in the asynchronous setting, it is possible to achieve the same convergence as the federated stochastic gradient (Online-FedSGD) while reducing the communication tenfold.
• Abstract（参考訳）: 連合学習文学における多くの仮定は、現実世界のほとんどのアプリケーションでは満足できない最良のシナリオを示す。 非同期設定は、連合学習方法が確実に動作しなくてはならない現実的な環境を反映している。 参加者の非iidデータの量の違いに加えて、利用可能な計算能力とバッテリ制約による異種クライアント参加モデルや、クライアントとサーバ間の通信の遅延も考慮される。 非同期オンラインフェデレーション学習(ASO-Fed)に関連する通信オーバーヘッドを低減するために,部分共有型通信の原理を用いる。 このようにして、参加者のコミュニケーション負荷を低減し、学習課題への参加をよりアクセスしやすいものにする。 提案するASO-Fedの収束性を証明し,その挙動をさらに解析するためのシミュレーションを提供する。 シミュレーションにより、非同期環境では、通信の10倍を減らしながら、連合確率勾配(Online-FedSGD)と同じ収束を実現することができる。

関連論文リスト

• Federated Learning based on Pruning and Recovery [0.0]
  このフレームワークは非同期学習アルゴリズムとプルーニング技術を統合している。 異種デバイスを含むシナリオにおいて、従来のフェデレーション学習アルゴリズムの非効率性に対処する。 また、非同期アルゴリズムで特定のクライアントの不安定な問題や不適切なトレーニングにも取り組みます。
  論文  参考訳（メタデータ） (2024-03-16T14:35:03Z)
• FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup for Non-IID Data [54.81695390763957]
  フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。 我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。 クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
  論文  参考訳（メタデータ） (2023-09-18T12:35:05Z)
• Effectively Heterogeneous Federated Learning: A Pairing and Split Learning Based Approach [16.093068118849246]
  本稿では,クライアントと異なる計算資源をペアリングする,新しい分割フェデレーション学習(SFL)フレームワークを提案する。 グラフエッジ選択問題として,学習遅延の最適化を再構築し,グレディアルゴリズムを提案する。 シミュレーションの結果,提案手法はFLトレーニング速度を大幅に向上し,高い性能を実現することができることがわかった。
  論文  参考訳（メタデータ） (2023-08-26T11:10:54Z)
• Asynchronous Online Federated Learning with Reduced Communication Requirements [6.282767337715445]
  通信効率のよい非同期オンライン連合学習(PAO-Fed)戦略を提案する。 参加者のコミュニケーションオーバーヘッドを減らすことで,学習課題への参加をよりアクセスしやすく,効率的に行うことができる。 提案手法の総合シミュレーションを行い,提案手法の有効性について検討した。
  論文  参考訳（メタデータ） (2023-03-27T14:06:05Z)
• Combating Exacerbated Heterogeneity for Robust Models in Federated Learning [91.88122934924435]
  対人訓練と連合学習の組み合わせは、望ましくない頑丈さの劣化につながる可能性がある。 我々は、Slack Federated Adversarial Training (SFAT)と呼ばれる新しいフレームワークを提案する。 各種ベンチマークおよび実世界のデータセットに対するSFATの合理性と有効性を検証する。
  論文  参考訳（メタデータ） (2023-03-01T06:16:15Z)
• Scheduling and Aggregation Design for Asynchronous Federated Learning over Wireless Networks [56.91063444859008]
  Federated Learning(FL)は、デバイス上でのトレーニングとサーバベースのアグリゲーションを組み合わせた、協調的な機械学習フレームワークである。 FLシステムにおけるストラグラー問題に対処するために,周期的アグリゲーションを用いた非同期FL設計を提案する。 年齢認識の集約重み付け設計は,非同期FL設定における学習性能を著しく向上させることができることを示す。
  論文  参考訳（メタデータ） (2022-12-14T17:33:01Z)
• Communication-Efficient Adaptive Federated Learning [17.721884358895686]
  フェデレーション・ラーニング(Federated Learning)は、機械学習のパラダイムであり、クライアントが独自のローカライズされたデータを共有せずに、モデルの共同トレーニングを可能にする。 実際には、連合学習の実装は、大きな通信オーバーヘッドなど、多くの課題に直面している。 理論的収束を保証する新しいコミュニケーション効率適応学習法(FedCAMS)を提案する。
  論文  参考訳（メタデータ） (2022-05-05T15:47:04Z)
• Federated Stochastic Gradient Descent Begets Self-Induced Momentum [151.4322255230084]
  Federated Learning(FL)は、モバイルエッジシステムに適用可能な、新興の機械学習手法である。 このような条件下での勾配降下(SGD)への走行は,大域的な集約プロセスに運動量的な項を加えるとみなすことができる。
  論文  参考訳（メタデータ） (2022-02-17T02:01:37Z)
• Finite-Time Consensus Learning for Decentralized Optimization with Nonlinear Gossiping [77.53019031244908]
  本稿では,非線形ゴシップ(NGO)に基づく分散学習フレームワークを提案する。 コミュニケーション遅延とランダム化チャットが学習にどう影響するかを解析することで,実践的なバリエーションの導出が可能となる。
  論文  参考訳（メタデータ） (2021-11-04T15:36:25Z)
• CosSGD: Nonlinear Quantization for Communication-efficient Federated Learning [62.65937719264881]
  フェデレーション学習は、これらのクライアントのローカルデータを中央サーバに転送することなく、クライアント間での学習を促進する。 圧縮勾配降下のための非線形量子化を提案し、フェデレーションラーニングで容易に利用することができる。 本システムは,訓練過程の収束と精度を維持しつつ,通信コストを最大3桁まで削減する。
  論文  参考訳（メタデータ） (2020-12-15T12:20:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。