論文の概要: Asynchronous Online Federated Learning with Reduced Communication Requirements

• arxiv url: http://arxiv.org/abs/2303.15226v2
• Date: Tue, 11 Apr 2023 12:33:42 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-12 17:40:56.376139
• Title: Asynchronous Online Federated Learning with Reduced Communication Requirements
• Title（参考訳）: コミュニケーション要求を低減した非同期オンラインフェデレーション学習
• Authors: Francois Gauthier, Vinay Chakravarthi Gogineni, Stefan Werner, Yih-Fang Huang, Anthony Kuh
• Abstract要約: 通信効率のよい非同期オンライン連合学習(PAO-Fed)戦略を提案する。 参加者のコミュニケーションオーバーヘッドを減らすことで,学習課題への参加をよりアクセスしやすく,効率的に行うことができる。 提案手法の総合シミュレーションを行い,提案手法の有効性について検討した。
• 参考スコア（独自算出の注目度）: 6.282767337715445
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Online federated learning (FL) enables geographically distributed devices to learn a global shared model from locally available streaming data. Most online FL literature considers a best-case scenario regarding the participating clients and the communication channels. However, these assumptions are often not met in real-world applications. Asynchronous settings can reflect a more realistic environment, such as heterogeneous client participation due to available computational power and battery constraints, as well as delays caused by communication channels or straggler devices. Further, in most applications, energy efficiency must be taken into consideration. Using the principles of partial-sharing-based communications, we propose a communication-efficient asynchronous online federated learning (PAO-Fed) strategy. By reducing the communication overhead of the participants, the proposed method renders participation in the learning task more accessible and efficient. In addition, the proposed aggregation mechanism accounts for random participation, handles delayed updates and mitigates their effect on accuracy. We prove the first and second-order convergence of the proposed PAO-Fed method and obtain an expression for its steady-state mean square deviation. Finally, we conduct comprehensive simulations to study the performance of the proposed method on both synthetic and real-life datasets. The simulations reveal that in asynchronous settings, the proposed PAO-Fed is able to achieve the same convergence properties as that of the online federated stochastic gradient while reducing the communication overhead by 98 percent.
• Abstract（参考訳）: online federated learning(fl)は、地理的に分散したデバイスが、ローカルに利用可能なストリーミングデータからグローバルな共有モデルを学ぶことができる。 ほとんどのオンラインFL文献は、参加するクライアントと通信チャネルに関する最良のシナリオを考察している。 しかし、これらの仮定はしばしば実世界のアプリケーションでは満たされない。 非同期設定は、利用可能な計算能力やバッテリ制約による不均一なクライアント参加、通信チャネルやストラグラーデバイスによる遅延など、より現実的な環境を反映することができる。 さらに、ほとんどの応用ではエネルギー効率を考慮する必要がある。 部分共有型コミュニケーションの原理を用いて,通信効率の高い非同期オンライン連合学習(PAO-Fed)戦略を提案する。 参加者のコミュニケーションオーバーヘッドを減らすことで,学習課題への参加をよりアクセスしやすく,効率的に行うことができる。 さらに,提案手法はランダム参加を考慮し,更新の遅延を処理し,精度への影響を緩和する。 提案したPAO-Fed法の1次および2次収束性を証明し,その定常平均平方偏差の式を得る。 最後に,提案手法の有効性を,合成データセットと実生活データセットの両方で検証する。 シミュレーションにより,提案したPAO-Fedは,通信オーバーヘッドを98%削減しつつ,オンライン統合確率勾配と同じ収束特性を実現することができることがわかった。

関連論文リスト

• REFOL: Resource-Efficient Federated Online Learning for Traffic Flow Forecasting [22.118392944492964]
  交通流予測(TFF)において,多元連系学習(FL)手法を提案する。 オンライン学習は、モデルトレーニング中にコンセプトドリフトを検出することができるため、よりTFFに適用できる。 本稿では,通信軽量で計算効率のよいTFFのためのResource-Efficient Federated Online Learning (REFOL) という新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-11-21T11:50:17Z)
• DynamicFL: Federated Learning with Dynamic Communication Resource Allocation [34.97472382870816]
  Federated Learning(FL)は、複数のユーザがローカルデータを使ってモデルを分散的にトレーニングできる、協調的な機械学習フレームワークである。 我々は,グローバルモデルの性能と通信コストのトレードオフを調査する新しいFLフレームワークであるDynamicFLを紹介する。 モデル精度は最大10%向上し,DynamicFLは最先端の手法を超越していることを示す。
  論文  参考訳（メタデータ） (2024-09-08T05:53:32Z)
• SpaFL: Communication-Efficient Federated Learning with Sparse Models and Low computational Overhead [75.87007729801304]
  SpaFL: 計算オーバーヘッドの少ないスパースモデル構造を最適化する通信効率のよいFLフレームワークを提案する。 実験により、スパースベースラインに比べて通信やコンピューティングリソースをはるかに少なくし、精度を向上することが示された。
  論文  参考訳（メタデータ） (2024-06-01T13:10:35Z)
• Over-the-Air Federated Learning and Optimization [52.5188988624998]
  エッジ・ザ・エア計算(AirComp)によるフェデレーション学習(FL)に焦点を当てる。 本稿では,AirComp ベースの FedAvg (AirFedAvg) アルゴリズムの凸および非凸条件下での収束について述べる。 エッジデバイス(モデル、勾配、モデル差など)で送信できるローカルアップデートの種類によって、AirFedAvgで送信するとアグリゲーションエラーが発生する可能性がある。 さらに、より実用的な信号処理方式を検討し、通信効率を改善し、これらの信号処理方式によって引き起こされるモデル集約誤差の異なる形式に収束解析を拡張する。
  論文  参考訳（メタデータ） (2023-10-16T05:49:28Z)
• Semi-Federated Learning: Convergence Analysis and Optimization of A Hybrid Learning Framework [70.83511997272457]
  本稿では,ベースステーション(BS)とデバイスの両方を活用するセミフェデレーション学習(SemiFL)パラダイムを提案し,中央集権学習(CL)とFLのハイブリッド実装を提案する。 我々はこの難解な問題を解くための2段階のアルゴリズムを提案し、ビームフォーマに閉形式解を提供する。
  論文  参考訳（メタデータ） (2023-10-04T03:32:39Z)
• Vertical Federated Learning over Cloud-RAN: Convergence Analysis and System Optimization [82.12796238714589]
  高速かつ正確なモデルアグリゲーションを実現するために,クラウド無線アクセスネットワーク(Cloud-RAN)ベースの垂直FLシステムを提案する。 アップリンクとダウンリンクの両方の伝送を考慮した垂直FLアルゴリズムの収束挙動を特徴付ける。 我々は,連続凸近似と代替凸探索に基づくシステム最適化アルゴリズムを開発した,連系トランシーバとフロントホール量子化設計によるシステム最適化フレームワークを構築した。
  論文  参考訳（メタデータ） (2023-05-04T09:26:03Z)
• Scheduling and Aggregation Design for Asynchronous Federated Learning over Wireless Networks [56.91063444859008]
  Federated Learning(FL)は、デバイス上でのトレーニングとサーバベースのアグリゲーションを組み合わせた、協調的な機械学習フレームワークである。 FLシステムにおけるストラグラー問題に対処するために,周期的アグリゲーションを用いた非同期FL設計を提案する。 年齢認識の集約重み付け設計は,非同期FL設定における学習性能を著しく向上させることができることを示す。
  論文  参考訳（メタデータ） (2022-12-14T17:33:01Z)
• Communication-Efficient Consensus Mechanism for Federated Reinforcement Learning [20.891460617583302]
  FLは、トレーニング効率と安定性の観点から、IRLのポリシー性能を向上させることができることを示す。 本稿では,モデル収束性能の向上と,必要な通信や計算オーバーヘッドの低減のバランスをとるために,システムユーティリティ関数を提案する。
  論文  参考訳（メタデータ） (2022-01-30T04:04:24Z)
• Resource-Aware Asynchronous Online Federated Learning for Nonlinear Regression [5.194557636096977]
  非同期オンライン連合学習(ASO-Fed) 我々は、ASO-Fedに関連する通信オーバーヘッドを低減するために、部分共有ベースのコミュニケーションの原則を用いる。 非同期設定では、フェデレート勾配(Online-FedSGD)と同じ収束を達成することができる。
  論文  参考訳（メタデータ） (2021-11-27T16:41:30Z)
• Federated Learning over Wireless IoT Networks with Optimized Communication and Resources [98.18365881575805]
  協調学習技術のパラダイムとしてのフェデレートラーニング(FL)は研究の注目を集めている。 無線システム上での高速応答および高精度FLスキームの検証が重要である。 提案する通信効率のよいフェデレーション学習フレームワークは,強い線形速度で収束することを示す。
  論文  参考訳（メタデータ） (2021-10-22T13:25:57Z)
• Communication-Efficient Hierarchical Federated Learning for IoT Heterogeneous Systems with Imbalanced Data [42.26599494940002]
  フェデレートラーニング(Federated Learning, FL)は、複数のノードが協調してディープラーニングモデルをトレーニングできる分散ラーニング方法論である。 本稿では,IoTヘテロジニアスシステムにおける階層FLの可能性について検討する。 複数のエッジノード上でのユーザ割り当てとリソース割り当てに最適化されたソリューションを提案する。
  論文  参考訳（メタデータ） (2021-07-14T08:32:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。