Fugu-MT 論文翻訳(概要): Fast-Convergent Federated Learning

論文の概要: Fast-Convergent Federated Learning

arxiv url: http://arxiv.org/abs/2007.13137v2
Date: Sat, 31 Oct 2020 11:21:13 GMT
ステータス: 処理完了
システム内更新日: 2022-11-06 20:18:23.890758
Title: Fast-Convergent Federated Learning
Title（参考訳）: 高速コンバージェント連合学習
Authors: Hung T. Nguyen, Vikash Sehwag, Seyyedali Hosseinalipour, Christopher G. Brinton, Mung Chiang, H. Vincent Poor
Abstract要約: フェデレーション学習は、モバイルデバイスの現代的なネットワークを介して機械学習タスクを分散するための、有望なソリューションである。本稿では,FOLBと呼ばれる高速収束型フェデレーション学習アルゴリズムを提案する。
参考スコア（独自算出の注目度）: 82.32029953209542
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: Federated learning has emerged recently as a promising solution for distributing machine learning tasks through modern networks of mobile devices. Recent studies have obtained lower bounds on the expected decrease in model loss that is achieved through each round of federated learning. However, convergence generally requires a large number of communication rounds, which induces delay in model training and is costly in terms of network resources. In this paper, we propose a fast-convergent federated learning algorithm, called FOLB, which performs intelligent sampling of devices in each round of model training to optimize the expected convergence speed. We first theoretically characterize a lower bound on improvement that can be obtained in each round if devices are selected according to the expected improvement their local models will provide to the current global model. Then, we show that FOLB obtains this bound through uniform sampling by weighting device updates according to their gradient information. FOLB is able to handle both communication and computation heterogeneity of devices by adapting the aggregations according to estimates of device's capabilities of contributing to the updates. We evaluate FOLB in comparison with existing federated learning algorithms and experimentally show its improvement in trained model accuracy, convergence speed, and/or model stability across various machine learning tasks and datasets.
Abstract（参考訳）: フェデレートされた学習は、モバイルデバイスの現代的なネットワークを介して機械学習タスクを分散するための有望なソリューションとして最近登場した。近年の研究では、フェデレーション学習の各ラウンドを通じて達成されるモデル損失の期待値が下方修正されている。しかし、収束は一般に多数の通信ラウンドを必要とし、モデルトレーニングの遅延を引き起こし、ネットワークリソースの点でコストがかかる。本稿では,各ラウンドのモデルトレーニングにおけるデバイスのインテリジェントサンプリングを行い,期待収束速度を最適化する,高速収束型フェデレート学習アルゴリズムfolbを提案する。まず,ローカルモデルが現在のグローバルモデルに与える期待改善に応じてデバイスが選択された場合,各ラウンドにおいて得られる改善率の下限を理論的に特徴付ける。次に、FOLBは勾配情報に応じてデバイス更新を重み付けすることで、一様サンプリングによりこの境界値を得ることを示す。 FOLBは、デバイスが更新に寄与する能力の見積に応じてアグリゲーションを適用することで、デバイスの通信と計算の不均一性の両方を処理することができる。既存のフェデレーション学習アルゴリズムと比較し,folbの評価を行い,トレーニングしたモデルの精度,収束速度,および様々な機械学習タスクやデータセットにおけるモデルの安定性を実験的に示した。

関連論文リスト

Stragglers-Aware Low-Latency Synchronous Federated Learning via Layer-Wise Model Updates [71.81037644563217]
同期フェデレーションラーニング(FL)は、協調エッジラーニングの一般的なパラダイムである。一部のデバイスは計算資源が限られており、様々な可用性があるため、FLレイテンシはストラグラーに非常に敏感である。本稿では,NNの最適化手法をバックプロパゲーションにより活用し,グローバルモデルを階層的に更新するストラグラー対応層対応学習(SALF)を提案する。
論文参考訳（メタデータ） (2024-03-27T09:14:36Z)
Over-the-Air Federated Learning and Optimization [52.5188988624998]
エッジ・ザ・エア計算(AirComp)によるフェデレーション学習(FL)に焦点を当てる。本稿では,AirComp ベースの FedAvg (AirFedAvg) アルゴリズムの凸および非凸条件下での収束について述べる。エッジデバイス(モデル、勾配、モデル差など)で送信できるローカルアップデートの種類によって、AirFedAvgで送信するとアグリゲーションエラーが発生する可能性がある。さらに、より実用的な信号処理方式を検討し、通信効率を改善し、これらの信号処理方式によって引き起こされるモデル集約誤差の異なる形式に収束解析を拡張する。
論文参考訳（メタデータ） (2023-10-16T05:49:28Z)
Adaptive Model Pruning and Personalization for Federated Learning over Wireless Networks [72.59891661768177]
フェデレーション学習(FL)は、データプライバシを保護しながら、エッジデバイス間での分散学習を可能にする。これらの課題を克服するために、部分的なモデルプルーニングとパーソナライズを備えたFLフレームワークを検討する。このフレームワークは、学習モデルを、データ表現を学ぶためにすべてのデバイスと共有されるモデルプルーニングと、特定のデバイスのために微調整されるパーソナライズされた部分とで、グローバルな部分に分割する。
論文参考訳（メタデータ） (2023-09-04T21:10:45Z)
Time-sensitive Learning for Heterogeneous Federated Edge Intelligence [52.83633954857744]
フェデレーションエッジインテリジェンス(FEI)システムにおけるリアルタイム機械学習について検討する。 FEIシステムは異種通信と計算資源分布を示す。本稿では,共有MLモデルの協調学習における全体の実行時間を最小化するために,時間依存型フェデレーションラーニング(TS-FL)フレームワークを提案する。
論文参考訳（メタデータ） (2023-01-26T08:13:22Z)
Stochastic Coded Federated Learning: Theoretical Analysis and Incentive Mechanism Design [18.675244280002428]
我々は、コード化されたコンピューティング技術を活用する新しいFLフレームワーク、コード付きフェデレーションラーニング(SCFL)を提案する。 SCFLでは、各エッジデバイスがプライバシを保存するコード化されたデータセットをサーバにアップロードする。 SCFLは、与えられた時間内でより良いモデルを学び、ベースライン方式よりも優れたプライバシーとパフォーマンスのトレードオフを実現する。
論文参考訳（メタデータ） (2022-11-08T09:58:36Z)
Parallel Successive Learning for Dynamic Distributed Model Training over Heterogeneous Wireless Networks [50.68446003616802]
フェデレートラーニング(Federated Learning, FedL)は、一連の無線デバイスにモデルトレーニングを配布する一般的なテクニックとして登場した。我々は,FedLアーキテクチャを3次元に拡張した並列逐次学習(PSL)を開発した。我々の分析は、分散機械学習におけるコールド対ウォームアップモデルの概念とモデル慣性について光を当てている。
論文参考訳（メタデータ） (2022-02-07T05:11:01Z)
Resource-Efficient and Delay-Aware Federated Learning Design under Edge Heterogeneity [10.702853653891902]
フェデレーテッド・ラーニング(FL)は、ワイヤレスエッジデバイスに機械学習を分散するための一般的な方法論として登場した。本研究では,FLにおけるモデル性能と資源利用のトレードオフを最適化することを検討する。提案したStoFedDelAvは、FL計算ステップに局所言語モデルコンバインダーを組み込む。
論文参考訳（メタデータ） (2021-12-27T22:30:15Z)
Federated Learning with Communication Delay in Edge Networks [5.500965885412937]
フェデレーション学習は、エッジネットワークを通じて機械学習(ML)モデルのトレーニングを分散する潜在的なソリューションとして、大きな注目を集めている。この研究は、エッジノードとアグリゲータ間の通信遅延という、ネットワークエッジにおけるフェデレーション学習の重要な考慮事項に対処する。 FedDelAvg(フェデレート遅延平均化)と呼ばれる手法が開発され、標準フェデレーション平均化アルゴリズムを一般化し、同期ステップ中に各デバイスで受信した現在のローカルモデルと遅延グローバルモデルとの重み付けを組み込む。
論文参考訳（メタデータ） (2020-08-21T06:21:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。