Fugu-MT 論文翻訳(概要): Boosting Federated Learning in Resource-Constrained Networks

論文の概要: Boosting Federated Learning in Resource-Constrained Networks

arxiv url: http://arxiv.org/abs/2110.11486v2
Date: Mon, 11 Dec 2023 13:54:43 GMT
ステータス: 処理完了
システム内更新日: 2023-12-13 21:16:25.705204
Title: Boosting Federated Learning in Resource-Constrained Networks
Title（参考訳）: 資源制約付きネットワークにおけるフェデレーション学習の促進
Authors: Mohamed Yassine Boukhari, Akash Dhasade, Anne-Marie Kermarrec, Rafael Pires, Othmane Safsafi and Rishi Sharma
Abstract要約: フェデレートラーニング(FL)は、一連のクライアントデバイスが、生データを共有せずに協調的にモデルをトレーニングすることを可能にする。推測学習アルゴリズムであるGeLを提案する。資源制約ネットワークにおいて,GeLは経験的収束を最大40%向上させることができることを示す。
参考スコア（独自算出の注目度）: 1.7010199949406575
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Federated learning (FL) enables a set of client devices to collaboratively train a model without sharing raw data. This process, though, operates under the constrained computation and communication resources of edge devices. These constraints combined with systems heterogeneity force some participating clients to perform fewer local updates than expected by the server, thus slowing down convergence. Exhaustive tuning of hyperparameters in FL, furthermore, can be resource-intensive, without which the convergence is adversely affected. In this work, we propose GeL, the guess and learn algorithm. GeL enables constrained edge devices to perform additional learning through guessed updates on top of gradient-based steps. These guesses are gradientless, i.e., participating clients leverage them for free. Our generic guessing algorithm (i) can be flexibly combined with several state-of-the-art algorithms including FedProx, FedNova or FedYogi; and (ii) achieves significantly improved performance when the learning rates are not best tuned. We conduct extensive experiments and show that GeL can boost empirical convergence by up to 40% in resource-constrained networks while relieving the need for exhaustive learning rate tuning.
Abstract（参考訳）: フェデレートラーニング(FL)は、クライアントデバイスが生データを共有せずに協調的にモデルをトレーニングすることを可能にする。しかし、このプロセスはエッジデバイスの制約付き計算と通信リソースの下で実行される。これらの制約とシステムの不均一性が組み合わさって、一部のクライアントはサーバが期待するよりもローカル更新を少なくし、コンバージェンスを遅くする。さらに、FLにおけるハイパーパラメータの排他的チューニングは資源集約的であり、収束が悪影響を及ぼさない。本研究では,推測学習アルゴリズムであるGeLを提案する。 GeLは制約のあるエッジデバイスに対して,勾配ベースのステップ上での推測更新を通じて,さらなる学習を可能にする。これらの推測は無勾配で、参加するクライアントはそれらを無料で利用します。一般的な推測アルゴリズムは (i)feedprox、feednova、feedyogiなど、最先端のアルゴリズムを柔軟に組み合わせることができる。 (ii)学習率の調整が最善でない場合には,性能が著しく向上する。実験により,GeLが資源制約付きネットワークにおいて最大40%の収束を促進できることを示すとともに,学習速度調整の必要性を軽減できることを示す。

関連論文リスト

Split Federated Learning Over Heterogeneous Edge Devices: Algorithm and Optimization [7.013344179232109]
Split Learning(SL)は、リソース制約のあるデバイスが生データを共有せずにモデルをトレーニングできるようにする、有望なコラボレーティブ機械学習アプローチである。現在のSLアルゴリズムは、トレーニング効率の限界に直面し、長時間のレイテンシに悩まされている。本稿では、リソース制約のあるクライアントが、パーソナライズされたクライアントサイドモデルを並列にトレーニングできる、異種分散フェデレーションラーニングフレームワークを提案する。
論文参考訳（メタデータ） (2024-11-21T07:46:01Z)
FLARE: A New Federated Learning Framework with Adjustable Learning Rates over Resource-Constrained Wireless Networks [20.048146776405005]
ワイヤレス・フェデレート・ラーニング(WFL)は、データ分散、計算能力、チャネル条件などにおいて不均一性に悩まされている。本稿では,Federated Learning Adjusted lean ratE (FLR ratE)による新しいアイデアを提案する。 FLAREが一貫してベースラインを上回っている実験。
論文参考訳（メタデータ） (2024-04-23T07:48:17Z)
Communication Efficient ConFederated Learning: An Event-Triggered SAGA Approach [67.27031215756121]
Federated Learning(FL)は、さまざまなデータソース上のローカルデータを収集することなく、モデルトレーニングをターゲットとする機械学習パラダイムである。単一のサーバを使用するStandard FLは、限られた数のユーザしかサポートできないため、学習能力の低下につながる。本研究では,多数のユーザに対応するために,emphConfederated Learning(CFL)と呼ばれるマルチサーバFLフレームワークを検討する。
論文参考訳（メタデータ） (2024-02-28T03:27:10Z)
FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文参考訳（メタデータ） (2023-09-18T12:35:05Z)
Effectively Heterogeneous Federated Learning: A Pairing and Split Learning Based Approach [16.093068118849246]
本稿では,クライアントと異なる計算資源をペアリングする,新しい分割フェデレーション学習(SFL)フレームワークを提案する。グラフエッジ選択問題として,学習遅延の最適化を再構築し,グレディアルゴリズムを提案する。シミュレーションの結果,提案手法はFLトレーニング速度を大幅に向上し,高い性能を実現することができることがわかった。
論文参考訳（メタデータ） (2023-08-26T11:10:54Z)
Adaptive Federated Pruning in Hierarchical Wireless Networks [69.6417645730093]
Federated Learning(FL)は、サーバがプライベートデータセットにアクセスすることなく、複数のデバイスによって更新されたモデルを集約する、プライバシ保護の分散学習フレームワークである。本稿では,無線ネットワークにおけるHFLのモデルプルーニングを導入し,ニューラルネットワークの規模を小さくする。提案するHFLは,モデルプルーニングを伴わないHFLと比較して学習精度が良く,通信コストが約50%削減できることを示す。
論文参考訳（メタデータ） (2023-05-15T22:04:49Z)
Efficient Parallel Split Learning over Resource-constrained Wireless Edge Networks [44.37047471448793]
本稿では,エッジコンピューティングパラダイムと並列分割学習(PSL)の統合を提唱する。そこで本研究では,モデル学習を高速化するために,効率的な並列分割学習(EPSL)という革新的なPSLフレームワークを提案する。提案するEPSLフレームワークは,目標精度を達成するために必要なトレーニング遅延を著しく低減することを示す。
論文参考訳（メタデータ） (2023-03-26T16:09:48Z)
Federated Learning with Flexible Control [30.65854375019346]
フェデレートラーニング(FL)は、ユーザが収集したローカルデータから分散モデルトレーニングを可能にする。制約のあるリソースと潜在的に高いダイナミクスを持つ分散システムでは、例えばモバイルエッジネットワークでは、FLの効率が重要な問題である。フレキシブルに調整可能な複数のオプションを持つFLアルゴリズムであるFlexFLを提案する。
論文参考訳（メタデータ） (2022-12-16T14:21:29Z)
Predictive GAN-powered Multi-Objective Optimization for Hybrid Federated Split Learning [56.125720497163684]
無線ネットワークにおけるハイブリッド・フェデレーション・スプリット・ラーニング・フレームワークを提案する。ラベル共有のないモデル分割のための並列計算方式を設計し,提案方式が収束速度に与える影響を理論的に解析する。
論文参考訳（メタデータ） (2022-09-02T10:29:56Z)
Federated Dynamic Sparse Training: Computing Less, Communicating Less, Yet Learning Better [88.28293442298015]
Federated Learning (FL)は、クラウドからリソース制限されたエッジデバイスへの機械学習ワークロードの分散を可能にする。我々は、FedDST(Federated Dynamic Sparse Training)と呼ばれる新しいFLフレームワークを開発し、実装し、実験的に検証する。 FedDSTは、ターゲットのフルネットワークからスパースサブネットワークを抽出し、訓練する動的プロセスである。
論文参考訳（メタデータ） (2021-12-18T02:26:38Z)
CosSGD: Nonlinear Quantization for Communication-efficient Federated Learning [62.65937719264881]
フェデレーション学習は、これらのクライアントのローカルデータを中央サーバに転送することなく、クライアント間での学習を促進する。圧縮勾配降下のための非線形量子化を提案し、フェデレーションラーニングで容易に利用することができる。本システムは,訓練過程の収束と精度を維持しつつ,通信コストを最大3桁まで削減する。
論文参考訳（メタデータ） (2020-12-15T12:20:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。