論文の概要: FedShuffle: Recipes for Better Use of Local Work in Federated Learning
- arxiv url: http://arxiv.org/abs/2204.13169v1
- Date: Wed, 27 Apr 2022 20:02:34 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-29 13:16:53.014464
- Title: FedShuffle: Recipes for Better Use of Local Work in Federated Learning
- Title（参考訳）: fedshuffle: フェデレーション学習におけるローカルワークのより良い利用のためのレシピ
- Authors: Samuel Horv\'ath and Maziar Sanjabi and Lin Xiao and Peter Richt\'arik
and Michael Rabbat
- Abstract要約: 我々は、FedShuffleという一般的なレシピを提案し、Federated Learning(FL)のローカル更新をよりよく活用する。
われわれのFedShuffleレシピは, 1) データの局所シャッフル, 2) 局所学習率の調整, 3) 重み付け, 4) 運動量差の低減の4つの単純な成分からなる。
- 参考スコア（独自算出の注目度）: 11.323247346253453
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The practice of applying several local updates before aggregation across
clients has been empirically shown to be a successful approach to overcoming
the communication bottleneck in Federated Learning (FL). In this work, we
propose a general recipe, FedShuffle, that better utilizes the local updates in
FL, especially in the heterogeneous regime. Unlike many prior works, FedShuffle
does not assume any uniformity in the number of updates per device. Our
FedShuffle recipe comprises four simple-yet-powerful ingredients: 1) local
shuffling of the data, 2) adjustment of the local learning rates, 3) update
weighting, and 4) momentum variance reduction (Cutkosky and Orabona, 2019). We
present a comprehensive theoretical analysis of FedShuffle and show that both
theoretically and empirically, our approach does not suffer from the objective
function mismatch that is present in FL methods which assume homogeneous
updates in heterogeneous FL setups, e.g., FedAvg (McMahan et al., 2017). In
addition, by combining the ingredients above, FedShuffle improves upon FedNova
(Wang et al., 2020), which was previously proposed to solve this mismatch. We
also show that FedShuffle with momentum variance reduction can improve upon
non-local methods under a Hessian similarity assumption. Finally, through
experiments on synthetic and real-world datasets, we illustrate how each of the
four ingredients used in FedShuffle helps improve the use of local updates in
FL.
- Abstract（参考訳）: クライアント間のアグリゲーションの前にいくつかのローカルアップデートを適用するというプラクティスは、連合学習(fl)におけるコミュニケーションボトルネックを克服するアプローチとして成功したことが実証的に示されている。
本研究では,特にヘテロジニアス・レジームにおいて,flの局所的な更新をよりよく利用する一般的なレシピであるfeedshuffleを提案する。
多くの先行作品とは異なり、feedshuffleはデバイス毎のアップデート数の均一性を前提としない。
われわれのFedShuffleレシピは4つのシンプルで強靭な材料から成り立っている。
1)データの局所的なシャッフル
2)地域学習率の調整
3)重み付けの更新、及び
4) 運動量分散の低減(Cutkosky and Orabona, 2019)。
本研究では,フェドシャッフルの包括的理論解析を行い,理論上,実証的に両手法が,不均質な fl 構成(例えば fedavg (mcmahan et al., 2017) において均質な更新を仮定する fl 法に存在する客観的関数ミスマッチに苦しむことはないことを示した。
さらに、上記の材料を組み合わせることで、FedShuffleは以前このミスマッチを解決するために提案されていたFedNova(Wang et al., 2020)を改善している。
また,モーメント分散の低減を伴うFedShuffleは,ヘッセン類似性仮定の下で非局所的手法により改善可能であることを示す。
最後に、合成および実世界のデータセットに関する実験を通じて、FedShuffleで使用される4つの成分のそれぞれがFLでのローカルアップデートの使用を改善する方法について説明する。
関連論文リスト
- Can We Theoretically Quantify the Impacts of Local Updates on the Generalization Performance of Federated Learning? [50.03434441234569]
フェデレートラーニング(FL)は、直接データ共有を必要とせず、さまざまなサイトで機械学習モデルをトレーニングする効果により、大きな人気を集めている。
局所的な更新を伴うFLは通信効率のよい分散学習フレームワークであることが様々なアルゴリズムによって示されているが、局所的な更新によるFLの一般化性能は比較的低い。
論文 参考訳（メタデータ） (2024-09-05T19:00:18Z) - FedNAR: Federated Optimization with Normalized Annealing Regularization [54.42032094044368]
ウェイト崩壊の選択を探索し、ウェイト崩壊値が既存のFLアルゴリズムの収束に有意な影響を及ぼすことを確かめる。
我々は,既存のFLアルゴリズムにシームレスに統合可能なプラグインであるFederated Optimization with Normalized Annealing Regularization (FedNAR)を開発した。
論文 参考訳（メタデータ） (2023-10-04T21:11:40Z) - FedWon: Triumphing Multi-domain Federated Learning Without Normalization [50.49210227068574]
フェデレートラーニング(FL)は、分散クライアントでの協調的なインサイトトレーニングによって、データのプライバシを高める。
しかし、フェデレーテッド・ラーニング(FL)は、非独立で同一に分散された(非i.d)データのために困難に直面する。
本稿では,FLにおける多領域問題に対処するため,FedWon(Federated Learning Without normalizations)と呼ばれる新しい手法を提案する。
論文 参考訳（メタデータ） (2023-06-09T13:18:50Z) - FedSpeed: Larger Local Interval, Less Communication Round, and Higher
Generalization Accuracy [84.45004766136663]
フェデレートラーニング(Federated Learning)は、分散機械学習フレームワークである。
これは、局所的不整合最適と局所的過度な適合による頑丈なクライアントドリフトによってもたらされる非消滅バイアスに悩まされる。
本稿では,これらの問題による負の影響を軽減するために,新しい実用的手法であるFedSpeedを提案する。
論文 参考訳（メタデータ） (2023-02-21T03:55:29Z) - Local Learning Matters: Rethinking Data Heterogeneity in Federated
Learning [61.488646649045215]
フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
論文 参考訳（メタデータ） (2021-11-28T19:03:39Z) - Achieving Statistical Optimality of Federated Learning: Beyond
Stationary Points [19.891597817559038]
Federated Learning(FL)は、プライバシ保護とクラウドでの計算負荷の低減に大きな可能性を持つ、有望なフレームワークである。
最近の研究は、(1)その固定点が元の最適化問題の定常点に対応していないこと、(2)見いだされた共通モデルが局所的にうまく一般化できないこと、の2つの方法に対する懸念を提起している。
一般的なカーネル回帰設定では、FedAvgとFedProxの両方が極小最大誤差率に収束することを示す。
論文 参考訳（メタデータ） (2021-06-29T09:59:43Z) - Federated Composite Optimization [28.11253930828807]
Federated Learning(FL)は、デバイス上での学習を協調的にプライベートにスケールする分散学習パラダイムである。
FedAvgのような標準FLアルゴリズムは、主にスムーズな制約のない設定に向けられている。
本稿では,新しいサーバの二重平均化手法を用いることで,プライマリ・デュアル平均化の呪いを回避できる新しいプライマリ・デュアル平均化アルゴリズムであるフェデレート・デュアル平均化(FedDual Avg)を提案する。
論文 参考訳（メタデータ） (2020-11-17T06:54:06Z) - Over-the-Air Federated Learning from Heterogeneous Data [107.05618009955094]
フェデレートラーニング(Federated Learning、FL)は、集中型モデルの分散ラーニングのためのフレームワークである。
我々は,共通局所勾配勾配勾配(SGD)FLアルゴリズムを強化するコンバージェント OTA FL (COTAF) アルゴリズムを開発した。
我々は,COTAFにより誘導されるプリコーディングが,OTA FLを用いて訓練されたモデルの収束率と精度を顕著に向上させることを示す。
論文 参考訳（メタデータ） (2020-09-27T08:28:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。