論文の概要: Generalized Federated Learning via Sharpness Aware Minimization

• arxiv url: http://arxiv.org/abs/2206.02618v1
• Date: Mon, 6 Jun 2022 13:54:41 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-07 16:59:19.247757
• Title: Generalized Federated Learning via Sharpness Aware Minimization
• Title（参考訳）: シャープネス認識による一般化フェデレーション学習
• Authors: Zhe Qu, Xingyu Li, Rui Duan, Yao Liu, Bo Tang, and Zhuo Lu
• Abstract要約: シャープネス・アウェア・ミニミゼーション(SAM)の局所性に基づく汎用的で効果的なアルゴリズムである textttFedSAM を提案し,局所的およびグローバルなモデルをブリッジする運動量FLアルゴリズムを開発した。 実験により,提案アルゴリズムは既存のFL研究を著しく上回り,学習偏差を著しく低減した。
• 参考スコア（独自算出の注目度）: 22.294290071999736
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated Learning (FL) is a promising framework for performing privacy-preserving, distributed learning with a set of clients. However, the data distribution among clients often exhibits non-IID, i.e., distribution shift, which makes efficient optimization difficult. To tackle this problem, many FL algorithms focus on mitigating the effects of data heterogeneity across clients by increasing the performance of the global model. However, almost all algorithms leverage Empirical Risk Minimization (ERM) to be the local optimizer, which is easy to make the global model fall into a sharp valley and increase a large deviation of parts of local clients. Therefore, in this paper, we revisit the solutions to the distribution shift problem in FL with a focus on local learning generality. To this end, we propose a general, effective algorithm, \texttt{FedSAM}, based on Sharpness Aware Minimization (SAM) local optimizer, and develop a momentum FL algorithm to bridge local and global models, \texttt{MoFedSAM}. Theoretically, we show the convergence analysis of these two algorithms and demonstrate the generalization bound of \texttt{FedSAM}. Empirically, our proposed algorithms substantially outperform existing FL studies and significantly decrease the learning deviation.
• Abstract（参考訳）: federated learning(fl)は、一連のクライアントでプライバシ保存、分散学習を実行するための有望なフレームワークである。 しかし、クライアント間のデータ分散はしばしば非IID、すなわち分散シフトを示し、効率的な最適化が困難になる。 この問題に対処するため、多くのFLアルゴリズムは、グローバルモデルの性能を高めることにより、クライアント間のデータ不均一性の影響を軽減することに重点を置いている。 しかし、ほとんど全てのアルゴリズムは経験的リスク最小化(ERM)を局所最適化に利用しており、グローバルモデルを急激な谷に陥れ、ローカルクライアントの大規模な偏差を増大させることが容易である。 そこで本稿では,FLにおける分布シフト問題の解法について,局所学習の一般性に着目して再検討する。 そこで本研究では,シャープネス認識最小化(SAM)ローカルオプティマイザに基づく,汎用的で効果的なアルゴリズムである \texttt{FedSAM} を提案し,局所およびグローバルモデルである \texttt{MoFedSAM} をブリッジする運動量FLアルゴリズムを開発した。 理論的には、これら2つのアルゴリズムの収束解析を示し、 \texttt{fedsam} の一般化境界を示す。 実験により,提案アルゴリズムは既存のFL研究を著しく上回り,学習偏差を著しく低減した。

関連論文リスト

• Understanding Generalization of Federated Learning: the Trade-off between Model Stability and Optimization [22.577751005038543]
  Federated Learning(FL)は、複数のデバイスにまたがるニューラルネットワークをトレーニングする分散学習アプローチである。 FLはデータの不均一性のためにしばしば課題に直面し、クライアント間の一貫性のないローカルオプティマに繋がる。 本稿では,フェデレート最適化における第1次一般化ダイナミクス解析フレームワークを紹介する。
  論文  参考訳（メタデータ） (2024-11-25T11:43:22Z)
• Locally Estimated Global Perturbations are Better than Local Perturbations for Federated Sharpness-aware Minimization [81.32266996009575]
  フェデレートラーニング(FL)では、クライアント間の複数ステップの更新とデータの均一性が、よりシャープなミニマによるロスランドスケープにつながることが多い。 クライアント側におけるグローバルな摂動方向を局所的に推定する新しいアルゴリズムであるFedLESAMを提案する。
  論文  参考訳（メタデータ） (2024-05-29T08:46:21Z)
• Rethinking Client Drift in Federated Learning: A Logit Perspective [125.35844582366441]
  フェデレートラーニング(FL)は、複数のクライアントが分散した方法で協調的に学習し、プライバシ保護を可能にする。 その結果,局所モデルとグローバルモデルとのロジット差は,モデルが継続的に更新されるにつれて増大することがわかった。 我々はFedCSDと呼ばれる新しいアルゴリズムを提案する。FedCSDは、ローカルモデルとグローバルモデルを調整するためのフェデレーションフレームワークにおけるクラスプロトタイプの類似度蒸留である。
  論文  参考訳（メタデータ） (2023-08-20T04:41:01Z)
• Learner Referral for Cost-Effective Federated Learning Over Hierarchical IoT Networks [21.76836812021954]
  本稿では,連合選択(LRef-FedCS),通信資源,局所モデル精度(LMAO)手法を支援する。 提案したLRef-FedCSアプローチは,高いグローバル精度とコスト削減のバランスをとることができる。
  論文  参考訳（メタデータ） (2023-07-19T13:33:43Z)
• Understanding How Consistency Works in Federated Learning via Stage-wise Relaxed Initialization [84.42306265220274]
  フェデレートラーニング(Federated Learning, FL)は、大規模なローカルクライアントを協調してグローバルモデルをトレーニングする分散パラダイムである。 従来の研究は、FLがローカルクライアント間の矛盾した最適性によって引き起こされるクライアント・ドリフトの問題に悩まされていることを暗黙的に研究してきた。 FLにおけるクライアントドリフトの負の影響を緩和し,その物質を探索するために,我々はまず,効率的なFLアルゴリズム textitFedInit を設計する。
  論文  参考訳（メタデータ） (2023-06-09T06:55:15Z)
• Dynamic Regularized Sharpness Aware Minimization in Federated Learning: Approaching Global Consistency and Smooth Landscape [59.841889495864386]
  フェデレートラーニング(FL)では、グローバルサーバの協調の下で、ローカルクライアントのクラスタがチェアリングされる。 クライアントは自身のオプティマに過度に適合する傾向にあり、グローバルな目標から非常に逸脱する。 tt Family FedSMOOは、グローバルな目的に対する局所的な最適性を保証するために動的正規化器を採用する。 理論解析により, tt Family FedSMOO は, 低境界一般化による高速$mathcalO (1/T)$収束率を達成することが示された。
  論文  参考訳（メタデータ） (2023-05-19T10:47:44Z)
• Beyond ADMM: A Unified Client-variance-reduced Adaptive Federated Learning Framework [82.36466358313025]
  我々はFedVRAと呼ばれる原始二重FLアルゴリズムを提案し、このアルゴリズムはグローバルモデルの分散還元レベルとバイアスを適応的に制御することができる。 半教師付き画像分類タスクに基づく実験は,既存の手法よりもFedVRAの方が優れていることを示す。
  論文  参考訳（メタデータ） (2022-12-03T03:27:51Z)
• Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
  フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
  論文  参考訳（メタデータ） (2021-11-28T19:03:39Z)
• Federated Multi-Task Learning under a Mixture of Distributions [10.00087964926414]
  Federated Learning(FL)は、機械学習モデルのデバイス上での協調トレーニングのためのフレームワークである。 FLにおける最初の取り組みは、クライアント間で平均的なパフォーマンスを持つ単一のグローバルモデルを学ぶことに焦点を当てたが、グローバルモデルは、与えられたクライアントに対して任意に悪いかもしれない。 我々は,各局所データ分布が未知の基底分布の混合であるというフレキシブルな仮定の下で,フェデレーションMTLについて検討した。
  論文  参考訳（メタデータ） (2021-08-23T15:47:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。