論文の概要: Dynamic Regularized Sharpness Aware Minimization in Federated Learning: Approaching Global Consistency and Smooth Landscape
- arxiv url: http://arxiv.org/abs/2305.11584v2
- Date: Mon, 1 Apr 2024 04:21:28 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-04 13:41:51.169166
- Title: Dynamic Regularized Sharpness Aware Minimization in Federated Learning: Approaching Global Consistency and Smooth Landscape
- Title（参考訳）: フェデレーション学習における動的正規化シャープネスの最小化:グローバル一貫性と平滑な景観へのアプローチ
- Authors: Yan Sun, Li Shen, Shixiang Chen, Liang Ding, Dacheng Tao,
- Abstract要約: フェデレートラーニング(FL)では、グローバルサーバの協調の下で、ローカルクライアントのクラスタがチェアリングされる。
クライアントは自身のオプティマに過度に適合する傾向にあり、グローバルな目標から非常に逸脱する。
tt Family FedSMOOは、グローバルな目的に対する局所的な最適性を保証するために動的正規化器を採用する。
理論解析により, tt Family FedSMOO は, 低境界一般化による高速$mathcalO (1/T)$収束率を達成することが示された。
- 参考スコア（独自算出の注目度）: 59.841889495864386
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In federated learning (FL), a cluster of local clients are chaired under the coordination of the global server and cooperatively train one model with privacy protection. Due to the multiple local updates and the isolated non-iid dataset, clients are prone to overfit into their own optima, which extremely deviates from the global objective and significantly undermines the performance. Most previous works only focus on enhancing the consistency between the local and global objectives to alleviate this prejudicial client drifts from the perspective of the optimization view, whose performance would be prominently deteriorated on the high heterogeneity. In this work, we propose a novel and general algorithm {\ttfamily FedSMOO} by jointly considering the optimization and generalization targets to efficiently improve the performance in FL. Concretely, {\ttfamily FedSMOO} adopts a dynamic regularizer to guarantee the local optima towards the global objective, which is meanwhile revised by the global Sharpness Aware Minimization (SAM) optimizer to search for the consistent flat minima. Our theoretical analysis indicates that {\ttfamily FedSMOO} achieves fast $\mathcal{O}(1/T)$ convergence rate with low generalization bound. Extensive numerical studies are conducted on the real-world dataset to verify its peerless efficiency and excellent generality.
- Abstract（参考訳）: フェデレートラーニング(FL)では、ローカルクライアントのクラスタがグローバルサーバの調整の下で調整され、1つのモデルをプライバシ保護で協調的にトレーニングする。
複数のローカル更新と分離された非IDデータセットのため、クライアントは自身のオプティマに過度に適合する傾向にあり、グローバルな目標から著しく逸脱し、パフォーマンスを著しく損なう。
これまでのほとんどの研究は、この偏見的クライアントドリフトを最適化の観点から緩和するために、局所的な目的とグローバルな目的の整合性を高めることだけに重点を置いており、その性能は高い不均一性に対して顕著に悪化するであろう。
本研究では,FLの性能向上を目的とした最適化と一般化の目標を共同で検討し,新しい一般アルゴリズム(FedSMOO)を提案する。
具体的には、FedSMOO {\displaystyle {\tt Family FedSMOO} は、グローバルな目的に対して局所的な最適性を保証するために動的正規化器を採用し、一方、一貫したフラットなミニマを探すために、グローバルなシャープネス認識最小化(SAM)オプティマイザによって修正される。
我々の理論的解析は、FedSMOO} が低い一般化境界を持つ高速$\mathcal{O}(1/T)$収束率を達成することを示している。
実世界のデータセットを用いて、そのピアレス効率と優れた一般性を検証する。
関連論文リスト
- Neighborhood and Global Perturbations Supported SAM in Federated Learning: From Local Tweaks To Global Awareness [29.679323144520037]
フェデレートラーニング(FL)は、中央サーバのオーケストレーションの下で調整して、プライバシ保護モデルを構築することができる。
本稿では,最小限のアップリンク通信オーバヘッドを維持しつつ,一般化目標を考慮した新しいFLアルゴリズムであるFedTOGAを提案する。
論文 参考訳（メタデータ） (2024-08-26T09:42:18Z) - Locally Estimated Global Perturbations are Better than Local Perturbations for Federated Sharpness-aware Minimization [81.32266996009575]
フェデレートラーニング(FL)では、クライアント間の複数ステップの更新とデータの均一性が、よりシャープなミニマによるロスランドスケープにつながることが多い。
クライアント側におけるグローバルな摂動方向を局所的に推定する新しいアルゴリズムであるFedLESAMを提案する。
論文 参考訳（メタデータ） (2024-05-29T08:46:21Z) - Efficient Federated Learning via Local Adaptive Amended Optimizer with
Linear Speedup [90.26270347459915]
そこで我々は,グローバル・アダプティカル・アダプティカル・アダプティカル・アダプティカル・アダプティカル・アルゴリズムを提案する。
textitLADAは通信ラウンドを大幅に削減し、複数のベースラインよりも高い精度を実現する。
論文 参考訳（メタデータ） (2023-07-30T14:53:21Z) - G-TRACER: Expected Sharpness Optimization [1.2183405753834562]
G-TRACERは、平坦なミニマムを求めることによって一般化を促進し、一般化ベイズ目標の自然な漸進的な降下に基づく最適化への近似として音理論的基礎を持つ。
本手法は,非正規化対象の局所最小値近傍に収束し,多数のベンチマークコンピュータビジョンとNLPデータセット上での競合性能を示す。
論文 参考訳（メタデータ） (2023-06-24T09:28:49Z) - Federated Learning for Semantic Parsing: Task Formulation, Evaluation
Setup, New Algorithms [29.636944156801327]
複数のクライアントは、セマンティック解析データを共有せずに、1つのグローバルモデルを協調的にトレーニングする。
Lorarは、各ラウンド中のトレーニング損失の削減に基づいて、グローバルモデル更新に対する各クライアントのコントリビューションを調整する。
より小さなデータセットを持つクライアントは、より大きなパフォーマンス向上を享受する。
論文 参考訳（メタデータ） (2023-05-26T19:25:49Z) - Disentangled Federated Learning for Tackling Attributes Skew via
Invariant Aggregation and Diversity Transferring [104.19414150171472]
属性は、クライアント間の一貫した最適化方向から、現在の連邦学習(FL)フレームワークを歪めます。
本稿では,ドメイン固有属性とクロス不変属性を2つの補足枝に分離するために,非絡み付きフェデレーション学習(DFL)を提案する。
実験により、DFLはSOTA FL法と比較して高い性能、より良い解釈可能性、より高速な収束率でFLを促進することが確認された。
論文 参考訳（メタデータ） (2022-06-14T13:12:12Z) - Generalized Federated Learning via Sharpness Aware Minimization [22.294290071999736]
シャープネス・アウェア・ミニミゼーション(SAM)の局所性に基づく汎用的で効果的なアルゴリズムである textttFedSAM を提案し,局所的およびグローバルなモデルをブリッジする運動量FLアルゴリズムを開発した。
実験により,提案アルゴリズムは既存のFL研究を著しく上回り,学習偏差を著しく低減した。
論文 参考訳（メタデータ） (2022-06-06T13:54:41Z) - Fair and Consistent Federated Learning [48.19977689926562]
フェデレートラーニング(FL)は、分散データソースから学習する能力に対する関心が高まっている。
本稿では,異なるローカルクライアント間で性能整合性とアルゴリズムフェアネスを協調的に検討するFLフレームワークを提案する。
論文 参考訳（メタデータ） (2021-08-19T01:56:08Z) - Faster Non-Convex Federated Learning via Global and Local Momentum [57.52663209739171]
textttFedGLOMOは最初の(一階)FLtexttFedGLOMOアルゴリズムです。
クライアントとサーバ間の通信においても,我々のアルゴリズムは確実に最適である。
論文 参考訳（メタデータ） (2020-12-07T21:05:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。