論文の概要: Locally Estimated Global Perturbations are Better than Local Perturbations for Federated Sharpness-aware Minimization

• arxiv url: http://arxiv.org/abs/2405.18890v1
• Date: Wed, 29 May 2024 08:46:21 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-30 17:59:30.301754
• Title: Locally Estimated Global Perturbations are Better than Local Perturbations for Federated Sharpness-aware Minimization
• Title（参考訳）: 局所的推定グローバル摂動はフェデレートシャープネス認識最小化のための局所摂動よりも優れている
• Authors: Ziqing Fan, Shengchao Hu, Jiangchao Yao, Gang Niu, Ya Zhang, Masashi Sugiyama, Yanfeng Wang,
• Abstract要約: フェデレートラーニング(FL)では、クライアント間の複数ステップの更新とデータの均一性が、よりシャープなミニマによるロスランドスケープにつながることが多い。 クライアント側におけるグローバルな摂動方向を局所的に推定する新しいアルゴリズムであるFedLESAMを提案する。
• 参考スコア（独自算出の注目度）: 81.32266996009575
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: In federated learning (FL), the multi-step update and data heterogeneity among clients often lead to a loss landscape with sharper minima, degenerating the performance of the resulted global model. Prevalent federated approaches incorporate sharpness-aware minimization (SAM) into local training to mitigate this problem. However, the local loss landscapes may not accurately reflect the flatness of global loss landscape in heterogeneous environments; as a result, minimizing local sharpness and calculating perturbations on client data might not align the efficacy of SAM in FL with centralized training. To overcome this challenge, we propose FedLESAM, a novel algorithm that locally estimates the direction of global perturbation on client side as the difference between global models received in the previous active and current rounds. Besides the improved quality, FedLESAM also speed up federated SAM-based approaches since it only performs once backpropagation in each iteration. Theoretically, we prove a slightly tighter bound than its original FedSAM by ensuring consistent perturbation. Empirically, we conduct comprehensive experiments on four federated benchmark datasets under three partition strategies to demonstrate the superior performance and efficiency of FedLESAM.
• Abstract（参考訳）: フェデレートラーニング(FL)では、クライアント間のマルチステップ更新とデータの異質性により、よりシャープなミニマでロスランドスケープが発生し、結果のグローバルモデルの性能が低下する。 一般的なフェデレーションアプローチは、シャープネス認識最小化(SAM)を局所的なトレーニングに組み込んでこの問題を軽減する。 しかし、局所的な損失景観は、異種環境におけるグローバルな損失景観の平坦さを正確に反映するものではなく、結果として、局所的なシャープネスを最小化し、クライアントデータに対する摂動を計算することは、FLにおけるSAMの有効性と集中的なトレーニングとを一致させることができない。 この課題を解決するために,FedLESAMを提案する。FedLESAMは,クライアント側におけるグローバルな摂動方向を,前回のアクティブラウンドと現在のラウンドのグローバルモデルの違いとして局所的に推定するアルゴリズムである。 改善された品質に加えて、FedLESAMはイテレーション毎に一度だけバックプロパゲーションを実行するため、フェデレートされたSAMベースのアプローチを高速化する。 理論的には、一貫した摂動を保証することによって、元のFedSAMよりもわずかに密接な境界を証明している。 実験的に,フェデレートされた4つのベンチマークデータセットを3つの分割戦略で包括的に実験し,FedLESAMの優れた性能と効率を実証した。

関連論文リスト

• Neighborhood and Global Perturbations Supported SAM in Federated Learning: From Local Tweaks To Global Awareness [29.679323144520037]
  フェデレートラーニング(FL)は、中央サーバのオーケストレーションの下で調整して、プライバシ保護モデルを構築することができる。 本稿では,最小限のアップリンク通信オーバヘッドを維持しつつ,一般化目標を考慮した新しいFLアルゴリズムであるFedTOGAを提案する。
  論文  参考訳（メタデータ） (2024-08-26T09:42:18Z)
• Tackling Data Heterogeneity in Federated Learning via Loss Decomposition [19.755512688738506]
  本研究は,世界的損失を局所的損失,分布シフト損失,集約損失の3つの項に分解することで,FLの学習がFLのパフォーマンスに与える影響を分析する。 本稿では,この3つの損失項を共同で削減するために,FedLDと呼ばれる大域的損失分解に基づく新しいFL法を提案する。 我々の戦略は、他のFLアルゴリズムと比較して網膜および胸部X線分類において、より良い、より堅牢な性能を達成する。
  論文  参考訳（メタデータ） (2024-08-22T11:18:11Z)
• Rethinking Client Drift in Federated Learning: A Logit Perspective [125.35844582366441]
  フェデレートラーニング(FL)は、複数のクライアントが分散した方法で協調的に学習し、プライバシ保護を可能にする。 その結果,局所モデルとグローバルモデルとのロジット差は,モデルが継続的に更新されるにつれて増大することがわかった。 我々はFedCSDと呼ばれる新しいアルゴリズムを提案する。FedCSDは、ローカルモデルとグローバルモデルを調整するためのフェデレーションフレームワークにおけるクラスプロトタイプの類似度蒸留である。
  論文  参考訳（メタデータ） (2023-08-20T04:41:01Z)
• Dynamic Regularized Sharpness Aware Minimization in Federated Learning: Approaching Global Consistency and Smooth Landscape [59.841889495864386]
  フェデレートラーニング(FL)では、グローバルサーバの協調の下で、ローカルクライアントのクラスタがチェアリングされる。 クライアントは自身のオプティマに過度に適合する傾向にあり、グローバルな目標から非常に逸脱する。 tt Family FedSMOOは、グローバルな目的に対する局所的な最適性を保証するために動的正規化器を採用する。 理論解析により, tt Family FedSMOO は, 低境界一般化による高速$mathcalO (1/T)$収束率を達成することが示された。
  論文  参考訳（メタデータ） (2023-05-19T10:47:44Z)
• FedSpeed: Larger Local Interval, Less Communication Round, and Higher Generalization Accuracy [84.45004766136663]
  フェデレートラーニング(Federated Learning)は、分散機械学習フレームワークである。 これは、局所的不整合最適と局所的過度な適合による頑丈なクライアントドリフトによってもたらされる非消滅バイアスに悩まされる。 本稿では,これらの問題による負の影響を軽減するために,新しい実用的手法であるFedSpeedを提案する。
  論文  参考訳（メタデータ） (2023-02-21T03:55:29Z)
• FedLAP-DP: Federated Learning by Sharing Differentially Private Loss Approximations [53.268801169075836]
  我々は,フェデレーション学習のための新しいプライバシ保護手法であるFedLAP-DPを提案する。 公式なプライバシー分析は、FedLAP-DPが典型的な勾配共有方式と同じプライバシーコストを発生させることを示している。 提案手法は, 通常の勾配共有法に比べて高速な収束速度を示す。
  論文  参考訳（メタデータ） (2023-02-02T12:56:46Z)
• FedMR: Fedreated Learning via Model Recombination [7.404225808071622]
  Federated Learning (FL)は、クライアント間でのグローバルモデルトレーニングを可能にする。 既存のFLメソッドは、Federated Averaging(FedAvg)ベースのアグリゲーションに依存しています。 本稿ではFedMR(Federating Model Recombination)という新しいFLパラダイムを提案する。
  論文  参考訳（メタデータ） (2022-08-16T11:30:19Z)
• Generalized Federated Learning via Sharpness Aware Minimization [22.294290071999736]
  シャープネス・アウェア・ミニミゼーション(SAM)の局所性に基づく汎用的で効果的なアルゴリズムである textttFedSAM を提案し,局所的およびグローバルなモデルをブリッジする運動量FLアルゴリズムを開発した。 実験により,提案アルゴリズムは既存のFL研究を著しく上回り,学習偏差を著しく低減した。
  論文  参考訳（メタデータ） (2022-06-06T13:54:41Z)
• Heterogeneous Federated Learning via Grouped Sequential-to-Parallel Training [60.892342868936865]
  フェデレートラーニング(Federated Learning, FL)は、プライバシ保護のためのコラボレーション機械学習パラダイムである。 本稿では,この課題に対処するため,データヘテロジニアス・ロバストFLアプローチであるFedGSPを提案する。 その結果,FedGSPは7つの最先端アプローチと比較して平均3.7%の精度向上を実現していることがわかった。
  論文  参考訳（メタデータ） (2022-01-31T03:15:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。