論文の概要: Neighborhood and Global Perturbations Supported SAM in Federated Learning: From Local Tweaks To Global Awareness

• arxiv url: http://arxiv.org/abs/2408.14144v2
• Date: Thu, 29 Aug 2024 08:27:26 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-30 18:15:34.385614
• Title: Neighborhood and Global Perturbations Supported SAM in Federated Learning: From Local Tweaks To Global Awareness
• Title（参考訳）: フェデレーションラーニングにおけるSAMによる近隣・グローバル摂動支援--地域意識からグローバルアウェアネスまで
• Authors: Boyuan Li, Zihao Peng, Yafei Li, Mingliang Xu, Shengbo Chen, Baofeng Ji, Cong Shen,
• Abstract要約: フェデレートラーニング(FL)は、中央サーバのオーケストレーションの下で調整して、プライバシ保護モデルを構築することができる。 本稿では,最小限のアップリンク通信オーバヘッドを維持しつつ,一般化目標を考慮した新しいFLアルゴリズムであるFedTOGAを提案する。
• 参考スコア（独自算出の注目度）: 29.679323144520037
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated Learning (FL) can be coordinated under the orchestration of a central server to collaboratively build a privacy-preserving model without the need for data exchange. However, participant data heterogeneity leads to local optima divergence, subsequently affecting convergence outcomes. Recent research has focused on global sharpness-aware minimization (SAM) and dynamic regularization techniques to enhance consistency between global and local generalization and optimization objectives. Nonetheless, the estimation of global SAM introduces additional computational and memory overhead, while dynamic regularization suffers from bias in the local and global dual variables due to training isolation. In this paper, we propose a novel FL algorithm, FedTOGA, designed to consider optimization and generalization objectives while maintaining minimal uplink communication overhead. By linking local perturbations to global updates, global generalization consistency is improved. Additionally, global updates are used to correct local dynamic regularizers, reducing dual variables bias and enhancing optimization consistency. Global updates are passively received by clients, reducing overhead. We also propose neighborhood perturbation to approximate local perturbation, analyzing its strengths and limitations. Theoretical analysis shows FedTOGA achieves faster convergence $O(1/T)$ under non-convex functions. Empirical studies demonstrate that FedTOGA outperforms state-of-the-art algorithms, with a 1\% accuracy increase and 30\% faster convergence, achieving state-of-the-art.
• Abstract（参考訳）: フェデレートラーニング(FL)は、中央サーバのオーケストレーションの下でコーディネートすることで、データ交換を必要とせずに、プライバシ保護モデルを協調的に構築することができる。 しかし、参加者データの不均一性は局所的な最適分散をもたらし、その後収束結果に影響を及ぼす。 近年、グローバル・シャープネス・アウェアの最小化(SAM)と動的正規化技術に注目し、グローバル・ローカル・一般化と最適化の目的の整合性を高める。 それでも、グローバルSAMの推定には計算とメモリのオーバーヘッドが加わり、動的正規化は訓練分離による局所的および大域的双対変数のバイアスに悩まされる。 本稿では,最小限のアップリンク通信オーバヘッドを維持しつつ,最適化と一般化の目的を考慮した新しいFLアルゴリズムであるFedTOGAを提案する。 局所摂動をグローバルな更新にリンクすることで、グローバルな一般化一貫性が向上する。 さらに、グローバルアップデートは局所的動的正規化器の修正、二重変数バイアスの低減、最適化の整合性向上に使用されている。 グローバルアップデートは、クライアントから受動的に受信され、オーバーヘッドが削減される。 また、局所摂動を近似し、その強度と限界を解析するために、近隣摂動を提案する。 理論的解析は、FedTOGAが非凸関数の下でより高速な収束O(1/T)$を達成することを示している。 実証的な研究によると、FedTOGAは最先端のアルゴリズムより優れており、精度は1\%、収束速度は30\%向上し、最先端のアルゴリズムを達成している。

関連論文リスト

• Locally Estimated Global Perturbations are Better than Local Perturbations for Federated Sharpness-aware Minimization [81.32266996009575]
  フェデレートラーニング(FL)では、クライアント間の複数ステップの更新とデータの均一性が、よりシャープなミニマによるロスランドスケープにつながることが多い。 クライアント側におけるグローバルな摂動方向を局所的に推定する新しいアルゴリズムであるFedLESAMを提案する。
  論文  参考訳（メタデータ） (2024-05-29T08:46:21Z)
• Stragglers-Aware Low-Latency Synchronous Federated Learning via Layer-Wise Model Updates [71.81037644563217]
  同期フェデレーションラーニング(FL)は、協調エッジラーニングの一般的なパラダイムである。 一部のデバイスは計算資源が限られており、様々な可用性があるため、FLレイテンシはストラグラーに非常に敏感である。 本稿では,NNの最適化手法をバックプロパゲーションにより活用し,グローバルモデルを階層的に更新するストラグラー対応層対応学習(SALF)を提案する。
  論文  参考訳（メタデータ） (2024-03-27T09:14:36Z)
• Federated Learning with Manifold Regularization and Normalized Update Reaggregation [22.885899072143676]
  Federated Learning(FL)は、複数のクライアントが独自のデータセットを共有することなくグローバルモデルをトレーニングする、コラボレーティブな機械学習フレームワークである。 FLでは、クライアント間でのローカルデータによるモデルの不整合は、クライアント更新のほぼ直交性をもたらす。 我々は、新しい多様体モデル融合方式と、負の影響を緩和する新たなグローバルアップデートを採用することにより、FedMRURを提案する。
  論文  参考訳（メタデータ） (2023-11-10T08:14:27Z)
• Rethinking Client Drift in Federated Learning: A Logit Perspective [125.35844582366441]
  フェデレートラーニング(FL)は、複数のクライアントが分散した方法で協調的に学習し、プライバシ保護を可能にする。 その結果,局所モデルとグローバルモデルとのロジット差は,モデルが継続的に更新されるにつれて増大することがわかった。 我々はFedCSDと呼ばれる新しいアルゴリズムを提案する。FedCSDは、ローカルモデルとグローバルモデルを調整するためのフェデレーションフレームワークにおけるクラスプロトタイプの類似度蒸留である。
  論文  参考訳（メタデータ） (2023-08-20T04:41:01Z)
• Dynamic Regularized Sharpness Aware Minimization in Federated Learning: Approaching Global Consistency and Smooth Landscape [59.841889495864386]
  フェデレートラーニング(FL)では、グローバルサーバの協調の下で、ローカルクライアントのクラスタがチェアリングされる。 クライアントは自身のオプティマに過度に適合する傾向にあり、グローバルな目標から非常に逸脱する。 tt Family FedSMOOは、グローバルな目的に対する局所的な最適性を保証するために動的正規化器を採用する。 理論解析により, tt Family FedSMOO は, 低境界一般化による高速$mathcalO (1/T)$収束率を達成することが示された。
  論文  参考訳（メタデータ） (2023-05-19T10:47:44Z)
• FedSpeed: Larger Local Interval, Less Communication Round, and Higher Generalization Accuracy [84.45004766136663]
  フェデレートラーニング(Federated Learning)は、分散機械学習フレームワークである。 これは、局所的不整合最適と局所的過度な適合による頑丈なクライアントドリフトによってもたらされる非消滅バイアスに悩まされる。 本稿では,これらの問題による負の影響を軽減するために,新しい実用的手法であるFedSpeedを提案する。
  論文  参考訳（メタデータ） (2023-02-21T03:55:29Z)
• Disentangled Federated Learning for Tackling Attributes Skew via Invariant Aggregation and Diversity Transferring [104.19414150171472]
  属性は、クライアント間の一貫した最適化方向から、現在の連邦学習(FL)フレームワークを歪めます。 本稿では,ドメイン固有属性とクロス不変属性を2つの補足枝に分離するために,非絡み付きフェデレーション学習(DFL)を提案する。 実験により、DFLはSOTA FL法と比較して高い性能、より良い解釈可能性、より高速な収束率でFLを促進することが確認された。
  論文  参考訳（メタデータ） (2022-06-14T13:12:12Z)
• Generalized Federated Learning via Sharpness Aware Minimization [22.294290071999736]
  シャープネス・アウェア・ミニミゼーション(SAM)の局所性に基づく汎用的で効果的なアルゴリズムである textttFedSAM を提案し,局所的およびグローバルなモデルをブリッジする運動量FLアルゴリズムを開発した。 実験により,提案アルゴリズムは既存のFL研究を著しく上回り,学習偏差を著しく低減した。
  論文  参考訳（メタデータ） (2022-06-06T13:54:41Z)
• Revisiting Communication-Efficient Federated Learning with Balanced Global and Local Updates [14.851898446967672]
  本研究では,地域研修の数とグローバルアグリゲーションの数との最適なトレードオフを調査し,分析する。 提案手法は予測精度の点で性能が向上し,ベースライン方式よりもはるかに高速に収束する。
  論文  参考訳（メタデータ） (2022-05-03T13:05:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。