論文の概要: Beyond Local Sharpness: Communication-Efficient Global Sharpness-aware Minimization for Federated Learning

• arxiv url: http://arxiv.org/abs/2412.03752v1
• Date: Wed, 04 Dec 2024 22:46:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-06 14:41:16.563940
• Title: Beyond Local Sharpness: Communication-Efficient Global Sharpness-aware Minimization for Federated Learning
• Title（参考訳）: 局所シャープネスを超えて:フェデレートラーニングのためのコミュニケーション効率の良いグローバルシャープネス認識最小化
• Authors: Debora Caldarola, Pietro Cagnasso, Barbara Caputo, Marco Ciccone,
• Abstract要約: フェデレートラーニング(FL)は、プライバシ保護と協調的なモデルトレーニングを可能にする。 近年のアプローチでは、クライアント側シャープネス認識最小化(SAM)を用いて、フラットな最小化を促進する。 この研究は、サーバ上のグローバルシャープネスの最適化を優先する、新しいFLアプローチであるFedGloSSを導入している。
• 参考スコア（独自算出の注目度）: 23.733942517577134
• License:
• Abstract: Federated learning (FL) enables collaborative model training with privacy preservation. Data heterogeneity across edge devices (clients) can cause models to converge to sharp minima, negatively impacting generalization and robustness. Recent approaches use client-side sharpness-aware minimization (SAM) to encourage flatter minima, but the discrepancy between local and global loss landscapes often undermines their effectiveness, as optimizing for local sharpness does not ensure global flatness. This work introduces FedGloSS (Federated Global Server-side Sharpness), a novel FL approach that prioritizes the optimization of global sharpness on the server, using SAM. To reduce communication overhead, FedGloSS cleverly approximates sharpness using the previous global gradient, eliminating the need for additional client communication. Our extensive evaluations demonstrate that FedGloSS consistently reaches flatter minima and better performance compared to state-of-the-art FL methods across various federated vision benchmarks.
• Abstract（参考訳）: フェデレートラーニング(FL)は、プライバシ保護と協調的なモデルトレーニングを可能にする。 エッジデバイス(クライアント)間のデータの不均一性は、モデルをシャープなミニマに収束させ、一般化とロバスト性に悪影響を及ぼす可能性がある。 近年のアプローチでは、クライアント側シャープネス認識最小化(SAM)を用いて、フラットな最小化を促進するが、局所的なシャープネスの最適化がグローバルなフラットネスを保証しないため、局所的なロスランドスケープとグローバルなロスランドスケープの相違はしばしばその効果を損なう。 この研究は、SAMを用いてサーバ上のグローバルシャープネスの最適化を優先する新しいFLアプローチであるFedGloSS(Federated Global Server-side Sharpness)を導入している。 通信オーバーヘッドを低減するため、FedGloSSは前回のグローバル勾配を使ってシャープネスを巧みに近似し、追加のクライアント通信の必要性を排除した。 また,FedGloSSは,各種のフェデレーションビジョンベンチマークにおける最先端のFL法と比較して,より平坦な最小値と優れた性能が得られることを示した。

関連論文リスト

• Locally Estimated Global Perturbations are Better than Local Perturbations for Federated Sharpness-aware Minimization [81.32266996009575]
  フェデレートラーニング(FL)では、クライアント間の複数ステップの更新とデータの均一性が、よりシャープなミニマによるロスランドスケープにつながることが多い。 クライアント側におけるグローバルな摂動方向を局所的に推定する新しいアルゴリズムであるFedLESAMを提案する。
  論文  参考訳（メタデータ） (2024-05-29T08:46:21Z)
• Rethinking Client Drift in Federated Learning: A Logit Perspective [125.35844582366441]
  フェデレートラーニング(FL)は、複数のクライアントが分散した方法で協調的に学習し、プライバシ保護を可能にする。 その結果,局所モデルとグローバルモデルとのロジット差は,モデルが継続的に更新されるにつれて増大することがわかった。 我々はFedCSDと呼ばれる新しいアルゴリズムを提案する。FedCSDは、ローカルモデルとグローバルモデルを調整するためのフェデレーションフレームワークにおけるクラスプロトタイプの類似度蒸留である。
  論文  参考訳（メタデータ） (2023-08-20T04:41:01Z)
• Dynamic Regularized Sharpness Aware Minimization in Federated Learning: Approaching Global Consistency and Smooth Landscape [59.841889495864386]
  フェデレートラーニング(FL)では、グローバルサーバの協調の下で、ローカルクライアントのクラスタがチェアリングされる。 クライアントは自身のオプティマに過度に適合する傾向にあり、グローバルな目標から非常に逸脱する。 tt Family FedSMOOは、グローバルな目的に対する局所的な最適性を保証するために動的正規化器を採用する。 理論解析により, tt Family FedSMOO は, 低境界一般化による高速$mathcalO (1/T)$収束率を達成することが示された。
  論文  参考訳（メタデータ） (2023-05-19T10:47:44Z)
• FedLAP-DP: Federated Learning by Sharing Differentially Private Loss Approximations [53.268801169075836]
  我々は,フェデレーション学習のための新しいプライバシ保護手法であるFedLAP-DPを提案する。 公式なプライバシー分析は、FedLAP-DPが典型的な勾配共有方式と同じプライバシーコストを発生させることを示している。 提案手法は, 通常の勾配共有法に比べて高速な収束速度を示す。
  論文  参考訳（メタデータ） (2023-02-02T12:56:46Z)
• Generalized Federated Learning via Sharpness Aware Minimization [22.294290071999736]
  シャープネス・アウェア・ミニミゼーション(SAM)の局所性に基づく汎用的で効果的なアルゴリズムである textttFedSAM を提案し,局所的およびグローバルなモデルをブリッジする運動量FLアルゴリズムを開発した。 実験により,提案アルゴリズムは既存のFL研究を著しく上回り,学習偏差を著しく低減した。
  論文  参考訳（メタデータ） (2022-06-06T13:54:41Z)
• Sharpness-Aware Training for Free [163.1248341911413]
  シャープネスを意識した最小化(SAM)は、損失ランドスケープの幾何学を反映したシャープネス尺度の最小化が一般化誤差を著しく減少させることを示した。 シャープネス・アウェア・トレーニング・フリー(SAF)は、シャープランドスケープをベース上でほぼゼロの計算コストで軽減する。 SAFは、改善された能力で最小限の平らな収束を保証する。
  論文  参考訳（メタデータ） (2022-05-27T16:32:43Z)
• FedCos: A Scene-adaptive Federated Optimization Enhancement for Performance Improvement [11.687451505965655]
  我々は,コサイン類似性ペナルティを導入することにより,局所モデルの方向性の不整合を低減するFedCosを提案する。 我々は、FedCosがよく知られたベースラインより優れており、様々なFLシーンでそれらを強化できることを示す。 FedCosの助けを借りて、複数のFLメソッドは、同等の性能のモデルを得るために、以前よりもはるかに少ない通信ラウンドを必要とする。
  論文  参考訳（メタデータ） (2022-04-07T02:59:54Z)
• Sparse Federated Learning with Hierarchical Personalized Models [24.763028713043468]
  フェデレートラーニング(FL)は、ユーザのプライベートデータを収集することなく、プライバシセーフで信頼性の高い協調トレーニングを実現する。 階層型パーソナライズされたモデルを用いたスパースフェデレーション学習(sFedHP)という,モロー包絡に基づく階層型近位写像を用いたパーソナライズされたFLアルゴリズムを提案する。 また、連続的に微分可能な近似L1ノルムをスパース制約として使用して通信コストを低減させる。
  論文  参考訳（メタデータ） (2022-03-25T09:06:42Z)
• Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
  フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。 我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。 我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
  論文  参考訳（メタデータ） (2022-03-05T02:31:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。