論文の概要: FedSCAM (Federated Sharpness-Aware Minimization with Clustered Aggregation and Modulation): Scam-resistant SAM for Robust Federated Optimization in Heterogeneous Environments
- arxiv url: http://arxiv.org/abs/2601.00853v1
- Date: Mon, 29 Dec 2025 19:42:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-06 16:25:21.79022
- Title: FedSCAM (Federated Sharpness-Aware Minimization with Clustered Aggregation and Modulation): Scam-resistant SAM for Robust Federated Optimization in Heterogeneous Environments
- Title(参考訳): FedSCAM (Federated Sharpness-Aware Minimization with Clustered Aggregation and Modulation):不均一環境におけるロバストなフェデレーション最適化のためのカメラ耐性SAM
- Authors: Sameer Rahil, Zain Abdullah Ahmad, Talha Asif,
- Abstract要約: フェデレートラーニング(FL)は、データプライバシを保持しながら、分散エッジデバイス間で協調的なモデルトレーニングを可能にする。
クライアント間の統計的不均一性は、しばしば非IIDラベル分布として表されるが、収束と一般化に重大な課題を生じさせる。
クライアント固有の不均一性スコアに基づいてSAM摂動半径と集約重みを動的に調整する新しいアルゴリズムである textbfFedSCAM (Federated Sharpness-Aware Minimization with Clustered Aggregation and Modulation) を提案する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Federated Learning (FL) enables collaborative model training across decentralized edge devices while preserving data privacy. However, statistical heterogeneity among clients, often manifested as non-IID label distributions, poses significant challenges to convergence and generalization. While Sharpness-Aware Minimization (SAM) has been introduced to FL to seek flatter, more robust minima, existing approaches typically apply a uniform perturbation radius across all clients, ignoring client-specific heterogeneity. In this work, we propose \textbf{FedSCAM} (Federated Sharpness-Aware Minimization with Clustered Aggregation and Modulation), a novel algorithm that dynamically adjusts the SAM perturbation radius and aggregation weights based on client-specific heterogeneity scores. By calculating a heterogeneity metric for each client and modulating the perturbation radius inversely to this score, FedSCAM prevents clients with high variance from destabilizing the global model. Furthermore, we introduce a heterogeneity-aware weighted aggregation mechanism that prioritizes updates from clients that align with the global optimization direction. Extensive experiments on CIFAR-10 and Fashion-MNIST under various degrees of Dirichlet-based label skew demonstrate that FedSCAM achieves competitive performance among state-of-the-art baselines, including FedSAM, FedLESAM, etc. in terms of convergence speed and final test accuracy.
- Abstract(参考訳): フェデレートラーニング(FL)は、データプライバシを保持しながら、分散エッジデバイス間で協調的なモデルトレーニングを可能にする。
しかし、非IIDラベル分布としてしばしば表されるクライアント間の統計的不均一性は収束と一般化に重大な課題をもたらす。
Sharpness-Aware Minimization (SAM) がFLに導入され、より平坦でより堅牢なミニマを求める一方で、既存のアプローチでは、クライアント固有の不均一性を無視して、すべてのクライアントに対して均一な摂動半径を適用するのが一般的である。
本研究では、SAM摂動半径と集約重みをクライアント固有の不均一度スコアに基づいて動的に調整する新しいアルゴリズムであるtextbf{FedSCAM(Federated Sharpness-Aware Minimization with Clustered Aggregation and Modulation)を提案する。
各クライアントの不均一度メトリックを計算し、このスコアに逆向きに摂動半径を変調することにより、FedSCAMはグローバルモデルが不安定になるのを防ぐ。
さらに,グローバルな最適化方向に沿ったクライアントからの更新を優先するヘテロジニティ対応重み付けアグリゲーション機構を導入する。
CIFAR-10およびFashion-MNISTの各種ディリクレ系ラベルスキューによる広範囲な実験により,FedSAM,FedLESAMなどの最先端ベースライン間のコンバージェンス速度と最終試験精度において,FedSCAMが競争性能を発揮することを示した。
関連論文リスト
- FLARE: Adaptive Multi-Dimensional Reputation for Robust Client Reliability in Federated Learning [0.6524460254566904]
フェデレートラーニング(FL)は、データのプライバシを維持しながら協調的なモデルトレーニングを可能にする。
ビザンツの攻撃、データ中毒、あるいは適応的な敵行動を通じてモデルの完全性を侵害する悪意のあるクライアントには、依然として脆弱である。
FLAREは,クライアントの信頼性評価を二分決定から連続的多次元信頼評価に変換するアダプティブな評価ベースフレームワークである。
論文 参考訳(メタデータ) (2025-11-18T17:57:40Z) - CO-PFL: Contribution-Oriented Personalized Federated Learning for Heterogeneous Networks [51.43780477302533]
コントリビューション指向型PFL(CO-PFL)は,グローバルアグリゲーションに対する各クライアントのコントリビューションを動的に推定するアルゴリズムである。
CO-PFLは、パーソナライズ精度、堅牢性、スケーラビリティ、収束安定性において、最先端の手法を一貫して超越している。
論文 参考訳(メタデータ) (2025-10-23T05:10:06Z) - Variational Gaussian Mixture Manifold Models for Client-Specific Federated Personalization [0.0]
VGM$2$は、クライアント固有のパラメトリックUMAP埋め込みを学習する幾何学中心のPFLフレームワークである。
各クライアントは、マーカーの重み、手段、およびばらつきに対してディリクレ-ノルマル-逆-ガンマの後部を保持する。
VGM$2$は、強いベースラインに比べて、競争力または優れたテストF1スコアを達成する。
論文 参考訳(メタデータ) (2025-09-04T01:28:02Z) - Hybrid-Regularized Magnitude Pruning for Robust Federated Learning under Covariate Shift [2.298932494750101]
クライアント側トレーニング分布の不整合がフェデレート学習モデルの性能を著しく低下させることを示す。
本稿では,ニューラルネットワークの疎結合性,冗長性,堅牢性を改善するために,フラニングとクライアントトレーニングの正規化を組み合わせた新しいFLフレームワークを提案する。
論文 参考訳(メタデータ) (2024-12-19T16:22:37Z) - Locally Estimated Global Perturbations are Better than Local Perturbations for Federated Sharpness-aware Minimization [81.32266996009575]
フェデレートラーニング(FL)では、クライアント間の複数ステップの更新とデータの均一性が、よりシャープなミニマによるロスランドスケープにつながることが多い。
クライアント側におけるグローバルな摂動方向を局所的に推定する新しいアルゴリズムであるFedLESAMを提案する。
論文 参考訳(メタデータ) (2024-05-29T08:46:21Z) - Asynchronous Federated Stochastic Optimization for Heterogeneous Objectives Under Arbitrary Delays [1.9766522384767224]
underlineAsynchunderlineRonous underlineExact underlineAveraging (textscAREA)
textscAREAは勾配推定よりもモデル残差を通信し、勾配反転への露出を減らす。
最初は、最低または最大ではなく、平均的なクライアント更新頻度でスケールするレートを取得しました。
論文 参考訳(メタデータ) (2024-05-16T14:22:49Z) - Dynamic Regularized Sharpness Aware Minimization in Federated Learning: Approaching Global Consistency and Smooth Landscape [59.841889495864386]
フェデレートラーニング(FL)では、グローバルサーバの協調の下で、ローカルクライアントのクラスタがチェアリングされる。
クライアントは自身のオプティマに過度に適合する傾向にあり、グローバルな目標から非常に逸脱する。
tt Family FedSMOOは、グローバルな目的に対する局所的な最適性を保証するために動的正規化器を採用する。
理論解析により, tt Family FedSMOO は, 低境界一般化による高速$mathcalO (1/T)$収束率を達成することが示された。
論文 参考訳(メタデータ) (2023-05-19T10:47:44Z) - Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。
FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。
PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
論文 参考訳(メタデータ) (2023-05-01T20:04:46Z) - Beyond ADMM: A Unified Client-variance-reduced Adaptive Federated
Learning Framework [82.36466358313025]
我々はFedVRAと呼ばれる原始二重FLアルゴリズムを提案し、このアルゴリズムはグローバルモデルの分散還元レベルとバイアスを適応的に制御することができる。
半教師付き画像分類タスクに基づく実験は,既存の手法よりもFedVRAの方が優れていることを示す。
論文 参考訳(メタデータ) (2022-12-03T03:27:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。