論文の概要: Addressing Data Heterogeneity in Federated Learning with Adaptive Normalization-Free Feature Recalibration
- arxiv url: http://arxiv.org/abs/2410.02006v1
- Date: Wed, 02 Oct 2024 20:16:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-04 17:56:03.215205
- Title: Addressing Data Heterogeneity in Federated Learning with Adaptive Normalization-Free Feature Recalibration
- Title(参考訳): 適応正規化自由特徴校正によるフェデレーション学習におけるデータ不均一性への対処
- Authors: Vasilis Siomos, Sergio Naval-Marimont, Jonathan Passerat-Palmbach, Giacomo Tarroni,
- Abstract要約: フェデレートラーニング(Federated Learning)は、ステークホルダーのデータ所有を保護し、パフォーマンスと一般化を改善した分散コラボレーティブトレーニングパラダイムである。
本稿では、重み付け標準化とチャネルアテンションを組み合わせたアーキテクチャレベルの手法である、適応正規化自由特徴校正(ANFR)を提案する。
- 参考スコア(独自算出の注目度): 1.33512912917221
- License:
- Abstract: Federated learning is a decentralized collaborative training paradigm that preserves stakeholders' data ownership while improving performance and generalization. However, statistical heterogeneity among client datasets poses a fundamental challenge by degrading system performance. To address this issue, we propose Adaptive Normalization-free Feature Recalibration (ANFR), an architecture-level approach that combines weight standardization and channel attention. Weight standardization normalizes the weights of layers instead of activations. This is less susceptible to mismatched client statistics and inconsistent averaging, thereby more robust under heterogeneity. Channel attention produces learnable scaling factors for feature maps, suppressing those that are inconsistent between clients due to heterogeneity. We demonstrate that combining these techniques boosts model performance beyond their individual contributions, by enhancing class selectivity and optimizing channel attention weight distribution. ANFR operates independently of the aggregation method and is effective in both global and personalized federated learning settings, with minimal computational overhead. Furthermore, when training with differential privacy, ANFR achieves an appealing balance between privacy and utility, enabling strong privacy guarantees without sacrificing performance. By integrating weight standardization and channel attention in the backbone model, ANFR offers a novel and versatile approach to the challenge of statistical heterogeneity. We demonstrate through extensive experiments that ANFR consistently outperforms established baselines across various aggregation methods, datasets, and heterogeneity conditions.
- Abstract(参考訳): フェデレートラーニング(Federated Learning)は、ステークホルダーのデータ所有を保護し、パフォーマンスと一般化を改善した分散コラボレーティブトレーニングパラダイムである。
しかし、クライアントデータセット間の統計的不均一性は、システム性能を劣化させることによる根本的な課題である。
この問題に対処するために、重み付け標準化とチャネルアテンションを組み合わせたアーキテクチャレベルのアプローチである適応正規化自由特徴校正(ANFR)を提案する。
重みの標準化は、活性化ではなくレイヤーの重みを正規化する。
これは、ミスマッチしたクライアント統計と一貫性のない平均化の影響を受けにくく、従って不均一性の下ではより堅牢である。
チャネルアテンションは特徴マップの学習可能なスケーリング要素を生成し、不均一性によってクライアント間で一貫性のないものを抑制する。
これらの手法を組み合わせることで、クラス選択性を高め、チャネル注意重み分布を最適化することにより、個々のコントリビューションを超えるモデル性能が向上することを示す。
ANFRはアグリゲーション法とは独立して動作し、計算オーバーヘッドを最小限に抑えながら、グローバルおよびパーソナライズされた学習設定の両方に有効である。
さらに、差分プライバシーでトレーニングする場合、ANFRはプライバシとユーティリティの間の魅力的なバランスを達成し、パフォーマンスを犠牲にすることなく強力なプライバシ保証を可能にする。
バックボーンモデルにウェイト標準化とチャネルアテンションを統合することにより、ANFRは統計的不均一性の挑戦に対して、新しく多用途なアプローチを提供する。
我々は、ANFRが様々なアグリゲーション手法、データセット、不均一性条件で確立されたベースラインを一貫して上回っているという広範な実験を通して実証する。
関連論文リスト
- An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。
従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。
我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
論文 参考訳(メタデータ) (2024-04-29T05:55:23Z) - FLASH: Federated Learning Across Simultaneous Heterogeneities [54.80435317208111]
FLASH (Federated Learning Across Simultaneous Heterogeneities) は軽量かつ柔軟なクライアント選択アルゴリズムである。
ヘテロジニティの幅広い情報源の下で、最先端のFLフレームワークよりも優れています。
最先端のベースラインよりも大幅に、一貫性のある改善を実現している。
論文 参考訳(メタデータ) (2024-02-13T20:04:39Z) - Contrastive encoder pre-training-based clustered federated learning for
heterogeneous data [17.580390632874046]
フェデレートラーニング(FL)は、分散クライアントがデータのプライバシを保持しながら、グローバルモデルを協調的にトレーニングすることを可能にする。
本稿では,モデル収束とFLシステム全体の性能を改善するために,CP-CFL(Contrative Pre-training-based Clustered Federated Learning)を提案する。
論文 参考訳(メタデータ) (2023-11-28T05:44:26Z) - FedFN: Feature Normalization for Alleviating Data Heterogeneity Problem
in Federated Learning [29.626725039794383]
簡単な学習方法であるFederated Averaging with Feature Normalization Update (FedFN)を紹介する。
事前訓練されたResNet18に適用しても, 広範囲な実験によりFedFNの優れた性能を示す。
論文 参考訳(メタデータ) (2023-11-22T09:37:33Z) - Mitigating Group Bias in Federated Learning for Heterogeneous Devices [1.181206257787103]
フェデレートラーニング(Federated Learning)は、分散エッジアプリケーションにおけるプライバシ保護モデルトレーニングアプローチとして登場している。
本研究は,プライバシを維持しながら,資源利用のオーバーヘッドを伴わずにグループバイアスを最小限に抑えるグループフェアFLフレームワークを提案する。
論文 参考訳(メタデータ) (2023-09-13T16:53:48Z) - Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。
本稿では,FedInsという新しいFLアルゴリズムを提案する。
我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文 参考訳(メタデータ) (2023-08-11T09:58:47Z) - Consistency Regularization for Generalizable Source-free Domain
Adaptation [62.654883736925456]
ソースフリードメイン適応(source-free domain adapt, SFDA)は、ソースデータセットにアクセスすることなく、十分にトレーニングされたソースモデルを未学習のターゲットドメインに適応することを目的としている。
既存のSFDAメソッドは、ターゲットのトレーニングセット上で適用されたモデルを評価し、目に見えないが同一の分散テストセットからデータを無視する。
より一般化可能なSFDA法を開発するための整合正則化フレームワークを提案する。
論文 参考訳(メタデータ) (2023-08-03T07:45:53Z) - Reinforcement Federated Learning Method Based on Adaptive OPTICS
Clustering [19.73560248813166]
本稿では,フェデレート学習のための適応型OPTICSクラスタリングアルゴリズムを提案する。
クラスタリング環境をMarkov決定プロセスとして認識することで、OPTICSクラスタの最良のパラメータを見つけることがゴールです。
本手法の信頼性と実用性は, 実験データから検証され, 有効性と優越性が確認された。
論文 参考訳(メタデータ) (2023-06-22T13:11:19Z) - Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。
FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。
PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
論文 参考訳(メタデータ) (2023-05-01T20:04:46Z) - Fed-CBS: A Heterogeneity-Aware Client Sampling Mechanism for Federated
Learning via Class-Imbalance Reduction [76.26710990597498]
本研究では,ランダムに選択したクライアントからのグループデータのクラス不均衡が,性能の大幅な低下につながることを示す。
我々のキーとなる観測に基づいて、我々は効率的なクライアントサンプリング機構、すなわちフェデレートクラスバランスサンプリング(Fed-CBS)を設計する。
特に、クラス不均衡の尺度を提案し、その後、同型暗号化を用いてプライバシー保護方式でこの尺度を導出する。
論文 参考訳(メタデータ) (2022-09-30T05:42:56Z) - Gradient Masked Averaging for Federated Learning [24.687254139644736]
フェデレートラーニングは、統一グローバルモデルの学習を協調するために、異種データを持つ多数のクライアントを可能にする。
標準FLアルゴリズムは、サーバのグローバルモデルを近似するために、モデルパラメータや勾配の更新を平均化する。
本稿では,クライアント更新の標準平均化の代替として,FLの勾配マスク平均化手法を提案する。
論文 参考訳(メタデータ) (2022-01-28T08:42:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。