論文の概要: FedFA: Federated Learning with Feature Anchors to Align Feature and
Classifier for Heterogeneous Data
- arxiv url: http://arxiv.org/abs/2211.09299v1
- Date: Thu, 17 Nov 2022 02:27:44 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-18 16:57:33.818857
- Title: FedFA: Federated Learning with Feature Anchors to Align Feature and
Classifier for Heterogeneous Data
- Title(参考訳): FedFA: 特徴アンカーによるフェデレーション学習と異種データの分類
- Authors: Tailin Zhou, Jun Zhang, Danny Tsang
- Abstract要約: フェデレートされた学習により、複数のクライアントがデータを交換することなく、協調的にモデルをトレーニングできるため、データのプライバシが保護される。
局所訓練における一般的な解決策は、重量のばらつきや特徴の不整合を規則化するために、特定の補助的損失を設計することである。
本稿では,FedFA(Federated Learning with Feature Anchors)を提案する。
- 参考スコア(独自算出の注目度): 3.4812324411537867
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning allows multiple clients to collaboratively train a model
without exchanging their data, thus preserving data privacy. Unfortunately, it
suffers significant performance degradation under heterogeneous data at
clients. Common solutions in local training involve designing a specific
auxiliary loss to regularize weight divergence or feature inconsistency.
However, we discover that these approaches fall short of the expected
performance because they ignore the existence of a vicious cycle between
classifier divergence and feature mapping inconsistency across clients, such
that client models are updated in inconsistent feature space with diverged
classifiers. We then propose a simple yet effective framework named Federated
learning with Feature Anchors (FedFA) to align the feature mappings and
calibrate classifier across clients during local training, which allows client
models updating in a shared feature space with consistent classifiers. We
demonstrate that this modification brings similar classifiers and a virtuous
cycle between feature consistency and classifier similarity across clients.
Extensive experiments show that FedFA significantly outperforms the
state-of-the-art federated learning algorithms on various image classification
datasets under label and feature distribution skews.
- Abstract(参考訳): フェデレーション学習により、複数のクライアントがデータを交換することなく、協調的にモデルをトレーニングできる。
残念ながら、クライアントの異種データでパフォーマンスが著しく低下する。
局所訓練における一般的な解決策は、重量のばらつきや特徴の矛盾を正すために特定の補助損失を設計することである。
しかし、これらのアプローチは、分類器の発散とクライアント間の特徴マッピングの不整合の間の悪循環の存在を無視し、クライアントモデルが発散した分類器で一貫性のない機能空間で更新されるため、期待される性能に届かないことがわかった。
次に、FedFA(Federated Learning with Feature Anchors)というシンプルなフレームワークを提案し、ローカルトレーニング中にクライアント間で特徴マッピングと分類器を調整し、一貫した分類器で共有機能空間でクライアントモデルを更新できるようにする。
この修正によって、類似した分類器と、クライアント間の特徴整合性と分類器の類似性の間の希薄なサイクルがもたらされることを示す。
大規模な実験により、FedFAはラベルと特徴分布スキューの下の様々な画像分類データセット上で、最先端のフェデレーション学習アルゴリズムを著しく上回ることがわかった。
関連論文リスト
- FedAnchor: Enhancing Federated Semi-Supervised Learning with Label
Contrastive Loss for Unlabeled Clients [19.3885479917635]
Federated Learning(FL)は、デバイス間で共有されたグローバルモデルの協調トレーニングを促進する分散学習パラダイムである。
本稿では,サーバ上のラベル付きアンカーデータにのみ訓練された分類ヘッドと組み合わせて,アンカーヘッドと呼ばれるユニークな二重ヘッド構造を導入する,革新的なFSSL手法であるFedAnchorを提案する。
提案手法は, 高信頼度モデル予測サンプルに基づいて, 疑似ラベル技術に係わる検証バイアスと過度に適合する問題を緩和する。
論文 参考訳(メタデータ) (2024-02-15T18:48:21Z) - Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。
我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
論文 参考訳(メタデータ) (2023-12-27T09:03:43Z) - FedFed: Feature Distillation against Data Heterogeneity in Federated
Learning [88.36513907827552]
フェデレートラーニング(FL)は通常、データ不均一性、すなわちクライアント間の分散シフトに直面している。
我々はtextbfFederated textbfFeature textbfdistillation (FedFedFed) という新しいアプローチを提案する。
FedFedは、データをパフォーマンスに敏感な機能(すなわち、モデルパフォーマンスに多大な貢献)とパフォーマンスを損なう機能(つまり、モデルパフォーマンスに限られた貢献)に分割する。
総合的な実験は、モデル性能の促進におけるFedFedの有効性を示す。
論文 参考訳(メタデータ) (2023-10-08T09:00:59Z) - Federated cINN Clustering for Accurate Clustered Federated Learning [33.72494731516968]
フェデレートラーニング(FL)は、プライバシを保存する分散機械学習に対する革新的なアプローチである。
本稿では,クライアントを複数のグループに頑健にクラスタリングするFederated cINN Clustering Algorithm (FCCA)を提案する。
論文 参考訳(メタデータ) (2023-09-04T10:47:52Z) - Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。
本稿では,FedInsという新しいFLアルゴリズムを提案する。
我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文 参考訳(メタデータ) (2023-08-11T09:58:47Z) - FedCME: Client Matching and Classifier Exchanging to Handle Data
Heterogeneity in Federated Learning [5.21877373352943]
クライアント間のデータの均一性は、フェデレートラーニング(FL)における重要な課題の1つです。
クライアントマッチングと分類器交換によりFedCMEという新しいFLフレームワークを提案する。
実験結果から,FedCMEはFedAvg,FedProx,MOON,FedRSよりも高い性能を示した。
論文 参考訳(メタデータ) (2023-07-17T15:40:45Z) - Stabilizing and Improving Federated Learning with Non-IID Data and
Client Dropout [15.569507252445144]
ラベル分布スキューによるデータヘテロジェニーティは、フェデレート学習におけるモデル性能を制限する重要な障害であることが示されている。
クロスエントロピー損失を計算するための事前校正ソフトマックス関数を導入することで、シンプルで効果的なフレームワークを提案する。
非IIDデータとクライアントドロップアウトの存在下で、既存のベースラインよりも優れたモデル性能を示す。
論文 参考訳(メタデータ) (2023-03-11T05:17:59Z) - FedFM: Anchor-based Feature Matching for Data Heterogeneity in Federated
Learning [91.74206675452888]
本稿では,各クライアントの特徴を共有カテゴリーのアンカーにマッチさせる新しいFedFM法を提案する。
効率と柔軟性を向上させるため,FedFM-Liteと呼ばれるFedFM変種を提案し,クライアントは同期時間と通信帯域幅のコストを少なくしてサーバと通信する。
論文 参考訳(メタデータ) (2022-10-14T08:11:34Z) - Rethinking Data Heterogeneity in Federated Learning: Introducing a New
Notion and Standard Benchmarks [65.34113135080105]
我々は、現在のセットアップにおけるデータ不均一性の問題が必ずしも問題であるだけでなく、FL参加者にとって有益であることを示す。
私たちの観察は直感的である。
私たちのコードはhttps://github.com/MMorafah/FL-SC-NIIDで利用可能です。
論文 参考訳(メタデータ) (2022-09-30T17:15:19Z) - Fed-CBS: A Heterogeneity-Aware Client Sampling Mechanism for Federated
Learning via Class-Imbalance Reduction [76.26710990597498]
本研究では,ランダムに選択したクライアントからのグループデータのクラス不均衡が,性能の大幅な低下につながることを示す。
我々のキーとなる観測に基づいて、我々は効率的なクライアントサンプリング機構、すなわちフェデレートクラスバランスサンプリング(Fed-CBS)を設計する。
特に、クラス不均衡の尺度を提案し、その後、同型暗号化を用いてプライバシー保護方式でこの尺度を導出する。
論文 参考訳(メタデータ) (2022-09-30T05:42:56Z) - Addressing Client Drift in Federated Continual Learning with Adaptive
Optimization [10.303676184878896]
本稿では,NetTailorを連続学習候補として活用することにより,FCL(Federated Continual Learning)を実現するための枠組みを概説する。
適応型フェデレーション最適化は,クライアントドリフトの悪影響を低減し,CIFAR100,MiniImagenet,Deathlonベンチマーク上での有効性を示す。
論文 参考訳(メタデータ) (2022-03-24T20:00:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。