論文の概要: FedFA: Federated Learning with Feature Anchors to Align Features and
Classifiers for Heterogeneous Data
- arxiv url: http://arxiv.org/abs/2211.09299v3
- Date: Thu, 20 Apr 2023 08:32:34 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-21 17:10:46.384068
- Title: FedFA: Federated Learning with Feature Anchors to Align Features and
Classifiers for Heterogeneous Data
- Title（参考訳）: fedfa: 機能アンカーによるフェデレーション学習によるヘテロジニアスデータの特徴と分類
- Authors: Tailin Zhou, Jun Zhang, Danny H.K. Tsang
- Abstract要約: フェデレートされた学習により、複数のクライアントがデータを交換することなく、協調的にモデルをトレーニングできるため、データのプライバシが保護される。
局所訓練における一般的な解決策は、重量のばらつきや特徴の不整合を規則化するために、特定の補助的損失を設計することである。
本稿では,FedFA(Federated Learning with Feature Anchors)を提案する。
- 参考スコア（独自算出の注目度）: 6.562231691127286
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning allows multiple clients to collaboratively train a model
without exchanging their data, thus preserving data privacy. Unfortunately, it
suffers significant performance degradation under heterogeneous data at
clients. Common solutions in local training involve designing a specific
auxiliary loss to regularize weight divergence or feature inconsistency.
However, we discover that these approaches fall short of the expected
performance because they ignore the existence of a vicious cycle between
classifier divergence and feature mapping inconsistency across clients, such
that client models are updated in inconsistent feature space with diverged
classifiers. We then propose a simple yet effective framework named Federated
learning with Feature Anchors (FedFA) to align the feature mappings and
calibrate classifier across clients during local training, which allows client
models updating in a shared feature space with consistent classifiers. We
demonstrate that this modification brings similar classifiers and a virtuous
cycle between feature consistency and classifier similarity across clients.
Extensive experiments show that FedFA significantly outperforms the
state-of-the-art federated learning algorithms on various image classification
datasets under label and feature distribution skews.
- Abstract（参考訳）: フェデレーション学習により、複数のクライアントがデータを交換することなく、協調的にモデルをトレーニングできる。
残念ながら、クライアントの異種データでパフォーマンスが著しく低下する。
局所訓練における一般的な解決策は、重量のばらつきや特徴の矛盾を正すために特定の補助損失を設計することである。
しかし、これらのアプローチは、分類器の発散とクライアント間の特徴マッピングの不整合の間の悪循環の存在を無視し、クライアントモデルが発散した分類器で一貫性のない機能空間で更新されるため、期待される性能に届かないことがわかった。
次に、FedFA(Federated Learning with Feature Anchors)というシンプルなフレームワークを提案し、ローカルトレーニング中にクライアント間で特徴マッピングと分類器を調整し、一貫した分類器で共有機能空間でクライアントモデルを更新できるようにする。
この修正によって、類似した分類器と、クライアント間の特徴整合性と分類器の類似性の間の希薄なサイクルがもたらされることを示す。
大規模な実験により、FedFAはラベルと特徴分布スキューの下の様々な画像分類データセット上で、最先端のフェデレーション学習アルゴリズムを著しく上回ることがわかった。
関連論文リスト
- Interaction-Aware Gaussian Weighting for Clustered Federated Learning [58.92159838586751]
フェデレートラーニング(FL)は、プライバシを維持しながらモデルをトレーニングするための分散パラダイムとして登場した。
本稿では,新たなクラスタリングFL法であるFedGWC(Federated Gaussian Weighting Clustering)を提案する。
ベンチマークデータセットを用いた実験により,FedGWCはクラスタの品質と分類精度において,既存のFLアルゴリズムよりも優れていることがわかった。
論文 参考訳（メタデータ） (2025-02-05T16:33:36Z) - Efficient Federated Learning against Heterogeneous and Non-stationary Client Unavailability [23.466997173249034]
FedAPMには、(i)標準のFedAvgに対して(1)O$追加のメモリ計算で使用不能な計算を行うための新しい構造が含まれている。
非定常力学であるにもかかわらず、FedAPMは静止点にも収束することを示す。
論文 参考訳（メタデータ） (2024-09-26T00:38:18Z) - FedLF: Adaptive Logit Adjustment and Feature Optimization in Federated Long-Tailed Learning [5.23984567704876]
フェデレーション学習は、分散機械学習におけるプライバシの保護という課題にパラダイムを提供する。
伝統的なアプローチは、グローバルな長期データにおけるクラスワイドバイアスの現象に対処できない。
新しい手法であるFedLFは、適応ロジット調整、連続クラス中心最適化、特徴デコリレーションという、局所的なトレーニングフェーズに3つの修正を導入している。
論文 参考訳（メタデータ） (2024-09-18T16:25:29Z) - An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。
従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。
我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
論文 参考訳（メタデータ） (2024-04-29T05:55:23Z) - FedAnchor: Enhancing Federated Semi-Supervised Learning with Label
Contrastive Loss for Unlabeled Clients [19.3885479917635]
Federated Learning(FL)は、デバイス間で共有されたグローバルモデルの協調トレーニングを促進する分散学習パラダイムである。
本稿では,サーバ上のラベル付きアンカーデータにのみ訓練された分類ヘッドと組み合わせて,アンカーヘッドと呼ばれるユニークな二重ヘッド構造を導入する,革新的なFSSL手法であるFedAnchorを提案する。
提案手法は, 高信頼度モデル予測サンプルに基づいて, 疑似ラベル技術に係わる検証バイアスと過度に適合する問題を緩和する。
論文 参考訳（メタデータ） (2024-02-15T18:48:21Z) - Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。
我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
論文 参考訳（メタデータ） (2023-12-27T09:03:43Z) - Federated cINN Clustering for Accurate Clustered Federated Learning [33.72494731516968]
フェデレートラーニング(FL)は、プライバシを保存する分散機械学習に対する革新的なアプローチである。
本稿では,クライアントを複数のグループに頑健にクラスタリングするFederated cINN Clustering Algorithm (FCCA)を提案する。
論文 参考訳（メタデータ） (2023-09-04T10:47:52Z) - Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。
本稿では,FedInsという新しいFLアルゴリズムを提案する。
我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文 参考訳（メタデータ） (2023-08-11T09:58:47Z) - Stabilizing and Improving Federated Learning with Non-IID Data and
Client Dropout [15.569507252445144]
ラベル分布スキューによるデータヘテロジェニーティは、フェデレート学習におけるモデル性能を制限する重要な障害であることが示されている。
クロスエントロピー損失を計算するための事前校正ソフトマックス関数を導入することで、シンプルで効果的なフレームワークを提案する。
非IIDデータとクライアントドロップアウトの存在下で、既存のベースラインよりも優れたモデル性能を示す。
論文 参考訳（メタデータ） (2023-03-11T05:17:59Z) - FedFM: Anchor-based Feature Matching for Data Heterogeneity in Federated
Learning [91.74206675452888]
本稿では,各クライアントの特徴を共有カテゴリーのアンカーにマッチさせる新しいFedFM法を提案する。
効率と柔軟性を向上させるため,FedFM-Liteと呼ばれるFedFM変種を提案し,クライアントは同期時間と通信帯域幅のコストを少なくしてサーバと通信する。
論文 参考訳（メタデータ） (2022-10-14T08:11:34Z) - Fed-CBS: A Heterogeneity-Aware Client Sampling Mechanism for Federated
Learning via Class-Imbalance Reduction [76.26710990597498]
本研究では,ランダムに選択したクライアントからのグループデータのクラス不均衡が,性能の大幅な低下につながることを示す。
我々のキーとなる観測に基づいて、我々は効率的なクライアントサンプリング機構、すなわちフェデレートクラスバランスサンプリング(Fed-CBS)を設計する。
特に、クラス不均衡の尺度を提案し、その後、同型暗号化を用いてプライバシー保護方式でこの尺度を導出する。
論文 参考訳（メタデータ） (2022-09-30T05:42:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。