Fugu-MT 論文翻訳(概要): FedFA: Federated Learning with Feature Anchors to Align Features and Classifiers for Heterogeneous Data

論文の概要: FedFA: Federated Learning with Feature Anchors to Align Features and Classifiers for Heterogeneous Data

arxiv url: http://arxiv.org/abs/2211.09299v4
Date: Wed, 18 Oct 2023 02:49:11 GMT
ステータス: 処理完了
システム内更新日: 2023-10-19 21:25:27.301485
Title: FedFA: Federated Learning with Feature Anchors to Align Features and Classifiers for Heterogeneous Data
Title（参考訳）: fedfa: 機能アンカーによるフェデレーション学習によるヘテロジニアスデータの特徴と分類
Authors: Tailin Zhou, Jun Zhang, Danny H.K. Tsang
Abstract要約: フェデレーション学習は、複数のクライアントがデータを交換することなく、協調的にモデルをトレーニングすることを可能にする。一般的な解決策は、局所訓練中に体重のばらつきや特徴の不整合を規則化する補助的な損失を含む。我々はFederated Learning with Feature Anchors (FedFA)という新しいフレームワークを提案する。
参考スコア（独自算出の注目度）: 8.677832361022809
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Federated learning allows multiple clients to collaboratively train a model without exchanging their data, thus preserving data privacy. Unfortunately, it suffers significant performance degradation due to heterogeneous data at clients. Common solutions involve designing an auxiliary loss to regularize weight divergence or feature inconsistency during local training. However, we discover that these approaches fall short of the expected performance because they ignore the existence of a vicious cycle between feature inconsistency and classifier divergence across clients. This vicious cycle causes client models to be updated in inconsistent feature spaces with more diverged classifiers. To break the vicious cycle, we propose a novel framework named Federated learning with Feature Anchors (FedFA). FedFA utilizes feature anchors to align features and calibrate classifiers across clients simultaneously. This enables client models to be updated in a shared feature space with consistent classifiers during local training. Theoretically, we analyze the non-convex convergence rate of FedFA. We also demonstrate that the integration of feature alignment and classifier calibration in FedFA brings a virtuous cycle between feature and classifier updates, which breaks the vicious cycle existing in current approaches. Extensive experiments show that FedFA significantly outperforms existing approaches on various classification datasets under label distribution skew and feature distribution skew.
Abstract（参考訳）: フェデレーション学習により、複数のクライアントがデータを交換することなく、協調的にモデルをトレーニングできる。残念ながら、クライアントの異種データによってパフォーマンスが大幅に低下する。一般的な解決策は、局所訓練中に重量分散や特徴の不整合を規則化する補助的な損失を設計することである。しかし,これらの手法は,クライアント間の機能不整合と分類器のばらつきの間の悪循環の存在を無視するため,期待する性能に欠けることが判明した。この悪質なサイクルは、クライアントモデルをより分散した分類器を持つ一貫性のない特徴空間で更新する。本稿では,FedFA(Federated Learning with Feature Anchors)という新しいフレームワークを提案する。 FedFAは機能アンカーを使用して機能を調整し、同時にクライアント間で分類器を校正する。これにより、クライアントモデルは、ローカルトレーニング中に一貫した分類器を備えた共有機能空間で更新できる。理論的には、FedFAの非凸収束速度を分析する。また,federaにおける機能アライメントと分類器のキャリブレーションの統合により,機能更新と分類器更新の間に激しいサイクルが発生し,現在のアプローチに存在する悪循環を損なうことを実証した。大規模実験により,FedFAはラベル分布スキューおよび特徴分布スキューの下で,様々な分類データセットの既存手法よりも有意に優れていた。

関連論文リスト

Efficient Federated Learning against Heterogeneous and Non-stationary Client Unavailability [23.466997173249034]
FedAPMには、(i)標準のFedAvgに対して(1)O$追加のメモリ計算で使用不能な計算を行うための新しい構造が含まれている。非定常力学であるにもかかわらず、FedAPMは静止点にも収束することを示す。
論文参考訳（メタデータ） (2024-09-26T00:38:18Z)
FedLF: Adaptive Logit Adjustment and Feature Optimization in Federated Long-Tailed Learning [5.23984567704876]
フェデレーション学習は、分散機械学習におけるプライバシの保護という課題にパラダイムを提供する。伝統的なアプローチは、グローバルな長期データにおけるクラスワイドバイアスの現象に対処できない。新しい手法であるFedLFは、適応ロジット調整、連続クラス中心最適化、特徴デコリレーションという、局所的なトレーニングフェーズに3つの修正を導入している。
論文参考訳（メタデータ） (2024-09-18T16:25:29Z)
An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
論文参考訳（メタデータ） (2024-04-29T05:55:23Z)
Federated Learning with Only Positive Labels by Exploring Label Correlations [78.59613150221597]
フェデレートラーニングは、プライバシー上の制約の下で複数のユーザのデータを使用することで、モデルを協調的に学習することを目的としている。本稿では,フェデレート学習環境下でのマルチラベル分類問題について検討する。ラベル相関(FedALC)を探索してフェデレート平均化(Federated Averaging)と呼ばれる新しい,汎用的な手法を提案する。
論文参考訳（メタデータ） (2024-04-24T02:22:50Z)
FedAnchor: Enhancing Federated Semi-Supervised Learning with Label Contrastive Loss for Unlabeled Clients [19.3885479917635]
Federated Learning(FL)は、デバイス間で共有されたグローバルモデルの協調トレーニングを促進する分散学習パラダイムである。本稿では,サーバ上のラベル付きアンカーデータにのみ訓練された分類ヘッドと組み合わせて,アンカーヘッドと呼ばれるユニークな二重ヘッド構造を導入する,革新的なFSSL手法であるFedAnchorを提案する。提案手法は, 高信頼度モデル予測サンプルに基づいて, 疑似ラベル技術に係わる検証バイアスと過度に適合する問題を緩和する。
論文参考訳（メタデータ） (2024-02-15T18:48:21Z)
Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
論文参考訳（メタデータ） (2023-12-27T09:03:43Z)
Federated cINN Clustering for Accurate Clustered Federated Learning [33.72494731516968]
フェデレートラーニング(FL)は、プライバシを保存する分散機械学習に対する革新的なアプローチである。本稿では,クライアントを複数のグループに頑健にクラスタリングするFederated cINN Clustering Algorithm (FCCA)を提案する。
論文参考訳（メタデータ） (2023-09-04T10:47:52Z)
Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。本稿では,FedInsという新しいFLアルゴリズムを提案する。我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文参考訳（メタデータ） (2023-08-11T09:58:47Z)
Stabilizing and Improving Federated Learning with Non-IID Data and Client Dropout [15.569507252445144]
ラベル分布スキューによるデータヘテロジェニーティは、フェデレート学習におけるモデル性能を制限する重要な障害であることが示されている。クロスエントロピー損失を計算するための事前校正ソフトマックス関数を導入することで、シンプルで効果的なフレームワークを提案する。非IIDデータとクライアントドロップアウトの存在下で、既存のベースラインよりも優れたモデル性能を示す。
論文参考訳（メタデータ） (2023-03-11T05:17:59Z)
FedFM: Anchor-based Feature Matching for Data Heterogeneity in Federated Learning [91.74206675452888]
本稿では,各クライアントの特徴を共有カテゴリーのアンカーにマッチさせる新しいFedFM法を提案する。効率と柔軟性を向上させるため,FedFM-Liteと呼ばれるFedFM変種を提案し,クライアントは同期時間と通信帯域幅のコストを少なくしてサーバと通信する。
論文参考訳（メタデータ） (2022-10-14T08:11:34Z)
Fed-CBS: A Heterogeneity-Aware Client Sampling Mechanism for Federated Learning via Class-Imbalance Reduction [76.26710990597498]
本研究では,ランダムに選択したクライアントからのグループデータのクラス不均衡が,性能の大幅な低下につながることを示す。我々のキーとなる観測に基づいて、我々は効率的なクライアントサンプリング機構、すなわちフェデレートクラスバランスサンプリング(Fed-CBS)を設計する。特に、クラス不均衡の尺度を提案し、その後、同型暗号化を用いてプライバシー保護方式でこの尺度を導出する。
論文参考訳（メタデータ） (2022-09-30T05:42:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。