論文の概要: Federated Learning with Fair Averaging

• arxiv url: http://arxiv.org/abs/2104.14937v1
• Date: Fri, 30 Apr 2021 12:02:03 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-03 18:46:26.416622
• Title: Federated Learning with Fair Averaging
• Title（参考訳）: 公正な平均化によるフェデレーション学習
• Authors: Zheng Wang, Xiaoliang Fan, Jianzhong Qi, Chenglu Wen, Cheng Wang, Rongshan Yu
• Abstract要約: クライアント間の競合を緩和するために、フェデレーションフェア平均化(FedFV)アルゴリズムを提案します。 相反する勾配を緩和するためのFedFVの理論的基礎を示す。 フェデレーションデータセットのスイートに関する実験は、FedFVが公平性、正確性、効率性の観点から最先端の方法と有利に比較できることを確認します。
• 参考スコア（独自算出の注目度）: 38.2728390683652
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Fairness has emerged as a critical problem in federated learning (FL). In this work, we identify a cause of unfairness in FL -- \emph{conflicting} gradients with large differences in the magnitudes. To address this issue, we propose the federated fair averaging (FedFV) algorithm to mitigate potential conflicts among clients before averaging their gradients. We first use the cosine similarity to detect gradient conflicts, and then iteratively eliminate such conflicts by modifying both the direction and the magnitude of the gradients. We further show the theoretical foundation of FedFV to mitigate the issue conflicting gradients and converge to Pareto stationary solutions. Extensive experiments on a suite of federated datasets confirm that FedFV compares favorably against state-of-the-art methods in terms of fairness, accuracy and efficiency.
• Abstract（参考訳）: フェアネスは、連邦学習(FL)において重要な問題となっている。 本研究では,fl -- \emph{conflicting} 勾配における不公平な原因を特定し,大小の差異を明らかにした。 この問題に対処するために、クライアント間の潜在的な衝突を軽減し、勾配を平均化するフェデレートフェア平均化(FedFV)アルゴリズムを提案する。 まず,コサイン類似性を用いて勾配の衝突を検知し,その方向と勾配の大きさの両方を変更することにより,このような衝突を反復的に排除する。 さらに,対立する勾配を緩和し,パレート定常解に収束するfeedfvの理論的基礎を示す。 一連のフェデレーションデータセットに関する大規模な実験は、FedFVが公正さ、正確性、効率の点で最先端の手法と好適に比較していることを確認した。

関連論文リスト

• Tackling the Non-IID Issue in Heterogeneous Federated Learning by Gradient Harmonization [11.484136481586381]
  フェデレートラーニング(Federated Learning, FL)は、分散クライアントからグローバルモデルを協調的にトレーニングするための、プライバシ保護パラダイムである。 本研究では、サーバ側の勾配競合のレンズを通して、この重要な課題を再考する。 グラディエント・ハーモニゼーションによる局所ドリフトを緩和する簡易かつ効果的なFedGHを提案する。
  論文  参考訳（メタデータ） (2023-09-13T03:27:21Z)
• Fairness-aware Federated Minimax Optimization with Convergence Guarantee [10.727328530242461]
  フェデレートラーニング(FL)はそのプライバシー保護機能のためにかなりの注目を集めている。 ユーザデータ管理の自由の欠如は、モデルが人種や性別などのセンシティブな要因に偏っている、グループフェアネスの問題につながる可能性がある。 本稿では,FLにおけるグループフェアネス問題に明示的に対処するために,拡張ラグランジアン法(FFALM)を用いたフェアフェデレーション平均化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-07-10T08:45:58Z)
• Federated Compositional Deep AUC Maximization [58.25078060952361]
  本研究では,曲線(AUC)のスコアを直接最適化することにより,不均衡なデータに対する新しいフェデレート学習法を開発した。 私たちの知る限りでは、このような好ましい理論的な結果を達成した最初の作品である。
  論文  参考訳（メタデータ） (2023-04-20T05:49:41Z)
• Faster Adaptive Federated Learning [84.38913517122619]
  フェデレートラーニングは分散データの出現に伴って注目を集めている。 本稿では,クロスサイロFLにおけるモーメントに基づく分散低減手法に基づく適応アルゴリズム(FAFED)を提案する。
  論文  参考訳（メタデータ） (2022-12-02T05:07:50Z)
• Analysis of Error Feedback in Federated Non-Convex Optimization with Biased Compression [37.6593006747285]
  学習サーバ(FL)システムでは、クライアントと中心的ボトルネックの間の通信コストが高くなる。 本稿では,バイアス圧縮の欠点を解消する手法を提案する。 部分的な参加の下では、いわゆる「ストールエラー蓄積」効果により、余分なスローダウン係数が発達する。
  論文  参考訳（メタデータ） (2022-11-25T18:49:53Z)
• Disentanglement of Correlated Factors via Hausdorff Factorized Support [53.23740352226391]
  本稿では,因子分布ではなく,因子化支援を助長する緩やかな解離基準,HFS(Hausdorff Factorized Support)基準を提案する。 本研究では,HFSを用いることにより,様々な相関設定やベンチマークにおいて,接地構造因子の絡み合いと回復が一貫して促進されることを示す。
  論文  参考訳（メタデータ） (2022-10-13T20:46:42Z)
• FedADC: Accelerated Federated Learning with Drift Control [6.746400031322727]
  フェデレーション学習(fl)は、プライバシーを懸念するエッジデバイス間のコラボレーション学習のためのデファクトフレームワークとなっている。 FLの大規模実装は、SGD用に設計された加速技術の分散環境への導入や、局所データセットの非均一分布によるドリフト問題の緩和など、新たな課題をもたらす。 flフレームワークに大きな変更を加えることなく、あるいは追加の計算と通信負荷を導入することなく、単一の戦略を使って両方の問題に対処することが可能であることを示す。 ドリフト制御を用いた加速FLアルゴリズムであるFedADCを提案する。
  論文  参考訳（メタデータ） (2020-12-16T17:49:37Z)
• Federated Composite Optimization [28.11253930828807]
  Federated Learning(FL)は、デバイス上での学習を協調的にプライベートにスケールする分散学習パラダイムである。 FedAvgのような標準FLアルゴリズムは、主にスムーズな制約のない設定に向けられている。 本稿では,新しいサーバの二重平均化手法を用いることで,プライマリ・デュアル平均化の呪いを回避できる新しいプライマリ・デュアル平均化アルゴリズムであるフェデレート・デュアル平均化(FedDual Avg)を提案する。
  論文  参考訳（メタデータ） (2020-11-17T06:54:06Z)
• A Unified Linear Speedup Analysis of Federated Averaging and Nesterov FedAvg [49.76940694847521]
  フェデレーションラーニング(FL)は、互いにプライベートに保持されたデータを共有せずに、参加する一連のデバイスからモデルを共同で学習する。 本稿では,FedAvg(Federated Averaging, FedAvg)に焦点をあてる。 また,FedAvgは収束率や通信効率が異なるが,各ケースで線形スピードアップを享受していることを示す。
  論文  参考訳（メタデータ） (2020-07-11T05:59:08Z)
• Detached Error Feedback for Distributed SGD with Random Sparsification [98.98236187442258]
  コミュニケーションのボトルネックは、大規模なディープラーニングにおいて重要な問題である。 非効率な分散問題に対する誤りフィードバックよりも優れた収束性を示す分散誤差フィードバック(DEF)アルゴリズムを提案する。 また、DEFよりも優れた境界を示すDEFの一般化を加速するDEFAを提案する。
  論文  参考訳（メタデータ） (2020-04-11T03:50:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。