論文の概要: Accelerating Fair Federated Learning: Adaptive Federated Adam

• arxiv url: http://arxiv.org/abs/2301.09357v1
• Date: Mon, 23 Jan 2023 10:56:12 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-24 13:42:33.893603
• Title: Accelerating Fair Federated Learning: Adaptive Federated Adam
• Title（参考訳）: 公正なフェデレーション学習を加速する - Adaptive Federated Adam
• Authors: Li Ju, Tianru Zhang, Salman Toor and Andreas Hellander
• Abstract要約: データセットが独立で同一に分散されていない場合(非IID)、単純なフェデレーションアルゴリズムによってトレーニングされたモデルは、特定の参加者に偏りが生じる可能性がある。 これは連合学習における公平性問題として知られている。 本稿では,適応的フェデレーション・アダム(AdaFedAdam)を提案し,偏見を緩和して公正なフェデレーション・ラーニングを加速させる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning is a distributed and privacy-preserving approach to train a statistical model collaboratively from decentralized data of different parties. However, when datasets of participants are not independent and identically distributed (non-IID), models trained by naive federated algorithms may be biased towards certain participants, and model performance across participants is non-uniform. This is known as the fairness problem in federated learning. In this paper, we formulate fairness-controlled federated learning as a dynamical multi-objective optimization problem to ensure fair performance across all participants. To solve the problem efficiently, we study the convergence and bias of Adam as the server optimizer in federated learning, and propose Adaptive Federated Adam (AdaFedAdam) to accelerate fair federated learning with alleviated bias. We validated the effectiveness, Pareto optimality and robustness of AdaFedAdam in numerical experiments and show that AdaFedAdam outperforms existing algorithms, providing better convergence and fairness properties of the federated scheme.
• Abstract（参考訳）: フェデレーション学習(federated learning)は、さまざまなパーティの分散データから統計モデルを協調的にトレーニングするための、分散およびプライバシ保護のアプローチである。 しかしながら、参加者のデータセットが独立で同一に分散していない場合(非IID)、単純フェデレーションアルゴリズムで訓練されたモデルは特定の参加者に偏りがあり、参加者間でのモデル性能は一様ではない。 これは連合学習における公正問題として知られている。 本稿では, 公平性制御型フェデレーション学習を動的多目的最適化問題として定式化し, 全参加者の公平性を確保する。 この問題を効率的に解決するために,フェデレート学習におけるサーバオプティマイザとしてのAdamの収束とバイアスについて検討し,適応型フェデレーションアダム(AdaFedAdam)を提案する。 我々は,AdaFedAdamの有効性,パレート最適性,ロバスト性を数値実験で検証し,AdaFedAdamが既存のアルゴリズムより優れており,フェデレートされたスキームの収束性や公正性が向上していることを示す。

関連論文リスト

• Federated Learning with Classifier Shift for Class Imbalance [6.097542448692326]
  フェデレートラーニングは、トレーニングデータが異なるクライアントに属している間、グローバルモデルを協調的に学習することを目的としており、交換は許されない。 本稿では,クラス不均衡の負の影響を軽減するため,局所学習期間中の分類器出力の変化を緩和するFedShiftという,シンプルで効果的な手法を提案する。
  論文  参考訳（メタデータ） (2023-04-11T04:38:39Z)
• Combating Exacerbated Heterogeneity for Robust Models in Federated Learning [91.88122934924435]
  対人訓練と連合学習の組み合わせは、望ましくない頑丈さの劣化につながる可能性がある。 我々は、Slack Federated Adversarial Training (SFAT)と呼ばれる新しいフレームワークを提案する。 各種ベンチマークおよび実世界のデータセットに対するSFATの合理性と有効性を検証する。
  論文  参考訳（メタデータ） (2023-03-01T06:16:15Z)
• CoFED: Cross-silo Heterogeneous Federated Multi-task Learning via Co-training [11.198612582299813]
  Federated Learning(FL)は、参加者がプライベートデータを交換することなく、高品質なモデルを協調的にトレーニングできる機械学習技術である。 擬似ラベル付き未ラベルデータに基づく通信効率の高いFLスキームであるCoFEDを提案する。 実験結果から,CoFEDは通信コストの低減を図った。
  論文  参考訳（メタデータ） (2022-02-17T11:34:20Z)
• Fair and efficient contribution valuation for vertical federated learning [49.50442779626123]
  フェデレートラーニング(Federated Learning)は、データを共有することなく、分散データソース上で機械学習モデルをトレーニングするための一般的な技術である。 シェープリー値(Shapley value, SV)は、協調ゲーム理論から派生した、証明可能なフェアコントリビューション評価指標である。 本稿では,SVに基づく垂直結合シェープ値(VerFedSV)と呼ばれるコントリビューション評価指標を提案する。
  論文  参考訳（メタデータ） (2022-01-07T19:57:15Z)
• Improving Fairness via Federated Learning [14.231231094281362]
  フェアネスを向上させるために,フェデレーション学習の価値を解析する理論的枠組みを提案する。 次に,FedAvgに基づくフェアラーニングアルゴリズムの性能トレードオフが,集中型データに基づいて訓練されたフェアクラシファイアよりも厳密に悪いことを示す。 これを解決するために,修正されたFedAvgプロトコルを用いて分散データに対するプライベートフェアラーニングアルゴリズムであるFedFBを提案する。
  論文  参考訳（メタデータ） (2021-10-29T05:25:44Z)
• FairFed: Enabling Group Fairness in Federated Learning [22.913999279079878]
  フェデレーテッド・ラーニングは、複数のパーティで機械学習モデルを学習するための有望なソリューションと見なされている。 フェアネスを意識したアグリゲーション手法によりグループフェアネスを高める新しいアルゴリズムであるFairFedを提案する。 提案手法は,高度の不均一な属性分布の下で,最先端の公正な学習フレームワークよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2021-10-02T17:55:20Z)
• Can Active Learning Preemptively Mitigate Fairness Issues? [66.84854430781097]
  データセットバイアスは、機械学習における不公平な原因の1つです。 不確実性に基づくALで訓練されたモデルが保護クラスの決定において公平であるかどうかを検討する。 また,勾配反転(GRAD)やBALDなどのアルゴリズム的公正性手法の相互作用についても検討する。
  論文  参考訳（メタデータ） (2021-04-14T14:20:22Z)
• FedH2L: Federated Learning with Model and Statistical Heterogeneity [75.61234545520611]
  フェデレートラーニング(FL)は、分散参加者が個々のデータのプライバシを犠牲にすることなく、強力なグローバルモデルを集合的に学習することを可能にする。 我々はFedH2Lを導入し、これはモデルアーキテクチャに非依存であり、参加者間で異なるデータ分散に対して堅牢である。 パラメータや勾配を共有するアプローチとは対照的に、FedH2Lは相互蒸留に依存し、参加者間で共有シードセットの後方のみを分散的に交換する。
  論文  参考訳（メタデータ） (2021-01-27T10:10:18Z)
• Fairness and Accuracy in Federated Learning [17.218814060589956]
  本稿では,federated learning (fedfa) における公平性と正確性を高めるアルゴリズムを提案する。 二重運動量勾配を採用する最適化スキームを導入し、それによってモデルの収束速度を加速する。 トレーニング精度とトレーニング頻度の情報量を組み合わせてウェイトを測定するための適切なウェイト選択アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-12-18T06:28:37Z)
• WAFFLe: Weight Anonymized Factorization for Federated Learning [88.44939168851721]
  データが機密性やプライベート性を持つドメインでは、ローカルデバイスを離れることなく、分散的に学習できるメソッドには大きな価値があります。 本稿では,フェデレートラーニングのためのウェイト匿名化因子化(WAFFLe)を提案する。これは,インド・バフェット・プロセスとニューラルネットワークの重み要因の共有辞書を組み合わせたアプローチである。
  論文  参考訳（メタデータ） (2020-08-13T04:26:31Z)
• Multi-Center Federated Learning [62.57229809407692]
  本稿では,フェデレート学習のための新しい多中心集約機構を提案する。 非IIDユーザデータから複数のグローバルモデルを学び、同時にユーザとセンタ間の最適なマッチングを導出する。 ベンチマークデータセットによる実験結果から,本手法はいくつかの一般的なフェデレーション学習法より優れていることが示された。
  論文  参考訳（メタデータ） (2020-05-03T09:14:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。