Fugu-MT 論文翻訳(概要): Fair Federated Learning under Domain Skew with Local Consistency and Domain Diversity

論文の概要: Fair Federated Learning under Domain Skew with Local Consistency and Domain Diversity

arxiv url: http://arxiv.org/abs/2405.16585v1
Date: Sun, 26 May 2024 14:29:10 GMT
ステータス: 処理完了
システム内更新日: 2024-05-28 20:19:32.319467
Title: Fair Federated Learning under Domain Skew with Local Consistency and Domain Diversity
Title（参考訳）: 局所的一貫性と領域多様性を有するドメインスキューによる公正なフェデレーション学習
Authors: Yuhang Chen, Wenke Huang, Mang Ye,
Abstract要約: フェデレートラーニング(FL)は、プライバシ保護の協調トレーニングのための新しいパラダイムとして登場した。ドメインスキューでは、現在のFLアプローチはバイアスがあり、2つのフェアネス問題に直面している。
参考スコア（独自算出の注目度）: 40.84004643341614
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Federated learning (FL) has emerged as a new paradigm for privacy-preserving collaborative training. Under domain skew, the current FL approaches are biased and face two fairness problems. 1) Parameter Update Conflict: data disparity among clients leads to varying parameter importance and inconsistent update directions. These two disparities cause important parameters to potentially be overwhelmed by unimportant ones of dominant updates. It consequently results in significant performance decreases for lower-performing clients. 2) Model Aggregation Bias: existing FL approaches introduce unfair weight allocation and neglect domain diversity. It leads to biased model convergence objective and distinct performance among domains. We discover a pronounced directional update consistency in Federated Learning and propose a novel framework to tackle above issues. First, leveraging the discovered characteristic, we selectively discard unimportant parameter updates to prevent updates from clients with lower performance overwhelmed by unimportant parameters, resulting in fairer generalization performance. Second, we propose a fair aggregation objective to prevent global model bias towards some domains, ensuring that the global model continuously aligns with an unbiased model. The proposed method is generic and can be combined with other existing FL methods to enhance fairness. Comprehensive experiments on Digits and Office-Caltech demonstrate the high fairness and performance of our method.
Abstract（参考訳）: フェデレートラーニング(FL)は、プライバシ保護の協調トレーニングのための新しいパラダイムとして登場した。ドメインスキューでは、現在のFLアプローチはバイアスがあり、2つのフェアネス問題に直面している。 1) パラメータ更新競合: クライアント間のデータ格差は、パラメータの重要性や一貫性のない更新方向を異にする。これら2つの相違により、重要なパラメータは、主要な更新の重要でないパラメータに圧倒される可能性がある。その結果、パフォーマンスの低いクライアントではパフォーマンスが大幅に低下する。 2)モデル集約バイアス:既存のFLアプローチは、不公平な重み付けを導入し、ドメインの多様性を無視する。これは、モデル収束の目的とドメイン間の異なるパフォーマンスにバイアスを与えます。我々は、フェデレートラーニングにおいて、明らかな方向性の更新一貫性を発見し、上記の問題に対処するための新しいフレームワークを提案する。まず、検出した特徴を利用して、重要でないパラメータの更新を選択的に破棄し、重要でないパラメータに圧倒されたパフォーマンスの低いクライアントからの更新を防止し、より公平な一般化性能を実現する。第2に,グローバルモデルが非バイアスモデルと連続的に整合することを保証し,いくつかの領域に対するグローバルモデルバイアスを防止するための,公平な集約目標を提案する。提案手法は汎用的であり,他のFL法と組み合わせて公正性を高めることができる。 Digits と Office-Caltech に関する総合的な実験により,本手法の妥当性と性能を実証した。

関連論文リスト

On ADMM in Heterogeneous Federated Learning: Personalization, Robustness, and Fairness [16.595935469099306]
本稿では,乗算器の交互方向法(ADMM)を利用して,パーソナライズおよびグローバルモデルの学習を行う最適化フレームワークFLAMEを提案する。我々の理論的解析は、軽度の仮定の下で、FLAMEのグローバル収束と2種類の収束速度を確立する。実験の結果,FLAMEは収束と精度において最先端の手法より優れており,各種攻撃下では高い精度を達成できることがわかった。
論文参考訳（メタデータ） (2024-07-23T11:35:42Z)
FedDr+: Stabilizing Dot-regression with Global Feature Distillation for Federated Learning [27.782676760198697]
フェデレートラーニング(FL)は、効果的なグローバルモデル開発のための重要なフレームワークとして登場した。 FLの主な課題はクライアントのドリフトであり、データの不均一性は分散した知識の集約を妨げる。我々は,ドット回帰損失を用いた局所モデルアライメントを実現するFedDr+という新しいアルゴリズムを提案する。
論文参考訳（メタデータ） (2024-06-04T14:34:13Z)
An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
論文参考訳（メタデータ） (2024-04-29T05:55:23Z)
Enhancing Fairness in Neural Networks Using FairVIC [0.0]
自動意思決定システム、特にディープラーニングモデルにおけるバイアスの緩和は、公平性を達成する上で重要な課題である。 FairVICは、トレーニング段階で固有のバイアスに対処することによって、ニューラルネットワークの公平性を高めるために設計された革新的なアプローチである。我々は、モデルの精度を有害な程度に向上させることなく、テスト対象のすべての指標の公平性を大幅に改善する。
論文参考訳（メタデータ） (2024-04-28T10:10:21Z)
Confidence-aware Personalized Federated Learning via Variational Expectation Maximization [34.354154518009956]
パーソナライズド・フェデレーション・ラーニング(PFL)のための新しいフレームワークを提案する。 PFLは、クライアント間で共有モデルをトレーニングする分散学習スキームである。階層的モデリングと変分推論に基づくPFLの新しいフレームワークを提案する。
論文参考訳（メタデータ） (2023-05-21T20:12:27Z)
Reliable Federated Disentangling Network for Non-IID Domain Feature [62.73267904147804]
本稿では、RFedDisと呼ばれる新しい信頼性のあるフェデレーション・ディエンタングリング・ネットワークを提案する。我々の知る限り、提案するRFedDisは、明らかな不確実性と特徴の混在に基づくFLアプローチを開発する最初の試みである。提案するRFedDisは,他の最先端FL手法と比較して信頼性の高い優れた性能を提供する。
論文参考訳（メタデータ） (2023-01-30T11:46:34Z)
Disentangled Federated Learning for Tackling Attributes Skew via Invariant Aggregation and Diversity Transferring [104.19414150171472]
属性は、クライアント間の一貫した最適化方向から、現在の連邦学習(FL)フレームワークを歪めます。本稿では,ドメイン固有属性とクロス不変属性を2つの補足枝に分離するために,非絡み付きフェデレーション学習(DFL)を提案する。実験により、DFLはSOTA FL法と比較して高い性能、より良い解釈可能性、より高速な収束率でFLを促進することが確認された。
論文参考訳（メタデータ） (2022-06-14T13:12:12Z)
Gradient Masked Averaging for Federated Learning [24.687254139644736]
フェデレートラーニングは、統一グローバルモデルの学習を協調するために、異種データを持つ多数のクライアントを可能にする。標準FLアルゴリズムは、サーバのグローバルモデルを近似するために、モデルパラメータや勾配の更新を平均化する。本稿では,クライアント更新の標準平均化の代替として,FLの勾配マスク平均化手法を提案する。
論文参考訳（メタデータ） (2022-01-28T08:42:43Z)
Hyperparameter-free Continuous Learning for Domain Classification in Natural Language Understanding [60.226644697970116]
ドメイン分類は自然言語理解(NLU)の基本課題である既存の継続的な学習アプローチの多くは、低い精度とパフォーマンスの変動に悩まされている。本研究では,テキストデータに対するパラメータフリー連続学習モデルを提案する。
論文参考訳（メタデータ） (2022-01-05T02:46:16Z)
Towards Fair Knowledge Transfer for Imbalanced Domain Adaptation [61.317911756566126]
本研究では,不均衡なドメイン間学習における公平性問題に対処するTowards Fair Knowledge Transferフレームワークを提案する。具体的には、新規なクロスドメインミックスアップ生成を利用して、ターゲット情報でマイノリティソースセットを増強し、公正性を高める。本モデルでは,2つのベンチマークで全体の精度を20%以上向上させる。
論文参考訳（メタデータ） (2020-10-23T06:29:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。