論文の概要: Mitigating Group Bias in Federated Learning for Heterogeneous Devices
- arxiv url: http://arxiv.org/abs/2309.07085v1
- Date: Wed, 13 Sep 2023 16:53:48 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-14 13:18:00.328665
- Title: Mitigating Group Bias in Federated Learning for Heterogeneous Devices
- Title（参考訳）: ヘテロジニアスデバイスのためのフェデレーション学習におけるグループバイアスの軽減
- Authors: Khotso Selialia, Yasra Chandio, Fatima M. Anwar
- Abstract要約: フェデレートラーニング(Federated Learning)は、分散エッジアプリケーションにおけるプライバシ保護モデルトレーニングアプローチとして登場している。
本研究は,プライバシを維持しながら,資源利用のオーバーヘッドを伴わずにグループバイアスを最小限に抑えるグループフェアFLフレームワークを提案する。
- 参考スコア（独自算出の注目度）: 1.2903829793534267
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Federated Learning is emerging as a privacy-preserving model training
approach in distributed edge applications. As such, most edge deployments are
heterogeneous in nature i.e., their sensing capabilities and environments vary
across deployments. This edge heterogeneity violates the independence and
identical distribution (IID) property of local data across clients and produces
biased global models i.e. models that contribute to unfair decision-making and
discrimination against a particular community or a group. Existing bias
mitigation techniques only focus on bias generated from label heterogeneity in
non-IID data without accounting for domain variations due to feature
heterogeneity and do not address global group-fairness property.
Our work proposes a group-fair FL framework that minimizes group-bias while
preserving privacy and without resource utilization overhead. Our main idea is
to leverage average conditional probabilities to compute a cross-domain group
\textit{importance weights} derived from heterogeneous training data to
optimize the performance of the worst-performing group using a modified
multiplicative weights update method. Additionally, we propose regularization
techniques to minimize the difference between the worst and best-performing
groups while making sure through our thresholding mechanism to strike a balance
between bias reduction and group performance degradation. Our evaluation of
human emotion recognition and image classification benchmarks assesses the fair
decision-making of our framework in real-world heterogeneous settings.
- Abstract（参考訳）: Federated Learningは、分散エッジアプリケーションにおけるプライバシ保護モデルトレーニングアプローチとして登場している。
したがって、ほとんどのエッジデプロイメントは本質的に異質であり、その知覚能力と環境はデプロイメントによって異なる。
このエッジの不均一性は、クライアント間でのローカルデータの独立性と同一分布(IID)特性に反し、偏りのあるグローバルモデル、すなわち特定のコミュニティやグループに対する不公平な意思決定と差別に寄与するモデルを生成する。
既存のバイアス緩和技術は、非iidデータのラベルの不均一性から生じるバイアスにのみ焦点をあて、特徴的不均一性によるドメインの変動を考慮せず、グローバルなグループフェア性に対処しない。
本研究では,プライバシ保護と資源利用のオーバーヘッドを伴わずにグループバイアスを最小限に抑えるグループフェアFLフレームワークを提案する。
本研究の主目的は,異種学習データから得られたクロスドメイン群 \textit{importance weights} を計算し,修正乗算重み更新法を用いて最悪のパフォーマンス群の性能を最適化することである。
さらに, バイアス低減とグループ性能劣化のバランスを保ちつつ, 最短群と最良群との差を最小限に抑えるための正規化手法を提案する。
人間の感情認識と画像分類ベンチマークの評価は、実世界の不均一な環境での枠組みの公平な意思決定を評価する。
関連論文リスト
- Trained Models Tell Us How to Make Them Robust to Spurious Correlation without Group Annotation [3.894771553698554]
経験的リスク最小化(ERM)モデルは、ターゲットと高い刺激的な相関を持つ属性に依存する傾向がある。
これにより、これらの属性を欠いた未表現(または'マイナー')グループのパフォーマンスを低下させることができる。
本稿では,環境に基づく検証と損失に基づくサンプリング(EVaLS)を提案する。
論文 参考訳（メタデータ） (2024-10-07T08:17:44Z) - Addressing Data Heterogeneity in Federated Learning with Adaptive Normalization-Free Feature Recalibration [1.33512912917221]
フェデレートラーニング(Federated Learning)は、ステークホルダーのデータ所有を保護し、パフォーマンスと一般化を改善した分散コラボレーティブトレーニングパラダイムである。
本稿では、重み付け標準化とチャネルアテンションを組み合わせたアーキテクチャレベルの手法である、適応正規化自由特徴校正(ANFR)を提案する。
論文 参考訳（メタデータ） (2024-10-02T20:16:56Z) - Federated Fairness without Access to Sensitive Groups [12.888927461513472]
連合学習におけるグループフェアネスへの現在のアプローチは、トレーニング中に事前に定義されラベル付けされたセンシティブなグループが存在することを前提としている。
我々は、センシティブなグループや追加のラベルの事前定義された定義に依存しないグループフェアネスを保証するための新しいアプローチを提案する。
論文 参考訳（メタデータ） (2024-02-22T19:24:59Z) - Federated Two Stage Decoupling With Adaptive Personalization Layers [5.69361786082969]
フェデレーション学習は、プライバシ制約を維持しながら分散学習を可能にする能力によって、大きな注目を集めている。
本質的には、学習の劣化と収束速度の低下を経験する。
等質なクライアントを同じ群にクラスタリングするという概念を採用することは自然であり、各群内のモデル重みのみを集約することができる。
論文 参考訳（メタデータ） (2023-08-30T07:46:32Z) - Modeling the Q-Diversity in a Min-max Play Game for Robust Optimization [61.39201891894024]
群分布的ロバスト最適化(群 DRO)は、事前定義された群に対する最悪の損失を最小限にすることができる。
グループDROフレームワークをQ-Diversityを提案して再構築する。
インタラクティブなトレーニングモードによって特徴付けられるQ-Diversityは、アノテーションからグループ識別を緩和し、直接パラメータ化を行う。
論文 参考訳（メタデータ） (2023-05-20T07:02:27Z) - Generative Model Based Noise Robust Training for Unsupervised Domain
Adaptation [108.11783463263328]
本稿では, 生成モデルに基づくノイズ・ロバスト訓練法(GeNRT)を提案する。
ラベルノイズを緩和しながらドメインシフトを除去する。
Office-Home、PACS、Digit-Fiveの実験は、GeNRTが最先端のメソッドに匹敵するパフォーマンスを実現していることを示している。
論文 参考訳（メタデータ） (2023-03-10T06:43:55Z) - Divide and Contrast: Source-free Domain Adaptation via Adaptive
Contrastive Learning [122.62311703151215]
Divide and Contrast (DaC) は、それぞれの制限を回避しつつ、両方の世界の善良な端を接続することを目的としている。
DaCは、ターゲットデータをソースライクなサンプルとターゲット固有なサンプルに分割する。
さらに、ソースライクなドメインと、メモリバンクベースの最大平均離散性(MMD)損失を用いて、ターゲット固有のサンプルとを整合させて、分散ミスマッチを低減する。
論文 参考訳（メタデータ） (2022-11-12T09:21:49Z) - Rethinking Data Heterogeneity in Federated Learning: Introducing a New
Notion and Standard Benchmarks [65.34113135080105]
我々は、現在のセットアップにおけるデータ不均一性の問題が必ずしも問題であるだけでなく、FL参加者にとって有益であることを示す。
私たちの観察は直感的である。
私たちのコードはhttps://github.com/MMorafah/FL-SC-NIIDで利用可能です。
論文 参考訳（メタデータ） (2022-09-30T17:15:19Z) - Fed-CBS: A Heterogeneity-Aware Client Sampling Mechanism for Federated
Learning via Class-Imbalance Reduction [76.26710990597498]
本研究では,ランダムに選択したクライアントからのグループデータのクラス不均衡が,性能の大幅な低下につながることを示す。
我々のキーとなる観測に基づいて、我々は効率的なクライアントサンプリング機構、すなわちフェデレートクラスバランスサンプリング(Fed-CBS)を設計する。
特に、クラス不均衡の尺度を提案し、その後、同型暗号化を用いてプライバシー保護方式でこの尺度を導出する。
論文 参考訳（メタデータ） (2022-09-30T05:42:56Z) - Examining and Combating Spurious Features under Distribution Shift [94.31956965507085]
我々は、最小限の統計量という情報理論の概念を用いて、ロバストで刺激的な表現を定義し、分析する。
入力分布のバイアスしか持たない場合でも、モデルはトレーニングデータから急激な特徴を拾い上げることができることを証明しています。
分析から着想を得た結果,グループDROは,グループ同士の相関関係を直接考慮しない場合に失敗する可能性が示唆された。
論文 参考訳（メタデータ） (2021-06-14T05:39:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。