論文の概要: FedSAC: Dynamic Submodel Allocation for Collaborative Fairness in Federated Learning
- arxiv url: http://arxiv.org/abs/2405.18291v1
- Date: Tue, 28 May 2024 15:43:29 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-29 17:59:58.612181
- Title: FedSAC: Dynamic Submodel Allocation for Collaborative Fairness in Federated Learning
- Title（参考訳）: FedSAC:フェデレートラーニングにおける協調フェアネスのための動的サブモデルアロケーション
- Authors: Zihui Wang, Zheng Wang, Lingjuan Lyu, Zhaopeng Peng, Zhicheng Yang, Chenglu Wen, Rongshan Yu, Cheng Wang, Xiaoliang Fan,
- Abstract要約: 協調フェアネスのための動的サブモデルアロケーションを備えた新しいフェデレーション学習フレームワークであるFedSACを提案する。
等価性を理論的に保証したサブモデルアロケーションモジュールを開発する。
3つの公開ベンチマークで行った実験は、FedSACが全てのベースライン法を公平性とモデル精度の両方で上回っていることを示している。
- 参考スコア（独自算出の注目度）: 46.30755524556465
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Collaborative fairness stands as an essential element in federated learning to encourage client participation by equitably distributing rewards based on individual contributions. Existing methods primarily focus on adjusting gradient allocations among clients to achieve collaborative fairness. However, they frequently overlook crucial factors such as maintaining consistency across local models and catering to the diverse requirements of high-contributing clients. This oversight inevitably decreases both fairness and model accuracy in practice. To address these issues, we propose FedSAC, a novel Federated learning framework with dynamic Submodel Allocation for Collaborative fairness, backed by a theoretical convergence guarantee. First, we present the concept of "bounded collaborative fairness (BCF)", which ensures fairness by tailoring rewards to individual clients based on their contributions. Second, to implement the BCF, we design a submodel allocation module with a theoretical guarantee of fairness. This module incentivizes high-contributing clients with high-performance submodels containing a diverse range of crucial neurons, thereby preserving consistency across local models. Third, we further develop a dynamic aggregation module to adaptively aggregate submodels, ensuring the equitable treatment of low-frequency neurons and consequently enhancing overall model accuracy. Extensive experiments conducted on three public benchmarks demonstrate that FedSAC outperforms all baseline methods in both fairness and model accuracy. We see this work as a significant step towards incentivizing broader client participation in federated learning. The source code is available at https://github.com/wangzihuixmu/FedSAC.
- Abstract（参考訳）: 協力的公正は、個々の貢献に基づいて報酬を均等に分配することによって、クライアントの参加を促進するために、連合学習において不可欠な要素である。
既存の手法は主に、協調的公正性を達成するために、クライアント間の勾配割り当てを調整することに焦点を当てている。
しかし、ローカルモデル全体の一貫性を維持することや、ハイコントリビュートクライアントの多様な要求に対処することなど、重要な要素をしばしば見落としている。
この監視は必然的に、フェアネスとモデルの精度の両方を減少させる。
これらの課題に対処するために,FedSACを提案する。FedSACは,理論的収束保証を背景として,協調フェアネスのための動的サブモデルアロケーションを備えた,新しいフェデレーション学習フレームワークである。
まず、各顧客への貢献に基づいて報酬を調整し、公平性を確保する「バウンド・コラボレーティブ・フェアネス(BCF)」という概念を提示する。
第二に、BCFを実装するために、理論的に公正性を保証するサブモデルアロケーションモジュールを設計する。
このモジュールは、様々な重要なニューロンを含む高性能サブモデルでハイコントリビュートクライアントをインセンティブ化し、ローカルモデル間の一貫性を保つ。
第3に、サブモデルを適応的に集約し、低周波ニューロンの公平な処理を確実にし、結果として全体のモデル精度を向上させる動的集約モジュールを開発する。
3つの公開ベンチマークで実施された大規模な実験は、FedSACが全てのベースライン法を公平性とモデル精度の両方で上回っていることを示している。
この作業は、フェデレートラーニングにおけるより広範なクライアント参加を促進するための重要なステップだと考えています。
ソースコードはhttps://github.com/wangzihuixmu/FedSACで入手できる。
関連論文リスト
- Enhancing Group Fairness in Federated Learning through Personalization [15.367801388932145]
パーソナライゼーションは、意図しない利益として、改善された(局所的な)公正性をもたらす可能性があることを示す。
本稿では,Fair-FCAとFair-FL+HCという2つの新しいフェアネス対応クラスタリングアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-07-27T19:55:18Z) - Redefining Contributions: Shapley-Driven Federated Learning [3.9539878659683363]
フェデレーテッド・ラーニング(FL)は、機械学習において重要なアプローチとして登場した。
参加者が平等に、あるいは正直に貢献しない場合、グローバルなモデル収束を保証することは困難です。
本稿では,FLにおけるコントリビューションの詳細な評価のために,ShapFedと呼ばれる新しいコントリビューションアセスメントアセスメント手法を提案する。
論文 参考訳（メタデータ） (2024-06-01T22:40:31Z) - Enhancing One-Shot Federated Learning Through Data and Ensemble
Co-Boosting [76.64235084279292]
ワンショットフェデレートラーニング(One-shot Federated Learning, OFL)は,単一のコミュニケーションラウンドを通じてグローバルサーバモデルのトレーニングを可能にする,有望な学習パラダイムである。
合成されたデータとアンサンブルモデルを相互に拡張する新しいフレームワークであるCo-Boostingを導入する。
論文 参考訳（メタデータ） (2024-02-23T03:15:10Z) - FedImpro: Measuring and Improving Client Update in Federated Learning [77.68805026788836]
フェデレートラーニング(FL)モデルは、不均一なデータによって引き起こされるクライアントのドリフトを経験することが多い。
我々は、クライアントのドリフトに対する別の視点を示し、改善されたローカルモデルを生成することにより、それを緩和することを目指している。
論文 参考訳（メタデータ） (2024-02-10T18:14:57Z) - Fair Federated Medical Image Segmentation via Client Contribution
Estimation [24.148002258279632]
フェデレーションラーニング(FL)におけるフェアネスの確保方法
近年の研究では、顧客への貢献と、顧客間のパフォーマンスの均一性を達成する方法に基づいて、顧客に報酬を与える方法が研究されている。
両種類の公平性を同時に最適化する新しい手法を提案する。
論文 参考訳（メタデータ） (2023-03-29T08:21:54Z) - Fed-CBS: A Heterogeneity-Aware Client Sampling Mechanism for Federated
Learning via Class-Imbalance Reduction [76.26710990597498]
本研究では,ランダムに選択したクライアントからのグループデータのクラス不均衡が,性能の大幅な低下につながることを示す。
我々のキーとなる観測に基づいて、我々は効率的なクライアントサンプリング機構、すなわちフェデレートクラスバランスサンプリング(Fed-CBS)を設計する。
特に、クラス不均衡の尺度を提案し、その後、同型暗号化を用いてプライバシー保護方式でこの尺度を導出する。
論文 参考訳（メタデータ） (2022-09-30T05:42:56Z) - A Contract Theory based Incentive Mechanism for Federated Learning [52.24418084256517]
フェデレートラーニング(FL)は、データプライバシ保護機械学習パラダイムとして機能し、分散クライアントによってトレーニングされた協調モデルを実現する。
FLタスクを達成するために、タスクパブリッシャはFLサーバに金銭的なインセンティブを支払う必要があり、FLサーバはFLクライアントにタスクをオフロードする。
タスクがクライアントによってプライベートにトレーニングされているという事実から、FLクライアントに対して適切なインセンティブを設計することは困難である。
論文 参考訳（メタデータ） (2021-08-12T07:30:42Z) - An Efficiency-boosting Client Selection Scheme for Federated Learning
with Fairness Guarantee [36.07970788489]
フェデレートラーニング(Federated Learning)は、クライアントがモデルトレーニングをローカルに実行できるようにすることによって、プライバシ問題に対処する新たなパラダイムである。
クライアント選択ポリシーは、トレーニング効率、最終モデルの質、公平性の観点から、FLプロセスにとって重要なものです。
本稿では、Lyapunov最適化問題として保証されたクライアント選択の公平性をモデル化し、C2MABに基づくモデル交換時間推定法を提案する。
論文 参考訳（メタデータ） (2020-11-03T15:27:02Z) - Collaborative Fairness in Federated Learning [24.7378023761443]
深層学習のための新しい協調フェアフェデレーションラーニング(CFFL)フレームワークを提案する。
CFFLは参加者に異なるモデルに収束させ、予測性能を損なうことなく公正を達成する。
ベンチマークデータセットの実験では、CFFLは高い公正性を達成し、分散フレームワークに匹敵する精度を提供する。
論文 参考訳（メタデータ） (2020-08-27T14:39:09Z) - Federated Residual Learning [53.77128418049985]
クライアントはローカルモデルを個別に訓練し、サーバ側で共有するモデルと共同で予測を行う。
この新しいフェデレートされた学習フレームワークを使用することで、統合トレーニングが提供するパフォーマンス上のメリットをすべて享受しながら、中央共有モデルの複雑さを最小限にすることができる。
論文 参考訳（メタデータ） (2020-03-28T19:55:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。