論文の概要: Mitigating federated learning contribution allocation instability through randomized aggregation
- arxiv url: http://arxiv.org/abs/2405.08044v1
- Date: Mon, 13 May 2024 13:55:34 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-15 16:06:44.630300
- Title: Mitigating federated learning contribution allocation instability through randomized aggregation
- Title（参考訳）: ランダムアグリゲーションによるフェデレーション・コントリビューションの不安定化
- Authors: Arno Geimer, Beltran Fiz, Radu State,
- Abstract要約: Federated Learning(FL)は、堅牢なモデルの作成を可能にしながら、プライバシを保護するように設計された、新しいコラボレーティブ機械学習フレームワークである。
本稿では, 参加型グローバルモデルの作成に対する, 様々な参加者からの貢献の公正かつ正確な貢献について検討する。
我々は、より公平で分散した方法でコントリビューションをサンプリングするために設計されたFedRandomを紹介します。
- 参考スコア（独自算出の注目度）: 1.827018440608344
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Federated learning (FL) is a novel collaborative machine learning framework designed to preserve privacy while enabling the creation of robust models. This paradigm addresses a growing need for data security by allowing multiple participants to contribute to a model without exposing their individual datasets. A pivotal issue within this framework, however, concerns the fair and accurate attribution of contributions from various participants to the creation of the joint global model. Incorrect contribution distribution can erode trust among participants, result in inequitable compensation, and ultimately diminish the willingness of parties to engage or actively contribute to the federation. While several methods for remunerating participants have been proposed, little attention was given to the analysis of the stability of these methods when evaluating contributions, which is critical to ensure the long-term viability and fairness of FL systems. In this paper, we analyse this stability through the calculation of contributions by gradient-based model reconstruction techniques with Shapley values. Our investigation reveals that Shapley values fail to reflect baseline contributions, especially when employing different aggregation techniques. To address this issue, we extend on established aggregation techniques by introducing FedRandom, which is designed to sample contributions in a more equitable and distributed manner. We demonstrate that this approach not only serves as a viable aggregation technique but also significantly improves the accuracy of contribution assessment compared to traditional methods. Our results suggest that FedRandom enhances the overall fairness and stability of the federated learning system, making it a superior choice for federations with limited number of participants.
- Abstract（参考訳）: Federated Learning(FL)は、堅牢なモデルの作成を可能にしながら、プライバシを保護するように設計された、新しいコラボレーティブ機械学習フレームワークである。
このパラダイムは、複数の参加者が個々のデータセットを公開せずにモデルにコントリビュートできるようにすることで、データセキュリティの必要性の増大に対処する。
しかし、この枠組みにおける重要な問題は、様々な参加者からの貢献の公正かつ正確な貢献と、共同グローバルモデルの作成に関するものである。
不正なコントリビューション分布は、参加者間の信頼を損なうことができ、不平等な報酬をもたらし、究極的には、当事者がフェデレーションに関与または積極的に貢献する意思を低下させる。
参加者に報酬を与える方法がいくつか提案されているが、コントリビューションの評価において、これらの手法の安定性の分析にはほとんど注意が払われていない。
本稿では,この安定性を,シェープリー値を用いた勾配モデル再構成手法によるコントリビューションの計算により解析する。
調査の結果,Shapleyの値は,特に異なるアグリゲーション技術を用いた場合,ベースラインのコントリビューションを反映できないことがわかった。
この問題に対処するため、より公平で分散した方法でコントリビューションをサンプリングするFedRandomを導入し、確立した集約手法を拡張した。
提案手法は, 有効な集約手法として機能するだけでなく, 従来の手法と比較して, コントリビューション評価の精度を大幅に向上することを示す。
その結果,FedRandomは,フェデレート学習システムの全体的公正性と安定性を高め,限られた参加者数でフェデレーションを選択できることが示唆された。
関連論文リスト
- DPVS-Shapley:Faster and Universal Contribution Evaluation Component in Federated Learning [1.740992908651449]
動的Pruning Validation Set Shapley (DPVS-Shapley) というコンポーネントを導入する。
本手法は, 評価精度を損なうことなく, 元のデータセットを動的に刈り取ることにより, コントリビューション評価プロセスの高速化を図る。
論文 参考訳（メタデータ） (2024-10-19T13:01:44Z) - Redefining Contributions: Shapley-Driven Federated Learning [3.9539878659683363]
フェデレーテッド・ラーニング(FL)は、機械学習において重要なアプローチとして登場した。
参加者が平等に、あるいは正直に貢献しない場合、グローバルなモデル収束を保証することは困難です。
本稿では,FLにおけるコントリビューションの詳細な評価のために,ShapFedと呼ばれる新しいコントリビューションアセスメントアセスメント手法を提案する。
論文 参考訳（メタデータ） (2024-06-01T22:40:31Z) - Distribution-Free Fair Federated Learning with Small Samples [54.63321245634712]
FedFaiREEは、分散化された環境で分散のないフェアラーニングのために小さなサンプルで開発された後処理アルゴリズムである。
公正性と精度の両面において厳密な理論的保証を提供し,実験結果により,提案手法の堅牢な実証検証を行う。
論文 参考訳（メタデータ） (2024-02-25T17:37:53Z) - Reinforcement Learning as a Catalyst for Robust and Fair Federated
Learning: Deciphering the Dynamics of Client Contributions [6.318638597489423]
Reinforcement Federated Learning (RFL)は、深い強化学習を活用して、集約中のクライアントコントリビューションを適応的に最適化する新しいフレームワークである。
堅牢性に関しては、RFLは同等の公平性を維持しつつ、最先端の手法よりも優れています。
論文 参考訳（メタデータ） (2024-02-08T10:22:12Z) - Incentive Allocation in Vertical Federated Learning Based on Bankruptcy
Problem [0.0]
垂直連合学習(VFL)は、異なるパーティ間で垂直に分割されたプライベートデータを使用して、機械学習モデルを協調的にトレーニングするための有望なアプローチである。
本稿では,VFLプロセスへの貢献に基づいて,活動政党による受動的政党へのインセンティブ付与の問題に焦点をあてる。
我々は、この問題を、倒産問題として知られるヌクレロスゲーム理論の変種として定式化し、タルムードの除算則を用いて解決する。
論文 参考訳（メタデータ） (2023-07-07T11:08:18Z) - Conformal Prediction for Federated Uncertainty Quantification Under
Label Shift [57.54977668978613]
Federated Learning(FL)は、多くのクライアントが協力してモデルをトレーニングする機械学習フレームワークである。
我々は、量子回帰に基づく新しいコンフォメーション予測法を開発し、プライバシー制約を考慮した。
論文 参考訳（メタデータ） (2023-06-08T11:54:58Z) - Combating Exacerbated Heterogeneity for Robust Models in Federated
Learning [91.88122934924435]
対人訓練と連合学習の組み合わせは、望ましくない頑丈さの劣化につながる可能性がある。
我々は、Slack Federated Adversarial Training (SFAT)と呼ばれる新しいフレームワークを提案する。
各種ベンチマークおよび実世界のデータセットに対するSFATの合理性と有効性を検証する。
論文 参考訳（メタデータ） (2023-03-01T06:16:15Z) - Federated Robustness Propagation: Sharing Adversarial Robustness in
Federated Learning [98.05061014090913]
フェデレートラーニング(FL)は、生データを共有することなく、参加するユーザのセットから学習する、人気のある分散ラーニングスキーマとして登場した。
敵対的トレーニング(AT)は集中学習のための健全なソリューションを提供する。
既存のFL技術では,非IDユーザ間の対向的ロバスト性を効果的に広めることができないことを示す。
本稿では, バッチ正規化統計量を用いてロバスト性を伝達する, 単純かつ効果的な伝搬法を提案する。
論文 参考訳（メタデータ） (2021-06-18T15:52:33Z) - FedH2L: Federated Learning with Model and Statistical Heterogeneity [75.61234545520611]
フェデレートラーニング(FL)は、分散参加者が個々のデータのプライバシを犠牲にすることなく、強力なグローバルモデルを集合的に学習することを可能にする。
我々はFedH2Lを導入し、これはモデルアーキテクチャに非依存であり、参加者間で異なるデータ分散に対して堅牢である。
パラメータや勾配を共有するアプローチとは対照的に、FedH2Lは相互蒸留に依存し、参加者間で共有シードセットの後方のみを分散的に交換する。
論文 参考訳（メタデータ） (2021-01-27T10:10:18Z) - Collaborative Fairness in Federated Learning [24.7378023761443]
深層学習のための新しい協調フェアフェデレーションラーニング(CFFL)フレームワークを提案する。
CFFLは参加者に異なるモデルに収束させ、予測性能を損なうことなく公正を達成する。
ベンチマークデータセットの実験では、CFFLは高い公正性を達成し、分散フレームワークに匹敵する精度を提供する。
論文 参考訳（メタデータ） (2020-08-27T14:39:09Z) - Learning while Respecting Privacy and Robustness to Distributional
Uncertainties and Adversarial Data [66.78671826743884]
分散ロバストな最適化フレームワークはパラメトリックモデルのトレーニングのために検討されている。
目的は、逆操作された入力データに対して頑健なトレーニングモデルを提供することである。
提案されたアルゴリズムは、オーバーヘッドがほとんどない堅牢性を提供する。
論文 参考訳（メタデータ） (2020-07-07T18:25:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。