論文の概要: Fairness and Accuracy in Federated Learning
- arxiv url: http://arxiv.org/abs/2012.10069v1
- Date: Fri, 18 Dec 2020 06:28:37 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-01 18:07:23.765999
- Title: Fairness and Accuracy in Federated Learning
- Title(参考訳): フェデレーション学習における公正性と正確性
- Authors: Wei Huang, Tianrui Li, Dexian Wang, Shengdong Du, Junbo Zhang
- Abstract要約: 本稿では,federated learning (fedfa) における公平性と正確性を高めるアルゴリズムを提案する。
二重運動量勾配を採用する最適化スキームを導入し、それによってモデルの収束速度を加速する。
トレーニング精度とトレーニング頻度の情報量を組み合わせてウェイトを測定するための適切なウェイト選択アルゴリズムを提案する。
- 参考スコア(独自算出の注目度): 17.218814060589956
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In the federated learning setting, multiple clients jointly train a model
under the coordination of the central server, while the training data is kept
on the client to ensure privacy. Normally, inconsistent distribution of data
across different devices in a federated network and limited communication
bandwidth between end devices impose both statistical heterogeneity and
expensive communication as major challenges for federated learning. This paper
proposes an algorithm to achieve more fairness and accuracy in federated
learning (FedFa). It introduces an optimization scheme that employs a double
momentum gradient, thereby accelerating the convergence rate of the model. An
appropriate weight selection algorithm that combines the information quantity
of training accuracy and training frequency to measure the weights is proposed.
This procedure assists in addressing the issue of unfairness in federated
learning due to preferences for certain clients. Our results show that the
proposed FedFa algorithm outperforms the baseline algorithm in terms of
accuracy and fairness.
- Abstract(参考訳): 連合学習設定では、複数のクライアントが中央サーバの調整の下でモデルを共同でトレーニングし、トレーニングデータをクライアントに保持してプライバシを確保する。
通常、フェデレーションネットワーク内の異なるデバイス間でのデータの一貫性のない分散と、エンドデバイス間の通信帯域の制限は、フェデレーション学習の主要な課題として統計的な異質性と高価な通信の両方を課す。
本稿では,フェデレート学習(FedFa)において,より公平で精度の高いアルゴリズムを提案する。
二重運動量勾配を利用する最適化スキームを導入し、それによってモデルの収束速度を加速する。
トレーニング精度の情報量とトレーニング周波数を組み合わせて重みを計測する適切な重み選択アルゴリズムを提案する。
この手順は、特定のクライアントの好みによるフェデレーション学習における不公平な問題に対処するのに役立つ。
提案したFedFaアルゴリズムは,精度と公平性の観点からベースラインアルゴリズムよりも優れていることを示す。
関連論文リスト
- FedCAda: Adaptive Client-Side Optimization for Accelerated and Stable Federated Learning [57.38427653043984]
フェデレートラーニング(FL)は、分散クライアント間の機械学習モデルの協調トレーニングにおいて、顕著なアプローチとして登場した。
我々は,この課題に対処するために設計された,革新的なクライアント適応アルゴリズムであるFedCAdaを紹介する。
我々はFedCAdaが適応性、収束性、安定性、全体的な性能の点で最先端の手法より優れていることを実証する。
論文 参考訳(メタデータ) (2024-05-20T06:12:33Z) - Scheduling and Communication Schemes for Decentralized Federated
Learning [0.31410859223862103]
勾配降下(SGD)アルゴリズムを用いた分散連合学習(DFL)モデルが導入された。
DFLの3つのスケジューリングポリシーがクライアントと並列サーバ間の通信のために提案されている。
その結果,提案した計画警察は,収束速度と最終グローバルモデルの両方に影響を及ぼすことがわかった。
論文 参考訳(メタデータ) (2023-11-27T17:35:28Z) - FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup
for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。
我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。
クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文 参考訳(メタデータ) (2023-09-18T12:35:05Z) - Effectively Heterogeneous Federated Learning: A Pairing and Split
Learning Based Approach [16.093068118849246]
本稿では,クライアントと異なる計算資源をペアリングする,新しい分割フェデレーション学習(SFL)フレームワークを提案する。
グラフエッジ選択問題として,学習遅延の最適化を再構築し,グレディアルゴリズムを提案する。
シミュレーションの結果,提案手法はFLトレーニング速度を大幅に向上し,高い性能を実現することができることがわかった。
論文 参考訳(メタデータ) (2023-08-26T11:10:54Z) - Personalizing Federated Learning with Over-the-Air Computations [84.8089761800994]
フェデレートされたエッジ学習は、プライバシー保護の方法で無線ネットワークのエッジにインテリジェンスをデプロイする、有望な技術である。
このような設定の下で、複数のクライアントは、エッジサーバの調整の下でグローバルジェネリックモデルを協調的にトレーニングする。
本稿では,アナログオーバー・ザ・エア計算を用いて通信ボトルネックに対処する分散トレーニングパラダイムを提案する。
論文 参考訳(メタデータ) (2023-02-24T08:41:19Z) - FedPDC:Federated Learning for Public Dataset Correction [1.5533842336139065]
フェデレート学習は、非IIDシナリオにおける従来の機械学習よりも分類精度が低い。
局所モデルのアグリゲーションモードと局所学習の損失関数を最適化するために,新しいアルゴリズムであるFedPDCを提案する。
多くのベンチマーク実験において、FedPDCは極めて不均衡なデータ分布の場合、グローバルモデルの精度を効果的に向上させることができる。
論文 参考訳(メタデータ) (2023-02-24T08:09:23Z) - Speeding up Heterogeneous Federated Learning with Sequentially Trained
Superclients [19.496278017418113]
フェデレートラーニング(FL)は、ローカルなデータ共有を必要とせず、エッジデバイスの協調を可能にすることにより、プライバシに制約のあるシナリオで機械学習モデルをトレーニングすることを可能にする。
このアプローチは、ローカルデータセットとクライアントの計算的不均一性の異なる統計分布のために、いくつかの課題を提起する。
我々は、多種多様なクライアント、すなわちスーパークオリエントの部分グループのシーケンシャルトレーニングを活用して、集中型パラダイムをプライバシに準拠した方法でエミュレートする新しいフレームワークであるFedSeqを提案する。
論文 参考訳(メタデータ) (2022-01-26T12:33:23Z) - Towards Fair Federated Learning with Zero-Shot Data Augmentation [123.37082242750866]
フェデレーション学習は重要な分散学習パラダイムとして登場し、サーバはクライアントデータにアクセスせずに、多くのクライアントがトレーニングしたモデルからグローバルモデルを集約する。
本稿では, 統計的不均一性を緩和し, フェデレートネットワークにおけるクライアント間での精度向上を図るために, ゼロショットデータ拡張を用いた新しいフェデレーション学習システムを提案する。
Fed-ZDAC (クライアントでのゼロショットデータ拡張によるフェデレーション学習) と Fed-ZDAS (サーバでのゼロショットデータ拡張によるフェデレーション学習) の2種類について検討する。
論文 参考訳(メタデータ) (2021-04-27T18:23:54Z) - Straggler-Resilient Federated Learning: Leveraging the Interplay Between
Statistical Accuracy and System Heterogeneity [57.275753974812666]
フェデレーション学習は、データをローカルに保持しながら、クライアントのネットワークに分散したデータサンプルから学習する。
本稿では,学習手順を高速化するために,クライアントデータの統計的特徴を取り入れてクライアントを適応的に選択する,ストラグラー・レジリエントなフェデレーション学習手法を提案する。
論文 参考訳(メタデータ) (2020-12-28T19:21:14Z) - WAFFLe: Weight Anonymized Factorization for Federated Learning [88.44939168851721]
データが機密性やプライベート性を持つドメインでは、ローカルデバイスを離れることなく、分散的に学習できるメソッドには大きな価値があります。
本稿では,フェデレートラーニングのためのウェイト匿名化因子化(WAFFLe)を提案する。これは,インド・バフェット・プロセスとニューラルネットワークの重み要因の共有辞書を組み合わせたアプローチである。
論文 参考訳(メタデータ) (2020-08-13T04:26:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。