論文の概要: GTG-Shapley: Efficient and Accurate Participant Contribution Evaluation
in Federated Learning
- arxiv url: http://arxiv.org/abs/2109.02053v1
- Date: Sun, 5 Sep 2021 12:17:00 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-07 16:41:27.660422
- Title: GTG-Shapley: Efficient and Accurate Participant Contribution Evaluation
in Federated Learning
- Title（参考訳）: GTG-Shapley:フェデレートラーニングにおける効率的かつ正確な参加者貢献評価
- Authors: Zelei Liu, Yuanyuan Chen, Han Yu, Yang Liu and Lizhen Cui
- Abstract要約: Federated Learning(FL)は、コラボレーティブ機械学習とデータのプライバシ保護のギャップを埋めるものだ。
個人データを公開せずに最終FLモデルの性能に対する参加者の貢献を適切に評価することが不可欠である。
本稿では,この課題に対処するためのガイドトラニケーションのグラディエント・シェープ手法を提案する。
- 参考スコア（独自算出の注目度）: 25.44023017628766
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated Learning (FL) bridges the gap between collaborative machine
learning and preserving data privacy. To sustain the long-term operation of an
FL ecosystem, it is important to attract high quality data owners with
appropriate incentive schemes. As an important building block of such incentive
schemes, it is essential to fairly evaluate participants' contribution to the
performance of the final FL model without exposing their private data. Shapley
Value (SV)-based techniques have been widely adopted to provide fair evaluation
of FL participant contributions. However, existing approaches incur significant
computation costs, making them difficult to apply in practice. In this paper,
we propose the Guided Truncation Gradient Shapley (GTG-Shapley) approach to
address this challenge. It reconstructs FL models from gradient updates for SV
calculation instead of repeatedly training with different combinations of FL
participants. In addition, we design a guided Monte Carlo sampling approach
combined with within-round and between-round truncation to further reduce the
number of model reconstructions and evaluations required, through extensive
experiments under diverse realistic data distribution settings. The results
demonstrate that GTG-Shapley can closely approximate actual Shapley values,
while significantly increasing computational efficiency compared to the state
of the art, especially under non-i.i.d. settings.
- Abstract（参考訳）: Federated Learning(FL)は、コラボレーティブ機械学習とデータのプライバシ保護のギャップを埋めるものだ。
FLエコシステムの長期運用を維持するためには,高品質なデータ所有者を適切なインセンティブ方式で惹きつけることが重要である。
このようなインセンティブスキームの重要なビルディングブロックとして、個人データを公開せずに最終FLモデルの性能に対する参加者の貢献を適切に評価することが不可欠である。
FL参加者の貢献を公平に評価するために,共有価値(SV)に基づく技術が広く採用されている。
しかし、既存のアプローチでは計算コストが大きくなり、実際に適用するのは困難である。
本稿では,この課題に対処するために,GTG-Shapley(GTG-Shapley)アプローチを提案する。
FL参加者の異なる組み合わせで繰り返しトレーニングする代わりに、SV計算のための勾配更新からFLモデルを再構成する。
さらに,多様な現実的なデータ配信環境下での広範囲な実験を通じて,モンテカルロサンプリング手法と,内部および内部のトランケーションを併用して,モデル再構成と評価のさらなる削減を図る。
その結果,gtg-shapley は実際のシャプリー値と密接に近似できるが,特に非i.i.d 条件下では計算効率が著しく向上することが示された。
設定。
関連論文リスト
- Can We Theoretically Quantify the Impacts of Local Updates on the Generalization Performance of Federated Learning? [50.03434441234569]
フェデレートラーニング(FL)は、直接データ共有を必要とせず、さまざまなサイトで機械学習モデルをトレーニングする効果により、大きな人気を集めている。
局所的な更新を伴うFLは通信効率のよい分散学習フレームワークであることが様々なアルゴリズムによって示されているが、局所的な更新によるFLの一般化性能は比較的低い。
論文 参考訳（メタデータ） (2024-09-05T19:00:18Z) - Redefining Contributions: Shapley-Driven Federated Learning [3.9539878659683363]
フェデレーテッド・ラーニング(FL)は、機械学習において重要なアプローチとして登場した。
参加者が平等に、あるいは正直に貢献しない場合、グローバルなモデル収束を保証することは困難です。
本稿では,FLにおけるコントリビューションの詳細な評価のために,ShapFedと呼ばれる新しいコントリビューションアセスメントアセスメント手法を提案する。
論文 参考訳（メタデータ） (2024-06-01T22:40:31Z) - Don't Forget What I did?: Assessing Client Contributions in Federated
Learning [9.56869689239781]
Federated Learning(FL)は、複数のクライアントがプライベートデータを公開せずにMLモデルをトレーニングする、コラボレーティブ機械学習(ML)アプローチである。
本研究では,FLContrib と呼ばれる歴史を意識したゲーム理論フレームワークを提案し,クライアントのサブセットがFLトレーニングの各時期に参加する際にクライアントのコントリビューションを評価する。
FLContribを用いて、FLトレーニングにおいてデータ中毒を行う不適切なクライアントを検出する。
論文 参考訳（メタデータ） (2024-03-11T20:39:32Z) - Take History as a Mirror in Heterogeneous Federated Learning [9.187993085263209]
フェデレートラーニング(FL)は、いくつかのクライアントが生データを開示することなく、機械学習モデルを協調的にトレーニングすることを可能にする。
本稿では,FedHist(Federated Historical Learning)と呼ばれる新しい非同期FLフレームワークを提案する。
FedHistは、非IIDデータと勾配の安定化によって引き起こされる課題に効果的に対処する。
論文 参考訳（メタデータ） (2023-12-16T11:40:49Z) - Adaptive Model Pruning and Personalization for Federated Learning over
Wireless Networks [72.59891661768177]
フェデレーション学習(FL)は、データプライバシを保護しながら、エッジデバイス間での分散学習を可能にする。
これらの課題を克服するために、部分的なモデルプルーニングとパーソナライズを備えたFLフレームワークを検討する。
このフレームワークは、学習モデルを、データ表現を学ぶためにすべてのデバイスと共有されるモデルプルーニングと、特定のデバイスのために微調整されるパーソナライズされた部分とで、グローバルな部分に分割する。
論文 参考訳（メタデータ） (2023-09-04T21:10:45Z) - Integrating Local Real Data with Global Gradient Prototypes for
Classifier Re-Balancing in Federated Long-Tailed Learning [60.41501515192088]
フェデレートラーニング(FL)は、グローバルモデルを協調的にトレーニングする複数のクライアントを含む、人気のある分散ラーニングパラダイムになっています。
データサンプルは通常、現実世界の長い尾の分布に従っており、分散化された長い尾のデータのFLは、貧弱なグローバルモデルをもたらす。
本研究では、局所的な実データとグローバルな勾配のプロトタイプを統合し、局所的なバランスの取れたデータセットを形成する。
論文 参考訳（メタデータ） (2023-01-25T03:18:10Z) - Efficient Split-Mix Federated Learning for On-Demand and In-Situ
Customization [107.72786199113183]
フェデレートラーニング(FL)は、複数の参加者が生データを共有せずに学習をコラボレーションするための分散ラーニングフレームワークを提供する。
本稿では, モデルサイズとロバスト性をその場でカスタマイズできる, 不均一な参加者のための新しいスプリット・ミクス・FL戦略を提案する。
論文 参考訳（メタデータ） (2022-03-18T04:58:34Z) - Federated Robustness Propagation: Sharing Adversarial Robustness in
Federated Learning [98.05061014090913]
フェデレートラーニング(FL)は、生データを共有することなく、参加するユーザのセットから学習する、人気のある分散ラーニングスキーマとして登場した。
敵対的トレーニング(AT)は集中学習のための健全なソリューションを提供する。
既存のFL技術では,非IDユーザ間の対向的ロバスト性を効果的に広めることができないことを示す。
本稿では, バッチ正規化統計量を用いてロバスト性を伝達する, 単純かつ効果的な伝搬法を提案する。
論文 参考訳（メタデータ） (2021-06-18T15:52:33Z) - FedScale: Benchmarking Model and System Performance of Federated
Learning [4.1617240682257925]
FedScaleは、連邦学習(FL)研究のための、挑戦的で現実的なベンチマークデータセットのセットである。
FedScaleはオープンソースで、寛容なライセンスを持ち、積極的にメンテナンスされている。
論文 参考訳（メタデータ） (2021-05-24T15:55:27Z) - A Principled Approach to Data Valuation for Federated Learning [73.19984041333599]
フェデレートラーニング(FL)は、分散データソース上で機械学習(ML)モデルをトレーニングする一般的なテクニックである。
Shapley value (SV) はデータ値の概念として多くのデシラタを満たすユニークなペイオフスキームを定義する。
本稿では,FL に対応する SV の変種を提案する。
論文 参考訳（メタデータ） (2020-09-14T04:37:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。