論文の概要: Toward Understanding the Influence of Individual Clients in Federated
Learning
- arxiv url: http://arxiv.org/abs/2012.10936v3
- Date: Tue, 13 Apr 2021 02:19:12 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-01 08:11:02.702128
- Title: Toward Understanding the Influence of Individual Clients in Federated
Learning
- Title(参考訳): フェデレーション学習における個人顧客の影響の理解に向けて
- Authors: Yihao Xue, Chaoyue Niu, Zhenzhe Zheng, Shaojie Tang, Chengfei Lv, Fan
Wu, Guihai Chen
- Abstract要約: フェデレーションラーニングにより、クライアントはプライベートデータを中央サーバーに送信することなく、グローバルモデルを共同でトレーニングできます。
em-Influenceという新しい概念を定義し、パラメータに対するこの影響を定量化し、このメトリクスを推定する効果的な効率的なモデルを提案しました。
- 参考スコア(独自算出の注目度): 52.07734799278535
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Federated learning allows mobile clients to jointly train a global model
without sending their private data to a central server. Extensive works have
studied the performance guarantee of the global model, however, it is still
unclear how each individual client influences the collaborative training
process. In this work, we defined a new notion, called {\em Fed-Influence}, to
quantify this influence over the model parameters, and proposed an effective
and efficient algorithm to estimate this metric. In particular, our design
satisfies several desirable properties: (1) it requires neither retraining nor
retracing, adding only linear computational overhead to clients and the server;
(2) it strictly maintains the tenets of federated learning, without revealing
any client's local private data; and (3) it works well on both convex and
non-convex loss functions, and does not require the final model to be optimal.
Empirical results on a synthetic dataset and the FEMNIST dataset demonstrate
that our estimation method can approximate Fed-Influence with small bias.
Further, we show an application of Fed-Influence in model debugging.
- Abstract(参考訳): フェデレートラーニングにより、モバイルクライアントは、プライベートデータを中央サーバに送信することなく、グローバルモデルを共同でトレーニングできる。
広範な研究によってグローバルモデルのパフォーマンス保証が研究されているが、個々のクライアントが協調トレーニングプロセスにどのように影響するかはまだ不明である。
本研究では,モデルパラメータに対する影響を定量化するための新しい概念である「フェデレーション・インフルエンス」を定義し,この指標を推定するための効率的かつ効率的なアルゴリズムを提案した。
具体的には,(1) クライアントとサーバに線形計算オーバーヘッドのみを追加すること,(2) クライアントのローカルなプライベートデータを公開せずにフェデレート学習のテテットを厳格に維持すること,(3) 凸と非凸の両方の損失関数でうまく機能し,最終モデルが最適である必要はないこと,などが望ましい。
合成データセットとフェムニストデータセットを用いた実験結果から,この推定手法は少ないバイアスでフェデレンスを近似できることを示した。
さらに,モデルデバッギングにおけるFed-Influenceの適用例を示す。
関連論文リスト
- Dirichlet-based Uncertainty Quantification for Personalized Federated
Learning with Improved Posterior Networks [9.54563359677778]
本稿では,グローバルおよびパーソナライズされたモデルの中からモデルを選択可能なフェデレーション学習への新たなアプローチを提案する。
これは、局所的およびグローバルな分布内および分布外データを検出するのに役立つ予測不確実性の慎重なモデリングによって達成される。
一般的な実世界の画像データセットに対する総合的な実験的評価は、アウト・オブ・ディストリビューション・データの存在下でのモデルの優れた性能を示している。
論文 参考訳(メタデータ) (2023-12-18T14:30:05Z) - Heterogeneous Federated Learning via Personalized Generative Networks [7.629157720712401]
フェデレートラーニング(FL)は、データを共有することなく、複数のクライアントが共通のグローバル機械学習モデルを構築することを可能にする。
本稿では,サーバがクライアント固有のジェネレータを訓練するクライアント間の知識伝達手法を提案する。
論文 参考訳(メタデータ) (2023-08-25T09:37:02Z) - Federated Learning for Semantic Parsing: Task Formulation, Evaluation
Setup, New Algorithms [29.636944156801327]
複数のクライアントは、セマンティック解析データを共有せずに、1つのグローバルモデルを協調的にトレーニングする。
Lorarは、各ラウンド中のトレーニング損失の削減に基づいて、グローバルモデル更新に対する各クライアントのコントリビューションを調整する。
より小さなデータセットを持つクライアントは、より大きなパフォーマンス向上を享受する。
論文 参考訳(メタデータ) (2023-05-26T19:25:49Z) - Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。
FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。
PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
論文 参考訳(メタデータ) (2023-05-01T20:04:46Z) - FedDM: Iterative Distribution Matching for Communication-Efficient
Federated Learning [87.08902493524556]
フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。
我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。
そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
論文 参考訳(メタデータ) (2022-07-20T04:55:18Z) - Straggler-Resilient Personalized Federated Learning [55.54344312542944]
フェデレーション学習は、プライバシと通信の制限を尊重しながら、クライアントの大規模なネットワークに分散されたサンプルからのトレーニングモデルを可能にする。
これら2つのハードルを同時に処理する理論的なスピードアップを保証する新しいアルゴリズム手法を開発した。
提案手法は,すべてのクライアントのデータを用いてグローバルな共通表現を見つけ,各クライアントに対してパーソナライズされたソリューションにつながるパラメータの集合を学習するために,表現学習理論からのアイデアに依存している。
論文 参考訳(メタデータ) (2022-06-05T01:14:46Z) - DRFLM: Distributionally Robust Federated Learning with Inter-client
Noise via Local Mixup [58.894901088797376]
連合学習は、生データをリークすることなく、複数の組織のデータを使用してグローバルモデルをトレーニングするための有望なアプローチとして登場した。
上記の2つの課題を同時に解決するための一般的な枠組みを提案する。
我々は、ロバストネス解析、収束解析、一般化能力を含む包括的理論的解析を提供する。
論文 参考訳(メタデータ) (2022-04-16T08:08:29Z) - Towards Fair Federated Learning with Zero-Shot Data Augmentation [123.37082242750866]
フェデレーション学習は重要な分散学習パラダイムとして登場し、サーバはクライアントデータにアクセスせずに、多くのクライアントがトレーニングしたモデルからグローバルモデルを集約する。
本稿では, 統計的不均一性を緩和し, フェデレートネットワークにおけるクライアント間での精度向上を図るために, ゼロショットデータ拡張を用いた新しいフェデレーション学習システムを提案する。
Fed-ZDAC (クライアントでのゼロショットデータ拡張によるフェデレーション学習) と Fed-ZDAS (サーバでのゼロショットデータ拡張によるフェデレーション学習) の2種類について検討する。
論文 参考訳(メタデータ) (2021-04-27T18:23:54Z) - FedProf: Optimizing Federated Learning with Dynamic Data Profiling [9.74942069718191]
フェデレートラーニング(FL)は、分散データから学ぶためのプライバシ保護ソリューションとして大きな可能性を示している。
クライアントの大多数は、バイアス、ノイズ、あるいは無関係な低品質のデータのみを保有している。
本研究では,データプライバシを侵害することなくFLを最適化するための新しい手法を提案する。
論文 参考訳(メタデータ) (2021-02-02T20:10:14Z) - CatFedAvg: Optimising Communication-efficiency and Classification
Accuracy in Federated Learning [2.2172881631608456]
そこで我々はCatFedAvgというフェデレート学習アルゴリズムを新たに導入した。
コミュニケーション効率は向上するが、NIST戦略のカテゴリカバレッジを用いて学習の質を向上させる。
実験の結果,FedAvgよりもネットワーク転送率が70%低いMデータセットでは,10%の絶対点精度が向上していることがわかった。
論文 参考訳(メタデータ) (2020-11-14T06:52:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。