論文の概要: FedProf: Optimizing Federated Learning with Dynamic Data Profiling
- arxiv url: http://arxiv.org/abs/2102.01733v1
- Date: Tue, 2 Feb 2021 20:10:14 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-04 17:12:42.828450
- Title: FedProf: Optimizing Federated Learning with Dynamic Data Profiling
- Title（参考訳）: FedProf: 動的データプロファイリングによるフェデレーション学習の最適化
- Authors: Wentai Wu, Ligang He, Weiwei Lin, Rui Mao, Chenlin Huang and Wei Song
- Abstract要約: フェデレートラーニング(FL)は、分散データから学ぶためのプライバシ保護ソリューションとして大きな可能性を示している。
クライアントの大多数は、バイアス、ノイズ、あるいは無関係な低品質のデータのみを保有している。
本研究では,データプライバシを侵害することなくFLを最適化するための新しい手法を提案する。
- 参考スコア（独自算出の注目度）: 9.74942069718191
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated Learning (FL) has shown great potential as a privacy-preserving
solution to learning from decentralized data which are only accessible locally
on end devices (i.e., clients). In many scenarios, however, a large proportion
of the clients are probably in possession of only low-quality data that are
biased, noisy or even irrelevant. As a result, they could significantly degrade
the quality of the global model we aim to build and slow down its convergence
in the course of FL. In light of this, we propose a novel approach to
optimizing FL under such circumstances without breaching data privacy. The key
of our approach is a dynamic data profiling method for generating model-data
footprints on each client and the server. The footprint encodes the
representation of the global model on the corresponding data partition based on
the output distribution of the model's first fully-connected layer (FC-1). By
matching the footprints from clients and the server, we adaptively adjust each
client's opportunity of participation in each FL round to mitigate the impact
from the clients with low-quality data. We have conducted extensive experiments
on public data sets using various FL settings. Results show that our method
significantly reduces the number of rounds (by up to 75\%) and overall time (by
up to 68\%) required to have the global model converge whiling increasing the
global model's accuracy by up to 2.5\%.
- Abstract（参考訳）: フェデレートラーニング(FL)は、エンドデバイス(すなわちクライアント)上でのみローカルにアクセス可能な分散データから学ぶためのプライバシー保護ソリューションとして大きな可能性を示している。
しかし、多くのシナリオでは、クライアントの大部分が、バイアス、ノイズ、あるいは無関係な低品質のデータのみを保有している。
その結果、我々はFLの過程でその収束を構築し、遅らせることを目的としたグローバルモデルの品質を大幅に低下させる可能性があります。
そこで本稿では,データプライバシを侵害することなくFLを最適化する手法を提案する。
このアプローチの鍵となるのは、各クライアントとサーバのモデルデータフットプリントを生成する動的データプロファイリング手法です。
フットプリントは、モデルの最初の完全接続層(fc-1)の出力分布に基づいて対応するデータパーティション上のグローバルモデルの表現を符号化する。
クライアントとサーバのフットプリントを一致させることで、各flラウンドに参加する各クライアントの機会を適応的に調整し、クライアントの低品質データへの影響を軽減します。
我々は,様々な fl 設定を用いた公開データセットの広範な実験を行った。
その結果,グローバルモデルが収束するために必要なラウンド数(最大75\%)と全体時間(最大68\%)を大幅に削減するとともに,グローバルモデルの精度を最大2.5\%向上させることができた。
関連論文リスト
- FedMAP: Unlocking Potential in Personalized Federated Learning through Bi-Level MAP Optimization [11.040916982022978]
フェデレートラーニング(FL)は、分散データに基づく機械学習モデルの協調トレーニングを可能にする。
クライアント間でのデータはしばしば、クラス不均衡、特徴分散スキュー、サンプルサイズ不均衡、その他の現象によって大きく異なる。
本稿では,バイレベル最適化を用いた新しいベイズPFLフレームワークを提案する。
論文 参考訳（メタデータ） (2024-05-29T11:28:06Z) - An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。
従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。
我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
論文 参考訳（メタデータ） (2024-04-29T05:55:23Z) - LEFL: Low Entropy Client Sampling in Federated Learning [6.436397118145477]
Federated Learning(FL)は、複数のクライアントが協力して、プライベートデータを使用して単一のグローバルモデルを最適化する、機械学習パラダイムである。
本稿では,モデルが学習した高レベルの特徴に基づいて,クライアントのクラスタリングを1回行うことで,新たなサンプリング手法LEFLを提案する。
提案手法で選択したサンプルクライアントは,グローバルなデータ分布に対して,相対エントロピーが低いことを示す。
論文 参考訳（メタデータ） (2023-12-29T01:44:20Z) - Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。
本稿では,FedInsという新しいFLアルゴリズムを提案する。
我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文 参考訳（メタデータ） (2023-08-11T09:58:47Z) - FedSampling: A Better Sampling Strategy for Federated Learning [81.85411484302952]
フェデレートラーニング(FL)は、プライバシを保存する方法で分散化されたデータからモデルを学習するための重要なテクニックである。
既存のFLメソッドは通常、各ラウンドでローカルモデル学習のために一様にクライアントをサンプリングする。
フェデレート学習のための新しいデータ一様サンプリング戦略(FedSampling)を提案する。
論文 参考訳（メタデータ） (2023-06-25T13:38:51Z) - Federated Learning for Semantic Parsing: Task Formulation, Evaluation
Setup, New Algorithms [29.636944156801327]
複数のクライアントは、セマンティック解析データを共有せずに、1つのグローバルモデルを協調的にトレーニングする。
Lorarは、各ラウンド中のトレーニング損失の削減に基づいて、グローバルモデル更新に対する各クライアントのコントリビューションを調整する。
より小さなデータセットを持つクライアントは、より大きなパフォーマンス向上を享受する。
論文 参考訳（メタデータ） (2023-05-26T19:25:49Z) - Understanding and Improving Model Averaging in Federated Learning on Heterogeneous Data [9.792805355704203]
We study the loss landscape of model averaging in Federated Learning (FL)。
我々は,グローバルモデルの損失を,クライアントモデルに関連する5つの要因に分解する。
我々は,IMAを訓練後期のグローバルモデルに利用して,期待する速度からの偏差を低減することを提案する。
論文 参考訳（メタデータ） (2023-05-13T06:19:55Z) - DYNAFED: Tackling Client Data Heterogeneity with Global Dynamics [60.60173139258481]
非イド分散データに対する局所訓練は、偏向局所最適化をもたらす。
自然な解決策は、サーバがデータ分散全体のグローバルなビューを持つように、すべてのクライアントデータをサーバに収集することです。
本稿では,データプライバシを損なうことなく,サーバ上でのグローバルな知識の収集と活用を図る。
論文 参考訳（メタデータ） (2022-11-20T06:13:06Z) - Unifying Distillation with Personalization in Federated Learning [1.8262547855491458]
Federated Learning(FL)は、クライアントがデータを共有せずに中央アグリゲータを通じて共同作業モデルを学習する分散プライバシ保護学習技術である。
この設定では、すべてのクライアントが単一の共通予測器(FedAvg)を学習する。
本稿では,2段階のパーソナライズされた学習アルゴリズムPersFLを用いてこの問題に対処する。
第1段階では、PersFLはFLトレーニングフェーズにおいて各クライアントの最適な教師モデルを見つけ、第2段階では、PersFLは有用な知識を抽出する。
論文 参考訳（メタデータ） (2021-05-31T17:54:29Z) - Towards Fair Federated Learning with Zero-Shot Data Augmentation [123.37082242750866]
フェデレーション学習は重要な分散学習パラダイムとして登場し、サーバはクライアントデータにアクセスせずに、多くのクライアントがトレーニングしたモデルからグローバルモデルを集約する。
本稿では, 統計的不均一性を緩和し, フェデレートネットワークにおけるクライアント間での精度向上を図るために, ゼロショットデータ拡張を用いた新しいフェデレーション学習システムを提案する。
Fed-ZDAC (クライアントでのゼロショットデータ拡張によるフェデレーション学習) と Fed-ZDAS (サーバでのゼロショットデータ拡張によるフェデレーション学習) の2種類について検討する。
論文 参考訳（メタデータ） (2021-04-27T18:23:54Z) - Toward Understanding the Influence of Individual Clients in Federated
Learning [52.07734799278535]
フェデレーションラーニングにより、クライアントはプライベートデータを中央サーバーに送信することなく、グローバルモデルを共同でトレーニングできます。
em-Influenceという新しい概念を定義し、パラメータに対するこの影響を定量化し、このメトリクスを推定する効果的な効率的なモデルを提案しました。
論文 参考訳（メタデータ） (2020-12-20T14:34:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。