論文の概要: Federated Learning with Server Learning: Enhancing Performance for
Non-IID Data
- arxiv url: http://arxiv.org/abs/2210.02614v1
- Date: Thu, 6 Oct 2022 00:27:16 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-07 18:07:00.502273
- Title: Federated Learning with Server Learning: Enhancing Performance for
Non-IID Data
- Title（参考訳）: サーバ学習によるフェデレーションラーニング - 非IIDデータのパフォーマンス向上
- Authors: Van Sy Mai, Richard J. La, Tao Zhang
- Abstract要約: フェデレートラーニング(FL)は、ローカルデータサンプルを使用したクライアントでの分散ラーニングの一般的な手段となっている。
近年の研究では、クライアントデータが独立で、同一に分散されていない場合、FLは学習が遅く、性能が低くなることが示されている。
本稿では,中央サーバが小さなデータセットにアクセスし,そこから学習し,その知識をグローバルモデルに融合する,新たなフェデレーション学習アルゴリズムを提案する。
- 参考スコア（独自算出の注目度）: 4.054721271577353
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning (FL) has become a popular means for distributed learning
at clients using local data samples. However, recent studies have shown that FL
may experience slow learning and poor performance when client data are not
independent and identically distributed (IID). This paper proposes a new
federated learning algorithm, where the central server has access to a small
dataset, learns from it, and fuses the knowledge into the global model through
the federated learning process. This new approach, referred to as Federated
learning with Server Learning or FSL, is complementary to and can be combined
with other FL learning algorithms. We prove the convergence of FSL and
demonstrate its benefits through analysis and simulations. We also reveal an
inherent trade-off: when the current model is far from any local minimizer,
server learning can significantly improve and accelerate FL. On the other hand,
when the model is close to a local minimizer, server learning could potentially
affect the convergence neighborhood of FL due to variances in the estimated
gradient used by the server. We show via simulations that such trade-off can be
tuned easily to provide significant benefits, even when the server dataset is
very small.
- Abstract（参考訳）: フェデレーション学習(fl)は、ローカルデータサンプルを使用してクライアントで分散学習するための一般的な手段となっている。
しかし、最近の研究では、クライアントデータが独立で同一の分散(IID)をしていない場合、FLは学習が遅く、性能が低くなることが示されている。
本稿では,中央サーバが小さなデータセットにアクセスし,そこから学習し,その知識をフェデレート学習プロセスを通じてグローバルモデルに融合する,新たなフェデレーション学習アルゴリズムを提案する。
この新しいアプローチは、Federated Learning with Server LearningまたはFSLと呼ばれ、補完的なものであり、他のFL学習アルゴリズムと組み合わせることができる。
fslの収束を証明し,解析とシミュレーションによりその利点を実証する。
現在のモデルがローカルな最小値から遠く離れている場合、サーバ学習はFLを大幅に改善し、加速することができます。
一方、モデルが局所最小化器に近い場合、サーバ学習は、サーバが使用する推定勾配のばらつきのために、flの収束近傍に影響を与える可能性がある。
サーバデータセットが非常に小さい場合でも、このようなトレードオフを簡単に調整して大きなメリットを提供できることをシミュレーションで示しています。
関連論文リスト
- FedClust: Tackling Data Heterogeneity in Federated Learning through Weight-Driven Client Clustering [26.478852701376294]
フェデレートラーニング(Federated Learning, FL)は、分散機械学習のパラダイムである。
FLの主な課題の1つは、クライアントデバイスにまたがる不均一なデータ分散の存在である。
我々は,局所モデル重みとクライアントのデータ分布の相関を利用したCFLの新しい手法であるFedClustを提案する。
論文 参考訳（メタデータ） (2024-07-09T02:47:16Z) - An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。
従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。
我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
論文 参考訳（メタデータ） (2024-04-29T05:55:23Z) - Leveraging Foundation Models to Improve Lightweight Clients in Federated
Learning [16.684749528240587]
Federated Learning(FL)は、世界中に散在するクライアントが機密データを漏らさずにグローバルモデルを共同で学習することを可能にする、分散トレーニングパラダイムである。
FLは、クライアント間での不均一なデータ分散という形で大きな課題に直面しており、パフォーマンスとロバスト性は低下している。
本稿では,軽量クライアントモデルの連合訓練を支援し,推論コストを低く抑えつつ,不均一なデータ設定下での性能を向上させる基礎モデル蒸留について紹介する。
論文 参考訳（メタデータ） (2023-11-14T19:10:56Z) - FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup
for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。
我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。
クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文 参考訳（メタデータ） (2023-09-18T12:35:05Z) - When to Trust Aggregated Gradients: Addressing Negative Client Sampling
in Federated Learning [41.51682329500003]
本稿では,各ラウンドにおける集約勾配に対するサーバ学習率を調整するための新しい学習率適応機構を提案する。
我々は、最適なサーバ学習率に肯定的な有意義で堅牢な指標を見つけるために、理論的な推論を行う。
論文 参考訳（メタデータ） (2023-01-25T03:52:45Z) - FLIS: Clustered Federated Learning via Inference Similarity for Non-IID
Data Distribution [7.924081556869144]
本稿では,クライアント集団をクラスタにグループ化し,共同でトレーニング可能なデータ配信を行う新しいアルゴリズムFLISを提案する。
CIFAR-100/10, SVHN, FMNISTデータセット上の最先端ベンチマークに対するFLISの利点を示す実験結果を示す。
論文 参考訳（メタデータ） (2022-08-20T22:10:48Z) - Acceleration of Federated Learning with Alleviated Forgetting in Local
Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。
我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。
我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文 参考訳（メタデータ） (2022-03-05T02:31:32Z) - Towards Fair Federated Learning with Zero-Shot Data Augmentation [123.37082242750866]
フェデレーション学習は重要な分散学習パラダイムとして登場し、サーバはクライアントデータにアクセスせずに、多くのクライアントがトレーニングしたモデルからグローバルモデルを集約する。
本稿では, 統計的不均一性を緩和し, フェデレートネットワークにおけるクライアント間での精度向上を図るために, ゼロショットデータ拡張を用いた新しいフェデレーション学習システムを提案する。
Fed-ZDAC (クライアントでのゼロショットデータ拡張によるフェデレーション学習) と Fed-ZDAS (サーバでのゼロショットデータ拡張によるフェデレーション学習) の2種類について検討する。
論文 参考訳（メタデータ） (2021-04-27T18:23:54Z) - Exploiting Shared Representations for Personalized Federated Learning [54.65133770989836]
本稿では,クライアント間の共有データ表現と,クライアント毎のユニークなローカルヘッダを学習するための,新しいフェデレーション学習フレームワークとアルゴリズムを提案する。
提案アルゴリズムは, クライアント間の分散計算能力を利用して, 表現の更新毎に低次元の局所パラメータに対して, 多数の局所更新を行う。
この結果は、データ分布間の共有低次元表現を学習することを目的とした、幅広い種類の問題に対するフェデレーション学習以上の関心を持っている。
論文 参考訳（メタデータ） (2021-02-14T05:36:25Z) - Federated Residual Learning [53.77128418049985]
クライアントはローカルモデルを個別に訓練し、サーバ側で共有するモデルと共同で予測を行う。
この新しいフェデレートされた学習フレームワークを使用することで、統合トレーニングが提供するパフォーマンス上のメリットをすべて享受しながら、中央共有モデルの複雑さを最小限にすることができる。
論文 参考訳（メタデータ） (2020-03-28T19:55:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。