論文の概要: Personalized Federated Learning with Exact Stochastic Gradient Descent
- arxiv url: http://arxiv.org/abs/2202.09848v1
- Date: Sun, 20 Feb 2022 16:11:20 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-23 09:57:19.344950
- Title: Personalized Federated Learning with Exact Stochastic Gradient Descent
- Title（参考訳）: 特定の確率的勾配による個人化フェデレーション学習
- Authors: Sotirios Nikoloutsopoulos, Iordanis Koutsopoulos, Michalis K. Titsias
- Abstract要約: 我々は、勾配SGD降下の正確な更新を実現するためのパーソナライズされたベンチマークに対する新しいアプローチを提案する。
本稿では、各最適化ラウンドにおいて、ランダムに選択されたクライアントが、損失関数の最適化に向けてクライアント固有の更新を行う新しいSGD型スキームを提案する。
これにより、クライアントと一般的なパラメータによって実行されるパーソナライズされたパラメータの正確な最小化が可能になる。
- 参考スコア（独自算出の注目度）: 15.666401346622575
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In Federated Learning (FL), datasets across clients tend to be heterogeneous
or personalized, and this poses challenges to the convergence of standard FL
schemes that do not account for personalization. To address this, we present a
new approach for personalized FL that achieves exact stochastic gradient
descent (SGD) minimization. We start from the FedPer (Arivazhagan et al., 2019)
neural network (NN) architecture for personalization, whereby the NN has two
types of layers: the first ones are the common layers across clients, while the
few final ones are client-specific and are needed for personalization. We
propose a novel SGD-type scheme where, at each optimization round, randomly
selected clients perform gradient-descent updates over their client-specific
weights towards optimizing the loss function on their own datasets, without
updating the common weights. At the final update, each client computes the
joint gradient over both client-specific and common weights and returns the
gradient of common parameters to the server. This allows to perform an exact
and unbiased SGD step over the full set of parameters in a distributed manner,
i.e. the updates of the personalized parameters are performed by the clients
and those of the common ones by the server. Our method is superior to FedAvg
and FedPer baselines in multi-class classification benchmarks such as Omniglot,
CIFAR-10, MNIST, Fashion-MNIST, and EMNIST and has much lower computational
complexity per round.
- Abstract（参考訳）: フェデレートラーニング(FL)では、クライアント間のデータセットは異種またはパーソナライズされがちであり、これはパーソナライズを考慮しない標準的なFLスキームの収束に困難をもたらす。
そこで本研究では,SGD(Stochastic gradient descent)の最小化を実現したパーソナライズFLに対する新しいアプローチを提案する。
私たちは、パーソナライズのためのFedPer(Arivazhagan et al., 2019)ニューラルネットワーク(NN)アーキテクチャから始まり、NNには2つのタイプのレイヤがあります。
本稿では、各最適化ラウンドにおいて、ランダムに選択されたクライアントが、共通の重みを更新することなく、自身のデータセット上の損失関数を最適化するために、クライアント固有の重みに対して勾配差更新を行う新しいSGD型スキームを提案する。
最終更新では、各クライアントはクライアント固有のものと共通する両方の重みのジョイント勾配を計算し、共通のパラメータの勾配をサーバに返す。
これにより、分散された方法でパラメータの完全なセット、すなわちパーソナライズされたパラメータの更新がクライアントとサーバによって実行される、正確に偏りのないSGDステップを実行することができる。
本手法はOmniglot, CIFAR-10, MNIST, Fashion-MNIST, EMNISTなどのマルチクラス分類ベンチマークにおいてFedAvgやFedPerのベースラインよりも優れており, ラウンド毎の複雑性がはるかに低い。
関連論文リスト
- Multi-Level Additive Modeling for Structured Non-IID Federated Learning [54.53672323071204]
我々は、異種クライアント間のより良い知識共有のために、マルチレベル付加モデル(MAM)と呼ばれるマルチレベル構造で編成されたモデルを訓練する。
フェデレートMAM(FeMAM)では、各クライアントは各レベル毎に少なくとも1つのモデルに割り当てられ、そのパーソナライズされた予測は、各レベルに割り当てられたモデルの出力を合計する。
実験により、FeMAMは既存のクラスタリングFLおよびパーソナライズされたFLメソッドを様々な非IID設定で超越していることが示された。
論文 参考訳（メタデータ） (2024-05-26T07:54:53Z) - MAP: Model Aggregation and Personalization in Federated Learning with Incomplete Classes [49.22075916259368]
一部の実世界のアプリケーションでは、データサンプルは通常、ローカルデバイスに分散される。
本稿では,クライアントが不完全なクラスを所有する特別なI.I.D.シーンに焦点を当てる。
提案するMAPアルゴリズムは,FLにおけるアグリゲーションとパーソナライゼーションの目標を同時に達成できる。
論文 参考訳（メタデータ） (2024-04-14T12:22:42Z) - FedSelect: Personalized Federated Learning with Customized Selection of Parameters for Fine-Tuning [9.22574528776347]
FedSelect は Lottery Ticket 仮説に使用される反復的なサブネットワーク発見手順にインスパイアされた新しい PFL アルゴリズムである。
我々は、FedSelectがクライアントデータの不均一性設定に挑戦して、最近の最先端のPFLアルゴリズムより優れていることを示す。
論文 参考訳（メタデータ） (2024-04-03T05:36:21Z) - Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。
本稿では,FedInsという新しいFLアルゴリズムを提案する。
我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文 参考訳（メタデータ） (2023-08-11T09:58:47Z) - FedSelect: Customized Selection of Parameters for Fine-Tuning during Personalized Federated Learning [0.873811641236639]
本稿では,クライアントのサブネットワーク構造とパラメータを直接パーソナライズする新しいFLフレームワークであるFedSelectを提案する。
本手法はCIFAR-10において有望な結果が得られることを示す。
論文 参考訳（メタデータ） (2023-06-23T02:22:04Z) - FedDWA: Personalized Federated Learning with Dynamic Weight Adjustment [20.72576355616359]
本稿では,この問題を解決するために,emphFedDWA (Federated Learning with Dynamic Weight Adjustment) と呼ばれる新しいPFLアルゴリズムを提案する。
FedDWAは、クライアントから収集したモデルに基づいて、パーソナライズされたアグリゲーション重みを計算する。
我々は,5つの実データを用いて広範囲な実験を行い,FedDWAが通信トラフィックを大幅に削減し,最先端のアプローチよりもはるかに高いモデル精度を達成できることを実証した。
論文 参考訳（メタデータ） (2023-05-10T13:12:07Z) - Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。
FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。
PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
論文 参考訳（メタデータ） (2023-05-01T20:04:46Z) - Re-Weighted Softmax Cross-Entropy to Control Forgetting in Federated
Learning [14.196701066823499]
フェデレートラーニング(Federated Learning)では、独立したクライアントノードの集合で計算されたモデル更新を集約することによって、グローバルモデルが学習される。
我々は、個々のクライアントモデルが、他のクライアントのデータに関して破滅的な忘れを経験していることを示します。
本稿では,損失の計算に先立ってソフトマックスのロジットを再重み付けすることで,クロスエントロピーの目標を周期的に修正する効率的な手法を提案する。
論文 参考訳（メタデータ） (2023-04-11T14:51:55Z) - Toward Understanding the Influence of Individual Clients in Federated
Learning [52.07734799278535]
フェデレーションラーニングにより、クライアントはプライベートデータを中央サーバーに送信することなく、グローバルモデルを共同でトレーニングできます。
em-Influenceという新しい概念を定義し、パラメータに対するこの影響を定量化し、このメトリクスを推定する効果的な効率的なモデルを提案しました。
論文 参考訳（メタデータ） (2020-12-20T14:34:36Z) - Personalized Federated Learning with First Order Model Optimization [76.81546598985159]
そこで我々は,各クライアントが他のクライアントと連携して,クライアント固有の目的ごとのより強力なモデルを得る,フェデレーション学習の代替案を提案する。
基礎となるデータ分布やクライアントの類似性に関する知識を前提とせず、各クライアントが関心のある任意のターゲット分布を最適化できるようにします。
この手法は既存の代替品を上回り、ローカルデータ配信以外の転送のようなパーソナライズされたFLの新機能を可能にする。
論文 参考訳（メタデータ） (2020-12-15T19:30:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。