論文の概要: FedBN: Federated Learning on Non-IID Features via Local Batch
Normalization
- arxiv url: http://arxiv.org/abs/2102.07623v1
- Date: Mon, 15 Feb 2021 16:04:10 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-16 15:34:21.220858
- Title: FedBN: Federated Learning on Non-IID Features via Local Batch
Normalization
- Title（参考訳）: FedBN: 局所バッチ正規化による非IID機能のフェデレーション学習
- Authors: Xiaoxiao Li, Meirui Jiang, Xiaofei Zhang, Michael Kamp, Qi Dou
- Abstract要約: フェデレーション学習(fl)の新たなパラダイムは、生データを集中的に集約することなく、ネットワークエッジにおける深層モデルの協調的なトレーニングを可能にすることを目指している。
モデルの平均化に先立って,局所的バッチ正規化を用いて特徴シフトを緩和する有効な手法を提案する。
FedBNと呼ばれるこの方式は、古典的なFedAvgと、非IDデータの最先端の両方を上回っている。
- 参考スコア（独自算出の注目度）: 23.519212374186232
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The emerging paradigm of federated learning (FL) strives to enable
collaborative training of deep models on the network edge without centrally
aggregating raw data and hence improving data privacy. In most cases, the
assumption of independent and identically distributed samples across local
clients does not hold for federated learning setups. Under this setting, neural
network training performance may vary significantly according to the data
distribution and even hurt training convergence. Most of the previous work has
focused on a difference in the distribution of labels or client shifts. Unlike
those settings, we address an important problem of FL, e.g., different
scanners/sensors in medical imaging, different scenery distribution in
autonomous driving (highway vs. city), where local clients store examples with
different distributions compared to other clients, which we denote as feature
shift non-iid. In this work, we propose an effective method that uses local
batch normalization to alleviate the feature shift before averaging models. The
resulting scheme, called FedBN, outperforms both classical FedAvg, as well as
the state-of-the-art for non-iid data (FedProx) on our extensive experiments.
These empirical results are supported by a convergence analysis that shows in a
simplified setting that FedBN has a faster convergence rate than FedAvg. Code
is available at https://github.com/med-air/FedBN.
- Abstract（参考訳）: フェデレーション学習(fl)の新たなパラダイムは、生データを集中的に集約することなく、ネットワークエッジにおける深層モデルの協調的なトレーニングを可能にすることで、データのプライバシの向上を目指している。
ほとんどの場合、ローカルクライアントにまたがる独立した同一の分散サンプルの仮定は、フェデレーション学習のセットアップには当てはまりません。
この設定の下では、ニューラルネットワークのトレーニング性能はデータ分布によって大きく異なり、トレーニング収束を損なうこともある。
以前の作業の大部分は、ラベルやクライアントシフトの分布の違いに重点を置いていました。
これらの設定とは異なり、医療画像における異なるスキャナー/センサー、自動運転における異なる風景分布(ハイウェイとシティ)、ローカルクライアントが他のクライアントと異なる分布のサンプルを格納するなど、FLの重要な問題に対処します。
本研究では,局所バッチ正規化をモデル平均化前に特徴シフトを緩和する効果的な手法を提案する。
FedBNと呼ばれるこのスキームは、従来のFedAvgと、我々の広範な実験における非IDデータ(FedProx)の最先端の両方を上回っている。
これらの実験結果は、FedBNがFedAvgよりも高速な収束速度を持つという簡易な設定で収束解析によって支持される。
コードはhttps://github.com/med-air/FedBNで入手できる。
関連論文リスト
- FedUV: Uniformity and Variance for Heterogeneous Federated Learning [5.9330433627374815]
フェデレーション学習は、広く分散されたデータでニューラルネットワークをトレーニングするための有望なフレームワークである。
最近の研究によると、ネットワークの最終層が局所バイアスの傾向が最も大きいためである。
凍結重量が一定の特異値をもたらすという観測によって動機付けられた重みにSVDを適用して分類器の訓練力学を考察する。
論文 参考訳（メタデータ） (2024-02-27T15:53:15Z) - FedImpro: Measuring and Improving Client Update in Federated Learning [77.68805026788836]
フェデレートラーニング(FL)モデルは、不均一なデータによって引き起こされるクライアントのドリフトを経験することが多い。
我々は、クライアントのドリフトに対する別の視点を示し、改善されたローカルモデルを生成することにより、それを緩和することを目指している。
論文 参考訳（メタデータ） (2024-02-10T18:14:57Z) - Leveraging Function Space Aggregation for Federated Learning at Scale [20.866482460590973]
クライアントが学習した関数に対する局所近似を集約するアルゴリズムであるFedFishを提案する。
我々はFedFishを、現実的で大規模なクロスデバイスベンチマークで評価する。
論文 参考訳（メタデータ） (2023-11-17T02:37:10Z) - Benchmarking FedAvg and FedCurv for Image Classification Tasks [1.376408511310322]
本稿では,同じフェデレーションネットワークにおけるデータの統計的不均一性の問題に焦点をあてる。
FedAvg、FedProx、Federated Curvature(FedCurv)など、いくつかのフェデレートラーニングアルゴリズムがすでに提案されている。
この研究の副産物として、FLコミュニティからのさらなる比較を容易にするために使用したデータセットの非IIDバージョンをリリースします。
論文 参考訳（メタデータ） (2023-03-31T10:13:01Z) - FedFA: Federated Feature Augmentation [25.130087374092383]
フェデレーション学習は、複数のパーティが生データを交換することなく、ディープモデルを協調的にトレーニングすることを可能にする。
本研究の主な目的は,クライアントのサンプルの特徴変化に対処する堅牢なフェデレーション学習アルゴリズムを開発することである。
我々は,フェデレーション機能強化の観点から,フェデレーション学習に取り組むためのFedFAを提案する。
論文 参考訳（メタデータ） (2023-01-30T15:39:55Z) - FedSkip: Combatting Statistical Heterogeneity with Federated Skip
Aggregation [95.85026305874824]
我々はFedSkipと呼ばれるデータ駆動型アプローチを導入し、フェデレーション平均化を定期的にスキップし、ローカルモデルをクロスデバイスに分散することで、クライアントの最適化を改善する。
我々は、FedSkipがはるかに高い精度、より良いアグリゲーション効率、競合する通信効率を達成することを示すために、さまざまなデータセットに関する広範な実験を行う。
論文 参考訳（メタデータ） (2022-12-14T13:57:01Z) - FedAvg with Fine Tuning: Local Updates Lead to Representation Learning [54.65133770989836]
Federated Averaging (FedAvg)アルゴリズムは、クライアントノードでのいくつかのローカルな勾配更新と、サーバでのモデル平均更新の交互化で構成されている。
我々は、FedAvgの出力の一般化の背景には、クライアントのタスク間の共通データ表現を学習する能力があることを示す。
異種データを用いたフェデレーション画像分類におけるFedAvgの表現学習能力を示す実証的証拠も提供する。
論文 参考訳（メタデータ） (2022-05-27T00:55:24Z) - FedILC: Weighted Geometric Mean and Invariant Gradient Covariance for
Federated Learning on Non-IID Data [69.0785021613868]
フェデレートラーニング(Federated Learning)とは、ローカルに計算されたパラメータの更新を、空間的に分散されたクライアントサイロからトレーニングデータに集約することで、共有サーバモデルによる学習を可能にする分散機械学習アプローチである。
本研究では, 勾配の共分散とヘッセンの幾何学的平均を利用して, シロ間およびシロ内成分の両方を捕捉するフェデレート不変学習一貫性(FedILC)アプローチを提案する。
これは医療、コンピュータビジョン、IoT(Internet of Things)といった様々な分野に関係している。
論文 参考訳（メタデータ） (2022-05-19T03:32:03Z) - FedDC: Federated Learning with Non-IID Data via Local Drift Decoupling
and Correction [48.85303253333453]
フェデレートラーニング(FL)は、複数のクライアントがプライベートデータを共有せずに、高性能なグローバルモデルを集合的にトレーニングすることを可能にする。
局所的ドリフトデカップリングと補正(FedDC)を用いた新しいフェデレーション学習アルゴリズムを提案する。
私たちのFedDCでは、ローカルモデルパラメータとグローバルモデルパラメータのギャップを追跡するために、各クライアントが補助的なローカルドリフト変数を使用するような、ローカルトレーニングフェーズにおける軽量な修正のみを導入しています。
実験結果と解析結果から,FedDCは様々な画像分類タスクにおいて,収差の迅速化と性能の向上を図っている。
論文 参考訳（メタデータ） (2022-03-22T14:06:26Z) - Acceleration of Federated Learning with Alleviated Forgetting in Local
Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。
我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。
我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文 参考訳（メタデータ） (2022-03-05T02:31:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。