論文の概要: Overcoming the Challenges of Batch Normalization in Federated Learning

• arxiv url: http://arxiv.org/abs/2405.14670v1
• Date: Thu, 23 May 2024 15:07:21 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-24 14:26:04.212572
• Title: Overcoming the Challenges of Batch Normalization in Federated Learning
• Title（参考訳）: フェデレーションラーニングにおけるバッチ正規化の課題
• Authors: Rachid Guerraoui, Rafael Pinot, Geovani Rizk, John Stephan, François Taiani,
• Abstract要約: 本稿では、フェデレート学習におけるバッチ正規化の利点を回復する新しいスキームであるFederated BatchNorm(FBN)を紹介する。 基本的に、FBNは、トレーニング中のバッチの正規化が集中的な実行で達成されるものと一致していることを保証する。 複雑性がわずかに増加すると、FBNを堅牢化して誤った統計を緩和し、潜在的に敵対的な攻撃を軽減できることを示す。
• 参考スコア（独自算出の注目度）: 9.94980188821453
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Batch normalization has proven to be a very beneficial mechanism to accelerate the training and improve the accuracy of deep neural networks in centralized environments. Yet, the scheme faces significant challenges in federated learning, especially under high data heterogeneity. Essentially, the main challenges arise from external covariate shifts and inconsistent statistics across clients. We introduce in this paper Federated BatchNorm (FBN), a novel scheme that restores the benefits of batch normalization in federated learning. Essentially, FBN ensures that the batch normalization during training is consistent with what would be achieved in a centralized execution, hence preserving the distribution of the data, and providing running statistics that accurately approximate the global statistics. FBN thereby reduces the external covariate shift and matches the evaluation performance of the centralized setting. We also show that, with a slight increase in complexity, we can robustify FBN to mitigate erroneous statistics and potentially adversarial attacks.
• Abstract（参考訳）: バッチの正規化は、トレーニングを加速し、集中環境におけるディープニューラルネットワークの精度を向上させるための非常に有益なメカニズムであることが証明されている。 しかし、このスキームは、特に高データの異種性の下で、フェデレートラーニングにおいて大きな課題に直面している。 基本的に、主な課題は、クライアント間の外部共変量シフトと一貫性のない統計から生じます。 本稿では、フェデレート学習におけるバッチ正規化の利点を回復する新しいスキームであるFederated BatchNorm(FBN)を紹介する。 基本的に、FBNは、トレーニング中のバッチ正規化が集中的な実行で達成されるものと一致していることを保証するため、データの分散を保存し、グローバル統計を正確に近似する実行統計を提供する。 これにより、FBNは外部共変量シフトを低減し、集中設定の評価性能に適合する。 また, 複雑さがわずかに増大すると, FBN を強固にし, 誤った統計や潜在的敵意攻撃を緩和できることを示す。

関連論文リスト

• Feature Norm Regularized Federated Learning: Transforming Skewed Distributions into Global Insights [16.039822050613022]
  本研究は,FNR-FLアルゴリズムを紹介する。 FNR-FLは、非I.D.シナリオにおけるモデルの精度と収束を高めるために、クラス平均特徴ノルムを取り入れている。 その結果,FNR-FLの精度は66.24%向上し,トレーニング時間は11.40%低下した。
  論文  参考訳（メタデータ） (2023-12-12T03:09:37Z)
• Overcoming Recency Bias of Normalization Statistics in Continual Learning: Balance and Adaptation [67.77048565738728]
  継続的な学習には、一連のタスクを学習し、彼らの知識を適切にバランスさせることが含まれる。 本稿では,タスク・ワイド・コントリビューションに適応するためのベイズ的戦略を適切に取り入れた BN の適応バランス (AdaB$2$N) を提案する。 提案手法は,幅広いベンチマークにおいて,大幅な性能向上を実現している。
  論文  参考訳（メタデータ） (2023-10-13T04:50:40Z)
• FedSkip: Combatting Statistical Heterogeneity with Federated Skip Aggregation [95.85026305874824]
  我々はFedSkipと呼ばれるデータ駆動型アプローチを導入し、フェデレーション平均化を定期的にスキップし、ローカルモデルをクロスデバイスに分散することで、クライアントの最適化を改善する。 我々は、FedSkipがはるかに高い精度、より良いアグリゲーション効率、競合する通信効率を達成することを示すために、さまざまなデータセットに関する広範な実験を行う。
  論文  参考訳（メタデータ） (2022-12-14T13:57:01Z)
• FedGen: Generalizable Federated Learning for Sequential Data [8.784435748969806]
  多くの実世界の分散環境では、バイアスとデータサンプリングの問題により、急激な相関が存在する。 我々はFedGenという汎用的なフェデレーション学習フレームワークを提案し、クライアントが素早い特徴と不変な特徴を識別および識別できるようにする。 FedGenは、より優れた一般化を実現し、現在のフェデレーション学習手法の精度を24%以上上回るモデルが得られることを示す。
  論文  参考訳（メタデータ） (2022-11-03T15:48:14Z)
• Debiasing Neural Retrieval via In-batch Balancing Regularization [25.941718123899356]
  我々は,nPRF上でのT-統計を有効活用し,公平性を向上させるために,識別可能なテキストトナー付きペアワイドランキングフェアネス(nPRF)を開発した。 nPRF を用いた手法は,ベースラインに比べてランク付け性能の低下が最小限に抑えられ,バイアスが大幅に低減される。
  論文  参考訳（メタデータ） (2022-05-18T22:57:15Z)
• Heterogeneous Federated Learning via Grouped Sequential-to-Parallel Training [60.892342868936865]
  フェデレートラーニング(Federated Learning, FL)は、プライバシ保護のためのコラボレーション機械学習パラダイムである。 本稿では,この課題に対処するため,データヘテロジニアス・ロバストFLアプローチであるFedGSPを提案する。 その結果,FedGSPは7つの最先端アプローチと比較して平均3.7%の精度向上を実現していることがわかった。
  論文  参考訳（メタデータ） (2022-01-31T03:15:28Z)
• Test-time Batch Statistics Calibration for Covariate Shift [66.7044675981449]
  我々は,推論中に深層モデルを新しい環境に適応させることを提案する。 バッチ統計の校正に$alpha$-BNの一般的な定式化を提案する。 また、統合テスト時間適応フレームワークCoreを形成するための新しい損失関数も提示する。
  論文  参考訳（メタデータ） (2021-10-06T08:45:03Z)
• Decentralized Local Stochastic Extra-Gradient for Variational Inequalities [125.62877849447729]
  我々は、不均一(非IID)で多くのデバイスに分散する問題データを持つ領域上での分散変分不等式(VIs)を考察する。 我々は、完全に分散化された計算の設定を網羅する計算ネットワークについて、非常に一般的な仮定を行う。 理論的には, モノトン, モノトンおよび非モノトンセッティングにおける収束速度を理論的に解析する。
  論文  参考訳（メタデータ） (2021-06-15T17:45:51Z)
• Double Forward Propagation for Memorized Batch Normalization [68.34268180871416]
  バッチ正規化(BN)は、ディープニューラルネットワーク(DNN)の設計における標準コンポーネントである。 より正確でロバストな統計値を得るために,複数の最近のバッチを考慮に入れた記憶型バッチ正規化(MBN)を提案する。 関連する手法と比較して、提案したMBNはトレーニングと推論の両方において一貫した振る舞いを示す。
  論文  参考訳（メタデータ） (2020-10-10T08:48:41Z)
• Robustness and Personalization in Federated Learning: A Unified Approach via Regularization [4.7234844467506605]
  我々は、Fed+と呼ばれる堅牢でパーソナライズされたフェデレーション学習のための一連の方法を提案する。 Fed+の主な利点は、フェデレートトレーニングで見られる現実世界の特徴をよりよく適応することである。 ベンチマークデータセットに関する広範な実験を通じて、Fed+の利点を実証する。
  論文  参考訳（メタデータ） (2020-09-14T10:04:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。