論文の概要: Making Batch Normalization Great in Federated Deep Learning

• arxiv url: http://arxiv.org/abs/2303.06530v4
• Date: Fri, 29 Mar 2024 03:37:04 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-01 20:56:17.174761
• Title: Making Batch Normalization Great in Federated Deep Learning
• Title（参考訳）: 深層学習におけるバッチの正規化
• Authors: Jike Zhong, Hong-You Chen, Wei-Lun Chao,
• Abstract要約: バッチ正規化(BN)は集中型ディープラーニングにおいて収束と一般化を改善するために広く用いられている。 BNによるトレーニングはパフォーマンスを阻害する可能性があり、グループ正規化(GN)に置き換えることを提案している。
• 参考スコア（独自算出の注目度）: 32.81480654534734
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Batch Normalization (BN) is widely used in {centralized} deep learning to improve convergence and generalization. However, in {federated} learning (FL) with decentralized data, prior work has observed that training with BN could hinder performance and suggested replacing it with Group Normalization (GN). In this paper, we revisit this substitution by expanding the empirical study conducted in prior work. Surprisingly, we find that BN outperforms GN in many FL settings. The exceptions are high-frequency communication and extreme non-IID regimes. We reinvestigate factors that are believed to cause this problem, including the mismatch of BN statistics across clients and the deviation of gradients during local training. We empirically identify a simple practice that could reduce the impacts of these factors while maintaining the strength of BN. Our approach, which we named FIXBN, is fairly easy to implement, without any additional training or communication costs, and performs favorably across a wide range of FL settings. We hope that our study could serve as a valuable reference for future practical usage and theoretical analysis in FL.
• Abstract（参考訳）: バッチ正規化(BN)は集中型ディープラーニングにおいて収束と一般化を改善するために広く使われている。 しかしながら、分散化されたデータを持つフェデレーション学習(FL)では、BNによるトレーニングがパフォーマンスを阻害し、グループ正規化(GN)に置き換えることが期待されている。 本稿では,先行研究における実証研究を拡大することで,この代替案を再考する。 意外なことに、BNは多くのFL設定でGNよりも優れています。 例外は高周波通信と極端な非IID方式である。 我々は、クライアント間のBN統計のミスマッチや、ローカルトレーニング中の勾配のずれなど、この問題の原因と考えられる要因を再検討する。 BNの強度を維持しながら、これらの要因の影響を低減できる簡単なプラクティスを実証的に特定する。 FIXBNと名付けられた私たちのアプローチは、追加のトレーニングや通信コストなしで実装が比較的簡単で、幅広いFL設定で好適に機能します。 FLにおける将来的な実践的利用と理論的分析の参考として,本研究が有用であることを期待している。

関連論文リスト

• BN-SCAFFOLD: controlling the drift of Batch Normalization statistics in Federated Learning [2.563180814294141]
  機械学習(ML)モデルを分散的にトレーニングするための学習パラダイムとして、フェデレートラーニング(FL)が注目を集めている。 バッチ正規化(BN)はディープニューラルネットワーク(DNN)においてユビキタスである BNは異種FLにおけるDNNの性能を阻害すると報告されている。 BN-DNN設定における分散還元アルゴリズムの収束を解析するための統一理論フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-04T09:53:20Z)
• Can We Theoretically Quantify the Impacts of Local Updates on the Generalization Performance of Federated Learning? [50.03434441234569]
  フェデレートラーニング(FL)は、直接データ共有を必要とせず、さまざまなサイトで機械学習モデルをトレーニングする効果により、大きな人気を集めている。 局所的な更新を伴うFLは通信効率のよい分散学習フレームワークであることが様々なアルゴリズムによって示されているが、局所的な更新によるFLの一般化性能は比較的低い。
  論文  参考訳（メタデータ） (2024-09-05T19:00:18Z)
• Harnessing the Power of Federated Learning in Federated Contextual Bandits [20.835106310302876]
  FCB(Federated contextual bandits)は、FLとシーケンシャルな意思決定の重要な統合である。 FCBアプローチは、しばしば標準FLフレームワークから逸脱する、調整されたFLコンポーネントを主に採用している。 特に、回帰に基づくCBアルゴリズムを活用するために、FedIGWと呼ばれる新しいFCB設計が提案されている。
  論文  参考訳（メタデータ） (2023-12-26T21:44:09Z)
• Overcoming Recency Bias of Normalization Statistics in Continual Learning: Balance and Adaptation [67.77048565738728]
  継続的な学習には、一連のタスクを学習し、彼らの知識を適切にバランスさせることが含まれる。 本稿では,タスク・ワイド・コントリビューションに適応するためのベイズ的戦略を適切に取り入れた BN の適応バランス (AdaB$2$N) を提案する。 提案手法は,幅広いベンチマークにおいて,大幅な性能向上を実現している。
  論文  参考訳（メタデータ） (2023-10-13T04:50:40Z)
• Understanding How Consistency Works in Federated Learning via Stage-wise Relaxed Initialization [84.42306265220274]
  フェデレートラーニング(Federated Learning, FL)は、大規模なローカルクライアントを協調してグローバルモデルをトレーニングする分散パラダイムである。 従来の研究は、FLがローカルクライアント間の矛盾した最適性によって引き起こされるクライアント・ドリフトの問題に悩まされていることを暗黙的に研究してきた。 FLにおけるクライアントドリフトの負の影響を緩和し,その物質を探索するために,我々はまず,効率的なFLアルゴリズム textitFedInit を設計する。
  論文  参考訳（メタデータ） (2023-06-09T06:55:15Z)
• Why Batch Normalization Damage Federated Learning on Non-IID Data? [34.06900591666005]
  フェデレートラーニング(FL)では、エッジクライアントのプライバシを保護しながら、ネットワークエッジでディープニューラルネットワーク(DNN)モデルをトレーニングする。 バッチ正規化(BN)は、訓練を加速し、能力一般化を改善するためのシンプルで効果的な手段とみなされてきた。 最近の研究では、BNは非i.d.データの存在下でFLの性能を著しく損なうことが示されている。 非i.d.データの下で、BNの局所的および大域的統計パラメータ間のミスマッチが局所的および大域的モデル間の勾配ずれを引き起こすことを示す最初の収束解析を提示する。
  論文  参考訳（メタデータ） (2023-01-08T05:24:12Z)
• Rethinking Normalization Methods in Federated Learning [92.25845185724424]
  フェデレートラーニング(FL)は、プライベートデータを明示的に共有しないことでプライバシーリスクを低減できる人気のある分散ラーニングフレームワークである。 我々は、外部共変量シフトが、世界モデルに対する一部のデバイスからの貢献の消滅につながることを示した。
  論文  参考訳（メタデータ） (2022-10-07T01:32:24Z)
• Batch Normalization Preconditioning for Neural Network Training [7.709342743709842]
  バッチ正規化(BN)は、ディープラーニングにおいて一般的でユビキタスな手法である。 BNは、非常に小さなミニバッチサイズやオンライン学習での使用には適していない。 BNP(Batch Normalization Preconditioning)と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-08-02T18:17:26Z)
• Double Forward Propagation for Memorized Batch Normalization [68.34268180871416]
  バッチ正規化(BN)は、ディープニューラルネットワーク(DNN)の設計における標準コンポーネントである。 より正確でロバストな統計値を得るために,複数の最近のバッチを考慮に入れた記憶型バッチ正規化(MBN)を提案する。 関連する手法と比較して、提案したMBNはトレーニングと推論の両方において一貫した振る舞いを示す。
  論文  参考訳（メタデータ） (2020-10-10T08:48:41Z)
• PowerNorm: Rethinking Batch Normalization in Transformers [96.14956636022957]
  自然言語処理(NLP)におけるニューラルネットワーク(NN)モデルの正規化法は層正規化(LN)である LN は BN (naive/vanilla) の使用が NLP タスクの大幅な性能低下をもたらすという経験的観察により好まれる。 本稿では,この問題を解決する新しい正規化手法である電力正規化(PN)を提案する。
  論文  参考訳（メタデータ） (2020-03-17T17:50:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。