論文の概要: Making Batch Normalization Great in Federated Deep Learning

• arxiv url: http://arxiv.org/abs/2303.06530v2
• Date: Wed, 1 Nov 2023 16:05:16 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-02 17:53:48.145009
• Title: Making Batch Normalization Great in Federated Deep Learning
• Title（参考訳）: 深層学習におけるバッチの正規化
• Authors: Jike Zhong, Hong-You Chen, Wei-Lun Chao
• Abstract要約: 群正規化(GN)は、バッチ正規化(BN)の代替として、フェデレートラーニング(FL)でよく用いられる。 本稿では、クライアントとサーバ間の高周波通信においてもBNが劣る、FLにおけるBNのより根本的な問題を特定する。 本稿では、BNを大幅に改善し、幅広いFL設定でGNを性能良くするフラストレーションの簡単な治療法を提案する。
• 参考スコア（独自算出の注目度）: 36.88055402538513
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Batch Normalization (BN) is commonly used in modern deep learning to improve stability and speed up convergence in centralized training. In federated learning (FL) with non-IID decentralized data, previous works observed that training with BN could hinder performance due to the mismatch of the BN statistics between training and testing. Group Normalization (GN) is thus more often used in FL as an alternative to BN. In this paper, we identify a more fundamental issue of BN in FL that makes BN inferior even with high-frequency communication between clients and servers. We then propose a frustratingly simple treatment, which significantly improves BN and makes it outperform GN across a wide range of FL settings. Along with this study, we also reveal an unreasonable behavior of BN in FL. We find it quite robust in the low-frequency communication regime where FL is commonly believed to degrade drastically. We hope that our study could serve as a valuable reference for future practical usage and theoretical analysis in FL.
• Abstract（参考訳）: バッチ正規化(BN)は、現代のディープラーニングにおいて、集中訓練における安定性の向上と収束のスピードアップのために一般的に用いられる。 非IID分散データを用いたフェデレートラーニング(FL)において、以前の研究は、BNを用いたトレーニングが、トレーニングとテストの間のBN統計のミスマッチによりパフォーマンスを阻害することを示した。 したがって、群正規化(GN)は BN の代替として FL でよく用いられる。 本稿では、クライアントとサーバ間の高周波通信においてもBNが劣る、FLにおけるBNのより根本的な問題を特定する。 そこで我々は、BNを大幅に改善し、幅広いFL設定でGNを性能良くするフラストレーション的に単純な治療法を提案する。 また,本研究とともに,FLにおけるBNの不合理な挙動も明らかにした。 FLが大幅に劣化すると考えられる低周波通信方式では,非常に堅牢である。 この研究が将来のflの実用的利用と理論的分析に有用な参考となることを願っている。

関連論文リスト

• BN-SCAFFOLD: controlling the drift of Batch Normalization statistics in Federated Learning [2.563180814294141]
  機械学習(ML)モデルを分散的にトレーニングするための学習パラダイムとして、フェデレートラーニング(FL)が注目を集めている。 バッチ正規化(BN)はディープニューラルネットワーク(DNN)においてユビキタスである BNは異種FLにおけるDNNの性能を阻害すると報告されている。 BN-DNN設定における分散還元アルゴリズムの収束を解析するための統一理論フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-04T09:53:20Z)
• Can We Theoretically Quantify the Impacts of Local Updates on the Generalization Performance of Federated Learning? [50.03434441234569]
  フェデレートラーニング(FL)は、直接データ共有を必要とせず、さまざまなサイトで機械学習モデルをトレーニングする効果により、大きな人気を集めている。 局所的な更新を伴うFLは通信効率のよい分散学習フレームワークであることが様々なアルゴリズムによって示されているが、局所的な更新によるFLの一般化性能は比較的低い。
  論文  参考訳（メタデータ） (2024-09-05T19:00:18Z)
• Harnessing the Power of Federated Learning in Federated Contextual Bandits [20.835106310302876]
  FCB(Federated contextual bandits)は、FLとシーケンシャルな意思決定の重要な統合である。 FCBアプローチは、しばしば標準FLフレームワークから逸脱する、調整されたFLコンポーネントを主に採用している。 特に、回帰に基づくCBアルゴリズムを活用するために、FedIGWと呼ばれる新しいFCB設計が提案されている。
  論文  参考訳（メタデータ） (2023-12-26T21:44:09Z)
• Overcoming Recency Bias of Normalization Statistics in Continual Learning: Balance and Adaptation [67.77048565738728]
  継続的な学習には、一連のタスクを学習し、彼らの知識を適切にバランスさせることが含まれる。 本稿では,タスク・ワイド・コントリビューションに適応するためのベイズ的戦略を適切に取り入れた BN の適応バランス (AdaB$2$N) を提案する。 提案手法は,幅広いベンチマークにおいて,大幅な性能向上を実現している。
  論文  参考訳（メタデータ） (2023-10-13T04:50:40Z)
• Understanding How Consistency Works in Federated Learning via Stage-wise Relaxed Initialization [84.42306265220274]
  フェデレートラーニング(Federated Learning, FL)は、大規模なローカルクライアントを協調してグローバルモデルをトレーニングする分散パラダイムである。 従来の研究は、FLがローカルクライアント間の矛盾した最適性によって引き起こされるクライアント・ドリフトの問題に悩まされていることを暗黙的に研究してきた。 FLにおけるクライアントドリフトの負の影響を緩和し,その物質を探索するために,我々はまず,効率的なFLアルゴリズム textitFedInit を設計する。
  論文  参考訳（メタデータ） (2023-06-09T06:55:15Z)
• Why Batch Normalization Damage Federated Learning on Non-IID Data? [34.06900591666005]
  フェデレートラーニング(FL)では、エッジクライアントのプライバシを保護しながら、ネットワークエッジでディープニューラルネットワーク(DNN)モデルをトレーニングする。 バッチ正規化(BN)は、訓練を加速し、能力一般化を改善するためのシンプルで効果的な手段とみなされてきた。 最近の研究では、BNは非i.d.データの存在下でFLの性能を著しく損なうことが示されている。 非i.d.データの下で、BNの局所的および大域的統計パラメータ間のミスマッチが局所的および大域的モデル間の勾配ずれを引き起こすことを示す最初の収束解析を提示する。
  論文  参考訳（メタデータ） (2023-01-08T05:24:12Z)
• Rethinking Normalization Methods in Federated Learning [92.25845185724424]
  フェデレートラーニング(FL)は、プライベートデータを明示的に共有しないことでプライバシーリスクを低減できる人気のある分散ラーニングフレームワークである。 我々は、外部共変量シフトが、世界モデルに対する一部のデバイスからの貢献の消滅につながることを示した。
  論文  参考訳（メタデータ） (2022-10-07T01:32:24Z)
• Batch Normalization Preconditioning for Neural Network Training [7.709342743709842]
  バッチ正規化(BN)は、ディープラーニングにおいて一般的でユビキタスな手法である。 BNは、非常に小さなミニバッチサイズやオンライン学習での使用には適していない。 BNP(Batch Normalization Preconditioning)と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-08-02T18:17:26Z)
• Double Forward Propagation for Memorized Batch Normalization [68.34268180871416]
  バッチ正規化(BN)は、ディープニューラルネットワーク(DNN)の設計における標準コンポーネントである。 より正確でロバストな統計値を得るために,複数の最近のバッチを考慮に入れた記憶型バッチ正規化(MBN)を提案する。 関連する手法と比較して、提案したMBNはトレーニングと推論の両方において一貫した振る舞いを示す。
  論文  参考訳（メタデータ） (2020-10-10T08:48:41Z)
• PowerNorm: Rethinking Batch Normalization in Transformers [96.14956636022957]
  自然言語処理(NLP)におけるニューラルネットワーク(NN)モデルの正規化法は層正規化(LN)である LN は BN (naive/vanilla) の使用が NLP タスクの大幅な性能低下をもたらすという経験的観察により好まれる。 本稿では,この問題を解決する新しい正規化手法である電力正規化(PN)を提案する。
  論文  参考訳（メタデータ） (2020-03-17T17:50:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。