論文の概要: Why Batch Normalization Damage Federated Learning on Non-IID Data?

• arxiv url: http://arxiv.org/abs/2301.02982v3
• Date: Thu, 9 Nov 2023 11:56:46 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-10 19:02:53.511590
• Title: Why Batch Normalization Damage Federated Learning on Non-IID Data?
• Title（参考訳）: 非IIDデータを用いたバッチ正規化損傷フェデレーション学習
• Authors: Yanmeng Wang, Qingjiang Shi, Tsung-Hui Chang
• Abstract要約: フェデレートラーニング(FL)では、エッジクライアントのプライバシを保護しながら、ネットワークエッジでディープニューラルネットワーク(DNN)モデルをトレーニングする。 バッチ正規化(BN)は、訓練を加速し、能力一般化を改善するためのシンプルで効果的な手段とみなされてきた。 最近の研究では、BNは非i.d.データの存在下でFLの性能を著しく損なうことが示されている。 非i.d.データの下で、BNの局所的および大域的統計パラメータ間のミスマッチが局所的および大域的モデル間の勾配ずれを引き起こすことを示す最初の収束解析を提示する。
• 参考スコア（独自算出の注目度）: 34.06900591666005
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As a promising distributed learning paradigm, federated learning (FL) involves training deep neural network (DNN) models at the network edge while protecting the privacy of the edge clients. To train a large-scale DNN model, batch normalization (BN) has been regarded as a simple and effective means to accelerate the training and improve the generalization capability. However, recent findings indicate that BN can significantly impair the performance of FL in the presence of non-i.i.d. data. While several FL algorithms have been proposed to address this issue, their performance still falls significantly when compared to the centralized scheme. Furthermore, none of them have provided a theoretical explanation of how the BN damages the FL convergence. In this paper, we present the first convergence analysis to show that under the non-i.i.d. data, the mismatch between the local and global statistical parameters in BN causes the gradient deviation between the local and global models, which, as a result, slows down and biases the FL convergence. In view of this, we develop a new FL algorithm that is tailored to BN, called FedTAN, which is capable of achieving robust FL performance under a variety of data distributions via iterative layer-wise parameter aggregation. Comprehensive experimental results demonstrate the superiority of the proposed FedTAN over existing baselines for training BN-based DNN models.
• Abstract（参考訳）: 有望な分散学習パラダイムとして、フェデレーション学習(FL)では、エッジクライアントのプライバシを保護するとともに、ネットワークエッジでディープニューラルネットワーク(DNN)モデルをトレーニングする。 大規模DNNモデルを訓練するために,バッチ正規化(BN)は訓練を加速し,一般化能力を向上させるためのシンプルかつ効果的な手段であると考えられてきた。 しかし、最近の研究では、BNは非i.d.データの存在下でFLの性能を著しく損なうことが示されている。 この問題に対処するためにいくつかのFLアルゴリズムが提案されているが、中央集権方式と比較しても性能は著しく低下している。 さらに、どちらもBNがFL収束をいかに損なうかを理論的に説明していない。 本稿では,非二項データの下で,BNの局所的パラメータと大域的パラメータのミスマッチが局所的モデルと大域的モデルとの勾配ずれを引き起こし,結果としてFL収束が遅くなり,偏りが生じることを示す最初の収束解析を提案する。 そこで我々は,複数のデータ分布において,反復層ワイドパラメータアグリゲーションを用いて,堅牢なFL性能を実現することができるFedTANというBNに適合した新しいFLアルゴリズムを開発した。 BNベースDNNモデルのトレーニングにおいて,既存のベースラインよりもFedTANの方が優れていることを示す。

関連論文リスト

• FedEP: Tailoring Attention to Heterogeneous Data Distribution with Entropy Pooling for Decentralized Federated Learning [8.576433180938004]
  本稿では,新しいDFL集約アルゴリズムFederated Entropy Pooling (FedEP)を提案する。 FedEPは、実際のデータではなく、局所分布の統計特性を取り入れることで、クライアントのドリフト問題を緩和する。 実験により、FedEPは最先端のアプローチよりも早く収束し、高いテスト性能を示すことが示されている。
  論文  参考訳（メタデータ） (2024-10-10T07:39:15Z)
• BN-SCAFFOLD: controlling the drift of Batch Normalization statistics in Federated Learning [2.563180814294141]
  機械学習(ML)モデルを分散的にトレーニングするための学習パラダイムとして、フェデレートラーニング(FL)が注目を集めている。 バッチ正規化(BN)はディープニューラルネットワーク(DNN)においてユビキタスである BNは異種FLにおけるDNNの性能を阻害すると報告されている。 BN-DNN設定における分散還元アルゴリズムの収束を解析するための統一理論フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-04T09:53:20Z)
• Can We Theoretically Quantify the Impacts of Local Updates on the Generalization Performance of Federated Learning? [50.03434441234569]
  フェデレートラーニング(FL)は、直接データ共有を必要とせず、さまざまなサイトで機械学習モデルをトレーニングする効果により、大きな人気を集めている。 局所的な更新を伴うFLは通信効率のよい分散学習フレームワークであることが様々なアルゴリズムによって示されているが、局所的な更新によるFLの一般化性能は比較的低い。
  論文  参考訳（メタデータ） (2024-09-05T19:00:18Z)
• DFA-GNN: Forward Learning of Graph Neural Networks by Direct Feedback Alignment [57.62885438406724]
  グラフニューラルネットワークは、様々なアプリケーションにまたがる強力なパフォーマンスで認識されている。 BPには、その生物学的妥当性に挑戦する制限があり、グラフベースのタスクのためのトレーニングニューラルネットワークの効率、スケーラビリティ、並列性に影響を与える。 半教師付き学習のケーススタディを用いて,GNNに適した新しい前方学習フレームワークであるDFA-GNNを提案する。
  論文  参考訳（メタデータ） (2024-06-04T07:24:51Z)
• FedNAR: Federated Optimization with Normalized Annealing Regularization [54.42032094044368]
  ウェイト崩壊の選択を探索し、ウェイト崩壊値が既存のFLアルゴリズムの収束に有意な影響を及ぼすことを確かめる。 我々は,既存のFLアルゴリズムにシームレスに統合可能なプラグインであるFederated Optimization with Normalized Annealing Regularization (FedNAR)を開発した。
  論文  参考訳（メタデータ） (2023-10-04T21:11:40Z)
• FedDIP: Federated Learning with Extreme Dynamic Pruning and Incremental Regularization [5.182014186927254]
  大規模Deep Neural Networks(DNN)の分散トレーニングと推論にFL(Federated Learning)が成功している。 我々は、(i)動的プルーニングとエラーフィードバックを組み合わせて冗長な情報交換を排除する新しいFLフレームワーク(Coined FedDIP)にコントリビュートする。 我々は、FedDIPの収束解析と総合的な性能について報告し、最先端手法との比較評価を行う。
  論文  参考訳（メタデータ） (2023-09-13T08:51:19Z)
• Making Batch Normalization Great in Federated Deep Learning [32.81480654534734]
  バッチ正規化(BN)は集中型ディープラーニングにおいて収束と一般化を改善するために広く用いられている。 BNによるトレーニングはパフォーマンスを阻害する可能性があり、グループ正規化(GN)に置き換えることを提案している。
  論文  参考訳（メタデータ） (2023-03-12T01:12:43Z)
• NET-FLEET: Achieving Linear Convergence Speedup for Fully Decentralized Federated Learning with Heterogeneous Data [12.701031075169887]
  フェデレーテッド・ラーニング(FL)は、データプライバシ保護、効率的な通信、並列データ処理といったメリットにより、近年、注目を集めている。 FLの既存の作業の多くは、データと集中型パラメータサーバを持つシステムに限られている。 我々は、データ不均一性を持つ完全分散FLシステムのための新しいアルゴリズム、NET-FLEETを提案する。
  論文  参考訳（メタデータ） (2022-08-17T19:17:23Z)
• Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
  フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。 我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。 我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
  論文  参考訳（メタデータ） (2022-03-05T02:31:32Z)
• Double Forward Propagation for Memorized Batch Normalization [68.34268180871416]
  バッチ正規化(BN)は、ディープニューラルネットワーク(DNN)の設計における標準コンポーネントである。 より正確でロバストな統計値を得るために,複数の最近のバッチを考慮に入れた記憶型バッチ正規化(MBN)を提案する。 関連する手法と比較して、提案したMBNはトレーニングと推論の両方において一貫した振る舞いを示す。
  論文  参考訳（メタデータ） (2020-10-10T08:48:41Z)
• Delay Minimization for Federated Learning Over Wireless Communication Networks [172.42768672943365]
  無線通信ネットワーク上でのフェデレーション学習(FL)における遅延計算の問題について検討した。 最適解を得るために,二項探索アルゴリズムを提案する。 シミュレーションの結果,提案アルゴリズムは従来のFL法と比較して最大27.3%遅延を低減できることがわかった。
  論文  参考訳（メタデータ） (2020-07-05T19:00:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。