論文の概要: Why Batch Normalization Damage Federated Learning on Non-IID Data?
- arxiv url: http://arxiv.org/abs/2301.02982v3
- Date: Thu, 9 Nov 2023 11:56:46 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-10 19:02:53.511590
- Title: Why Batch Normalization Damage Federated Learning on Non-IID Data?
- Title（参考訳）: 非IIDデータを用いたバッチ正規化損傷フェデレーション学習
- Authors: Yanmeng Wang, Qingjiang Shi, Tsung-Hui Chang
- Abstract要約: フェデレートラーニング(FL)では、エッジクライアントのプライバシを保護しながら、ネットワークエッジでディープニューラルネットワーク(DNN)モデルをトレーニングする。
バッチ正規化(BN)は、訓練を加速し、能力一般化を改善するためのシンプルで効果的な手段とみなされてきた。
最近の研究では、BNは非i.d.データの存在下でFLの性能を著しく損なうことが示されている。
非i.d.データの下で、BNの局所的および大域的統計パラメータ間のミスマッチが局所的および大域的モデル間の勾配ずれを引き起こすことを示す最初の収束解析を提示する。
- 参考スコア（独自算出の注目度）: 34.06900591666005
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As a promising distributed learning paradigm, federated learning (FL)
involves training deep neural network (DNN) models at the network edge while
protecting the privacy of the edge clients. To train a large-scale DNN model,
batch normalization (BN) has been regarded as a simple and effective means to
accelerate the training and improve the generalization capability. However,
recent findings indicate that BN can significantly impair the performance of FL
in the presence of non-i.i.d. data. While several FL algorithms have been
proposed to address this issue, their performance still falls significantly
when compared to the centralized scheme. Furthermore, none of them have
provided a theoretical explanation of how the BN damages the FL convergence. In
this paper, we present the first convergence analysis to show that under the
non-i.i.d. data, the mismatch between the local and global statistical
parameters in BN causes the gradient deviation between the local and global
models, which, as a result, slows down and biases the FL convergence. In view
of this, we develop a new FL algorithm that is tailored to BN, called FedTAN,
which is capable of achieving robust FL performance under a variety of data
distributions via iterative layer-wise parameter aggregation. Comprehensive
experimental results demonstrate the superiority of the proposed FedTAN over
existing baselines for training BN-based DNN models.
- Abstract（参考訳）: 有望な分散学習パラダイムとして、フェデレーション学習(FL)では、エッジクライアントのプライバシを保護するとともに、ネットワークエッジでディープニューラルネットワーク(DNN)モデルをトレーニングする。
大規模DNNモデルを訓練するために,バッチ正規化(BN)は訓練を加速し,一般化能力を向上させるためのシンプルかつ効果的な手段であると考えられてきた。
しかし、最近の研究では、BNは非i.d.データの存在下でFLの性能を著しく損なうことが示されている。
この問題に対処するためにいくつかのFLアルゴリズムが提案されているが、中央集権方式と比較しても性能は著しく低下している。
さらに、どちらもBNがFL収束をいかに損なうかを理論的に説明していない。
本稿では,非二項データの下で,BNの局所的パラメータと大域的パラメータのミスマッチが局所的モデルと大域的モデルとの勾配ずれを引き起こし,結果としてFL収束が遅くなり,偏りが生じることを示す最初の収束解析を提案する。
そこで我々は,複数のデータ分布において,反復層ワイドパラメータアグリゲーションを用いて,堅牢なFL性能を実現することができるFedTANというBNに適合した新しいFLアルゴリズムを開発した。
BNベースDNNモデルのトレーニングにおいて,既存のベースラインよりもFedTANの方が優れていることを示す。
関連論文リスト
- DFA-GNN: Forward Learning of Graph Neural Networks by Direct Feedback Alignment [57.62885438406724]
グラフニューラルネットワークは、様々なアプリケーションにまたがる強力なパフォーマンスで認識されている。
BPには、その生物学的妥当性に挑戦する制限があり、グラフベースのタスクのためのトレーニングニューラルネットワークの効率、スケーラビリティ、並列性に影響を与える。
半教師付き学習のケーススタディを用いて,GNNに適した新しい前方学習フレームワークであるDFA-GNNを提案する。
論文 参考訳（メタデータ） (2024-06-04T07:24:51Z) - FedNAR: Federated Optimization with Normalized Annealing Regularization [54.42032094044368]
ウェイト崩壊の選択を探索し、ウェイト崩壊値が既存のFLアルゴリズムの収束に有意な影響を及ぼすことを確かめる。
我々は,既存のFLアルゴリズムにシームレスに統合可能なプラグインであるFederated Optimization with Normalized Annealing Regularization (FedNAR)を開発した。
論文 参考訳（メタデータ） (2023-10-04T21:11:40Z) - FedDIP: Federated Learning with Extreme Dynamic Pruning and Incremental
Regularization [5.182014186927254]
大規模Deep Neural Networks(DNN)の分散トレーニングと推論にFL(Federated Learning)が成功している。
我々は、(i)動的プルーニングとエラーフィードバックを組み合わせて冗長な情報交換を排除する新しいFLフレームワーク(Coined FedDIP)にコントリビュートする。
我々は、FedDIPの収束解析と総合的な性能について報告し、最先端手法との比較評価を行う。
論文 参考訳（メタデータ） (2023-09-13T08:51:19Z) - Making Batch Normalization Great in Federated Deep Learning [32.81480654534734]
バッチ正規化(BN)は集中型ディープラーニングにおいて収束と一般化を改善するために広く用いられている。
BNによるトレーニングはパフォーマンスを阻害する可能性があり、グループ正規化(GN)に置き換えることを提案している。
論文 参考訳（メタデータ） (2023-03-12T01:12:43Z) - Magnitude Matters: Fixing SIGNSGD Through Magnitude-Aware Sparsification
in the Presence of Data Heterogeneity [60.791736094073]
通信オーバーヘッドは、ディープニューラルネットワークの分散トレーニングにおいて、大きなボトルネックのひとつになっています。
本稿では,SIGNSGDの非収束問題に対処する等級化方式を提案する。
提案手法は,Fashion-MNIST, CIFAR-10, CIFAR-100データセットを用いて検証した。
論文 参考訳（メタデータ） (2023-02-19T17:42:35Z) - Batch Normalization Explained [31.66311831317311]
バッチ正規化(BN)により、DN学習と推論性能が向上することを示す。
BNは、DNのスプライン分割の幾何学をデータに適合させる教師なし学習技術である。
また,ミニバッチ間のBN統計量の変動は,分割境界にランダムな乱摂動をもたらすことを示した。
論文 参考訳（メタデータ） (2022-09-29T13:41:27Z) - NET-FLEET: Achieving Linear Convergence Speedup for Fully Decentralized
Federated Learning with Heterogeneous Data [12.701031075169887]
フェデレーテッド・ラーニング(FL)は、データプライバシ保護、効率的な通信、並列データ処理といったメリットにより、近年、注目を集めている。
FLの既存の作業の多くは、データと集中型パラメータサーバを持つシステムに限られている。
我々は、データ不均一性を持つ完全分散FLシステムのための新しいアルゴリズム、NET-FLEETを提案する。
論文 参考訳（メタデータ） (2022-08-17T19:17:23Z) - Acceleration of Federated Learning with Alleviated Forgetting in Local
Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。
我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。
我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文 参考訳（メタデータ） (2022-03-05T02:31:32Z) - FL-NTK: A Neural Tangent Kernel-based Framework for Federated Learning
Convergence Analysis [27.022551495550676]
本稿では,FLの勾配降下によって訓練された過減化ReLUニューラルネットワークに対応するFL-NTK(Learning Neural Kernel)について,新しい収束解析法を提案する。
理論的には、FL-NTKは線形学習パラメータを適切に調整した自明な速度で大域最適解に収束する。
論文 参考訳（メタデータ） (2021-05-11T13:05:53Z) - Double Forward Propagation for Memorized Batch Normalization [68.34268180871416]
バッチ正規化(BN)は、ディープニューラルネットワーク(DNN)の設計における標準コンポーネントである。
より正確でロバストな統計値を得るために,複数の最近のバッチを考慮に入れた記憶型バッチ正規化(MBN)を提案する。
関連する手法と比較して、提案したMBNはトレーニングと推論の両方において一貫した振る舞いを示す。
論文 参考訳（メタデータ） (2020-10-10T08:48:41Z) - Delay Minimization for Federated Learning Over Wireless Communication
Networks [172.42768672943365]
無線通信ネットワーク上でのフェデレーション学習(FL)における遅延計算の問題について検討した。
最適解を得るために,二項探索アルゴリズムを提案する。
シミュレーションの結果,提案アルゴリズムは従来のFL法と比較して最大27.3%遅延を低減できることがわかった。
論文 参考訳（メタデータ） (2020-07-05T19:00:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。