Fugu-MT 論文翻訳(概要): BN-SCAFFOLD: controlling the drift of Batch Normalization statistics in Federated Learning

論文の概要: BN-SCAFFOLD: controlling the drift of Batch Normalization statistics in Federated Learning

arxiv url: http://arxiv.org/abs/2410.03281v1
Date: Fri, 4 Oct 2024 09:53:20 GMT
ステータス: 処理完了
システム内更新日: 2024-11-02 23:18:36.004868
Title: BN-SCAFFOLD: controlling the drift of Batch Normalization statistics in Federated Learning
Title（参考訳）: BN-SCAFFOLD:フェデレートラーニングにおけるバッチ正規化統計のドリフト制御
Authors: Gonzalo Iñaki Quintana, Laurence Vancamberg, Vincent Jugnon, Mathilde Mougeot, Agnès Desolneux,
Abstract要約: 機械学習(ML)モデルを分散的にトレーニングするための学習パラダイムとして、フェデレートラーニング(FL)が注目を集めている。バッチ正規化(BN)はディープニューラルネットワーク(DNN)においてユビキタスである BNは異種FLにおけるDNNの性能を阻害すると報告されている。 BN-DNN設定における分散還元アルゴリズムの収束を解析するための統一理論フレームワークを提案する。
参考スコア（独自算出の注目度）: 2.563180814294141
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Federated Learning (FL) is gaining traction as a learning paradigm for training Machine Learning (ML) models in a decentralized way. Batch Normalization (BN) is ubiquitous in Deep Neural Networks (DNN), as it improves convergence and generalization. However, BN has been reported to hinder performance of DNNs in heterogeneous FL. Recently, the FedTAN algorithm has been proposed to mitigate the effect of heterogeneity on BN, by aggregating BN statistics and gradients from all the clients. However, it has a high communication cost, that increases linearly with the depth of the DNN. SCAFFOLD is a variance reduction algorithm, that estimates and corrects the client drift in a communication-efficient manner. Despite its promising results in heterogeneous FL settings, it has been reported to underperform for models with BN. In this work, we seek to revive SCAFFOLD, and more generally variance reduction, as an efficient way of training DNN with BN in heterogeneous FL. We introduce a unified theoretical framework for analyzing the convergence of variance reduction algorithms in the BN-DNN setting, inspired of by the work of Wang et al. 2023, and show that SCAFFOLD is unable to remove the bias introduced by BN. We thus propose the BN-SCAFFOLD algorithm, which extends the client drift correction of SCAFFOLD to BN statistics. We prove convergence using the aforementioned framework and validate the theoretical results with experiments on MNIST and CIFAR-10. BN-SCAFFOLD equals the performance of FedTAN, without its high communication cost, outperforming Federated Averaging (FedAvg), SCAFFOLD, and other FL algorithms designed to mitigate BN heterogeneity.
Abstract（参考訳）: 機械学習(ML)モデルを分散的にトレーニングするための学習パラダイムとして、フェデレートラーニング(FL)が注目を集めている。バッチ正規化(BN)は、収束と一般化を改善するため、ディープニューラルネットワーク(DNN)においてユビキタスである。しかし、BNは異種FLにおけるDNNの性能を阻害すると報告されている。近年、BN統計と全てのクライアントからの勾配を集約することにより、BN上の不均一性の影響を軽減するためにFedTANアルゴリズムが提案されている。しかし、通信コストが高く、DNNの深さとともに直線的に増加する。 SCAFFOLDは分散低減アルゴリズムであり、クライアントのドリフトを通信効率のよい方法で推定し、補正する。ヘテロジニアスFL設定の有望な結果にもかかわらず、BNを持つモデルでは性能が劣っていることが報告されている。本研究では、異種FLにおけるBNを用いたDNNの効率的なトレーニング方法として、SCAFFOLD、より一般的にはばらつきの低減を目指す。 Wang et al 2023 の業績に触発された BN-DNN 設定における分散還元アルゴリズムの収束を解析するための統一理論フレームワークを導入し,SSCAFFOLD が BN-DNN のバイアスを除去できないことを示す。そこで我々は,SCAFFOLDのクライアントドリフト補正をBN統計に拡張するBN-SCAFFOLDアルゴリズムを提案する。上記のフレームワークを用いて収束を証明し、MNISTとCIFAR-10の実験により理論的結果を検証する。 BN-SCAFFOLDは通信コストが高く、フェデレート平均化(FedAvg)、SCAFFOLD、およびBNの不均一性を緩和するために設計された他のFLアルゴリズムよりも優れている。

関連論文リスト

FedNAR: Federated Optimization with Normalized Annealing Regularization [54.42032094044368]
ウェイト崩壊の選択を探索し、ウェイト崩壊値が既存のFLアルゴリズムの収束に有意な影響を及ぼすことを確かめる。我々は,既存のFLアルゴリズムにシームレスに統合可能なプラグインであるFederated Optimization with Normalized Annealing Regularization (FedNAR)を開発した。
論文参考訳（メタデータ） (2023-10-04T21:11:40Z)
Making Batch Normalization Great in Federated Deep Learning [32.81480654534734]
バッチ正規化(BN)は集中型ディープラーニングにおいて収束と一般化を改善するために広く用いられている。 BNによるトレーニングはパフォーマンスを阻害する可能性があり、グループ正規化(GN)に置き換えることを提案している。
論文参考訳（メタデータ） (2023-03-12T01:12:43Z)
Why Batch Normalization Damage Federated Learning on Non-IID Data? [34.06900591666005]
フェデレートラーニング(FL)では、エッジクライアントのプライバシを保護しながら、ネットワークエッジでディープニューラルネットワーク(DNN)モデルをトレーニングする。バッチ正規化(BN)は、訓練を加速し、能力一般化を改善するためのシンプルで効果的な手段とみなされてきた。最近の研究では、BNは非i.d.データの存在下でFLの性能を著しく損なうことが示されている。非i.d.データの下で、BNの局所的および大域的統計パラメータ間のミスマッチが局所的および大域的モデル間の勾配ずれを引き起こすことを示す最初の収束解析を提示する。
論文参考訳（メタデータ） (2023-01-08T05:24:12Z)
An Adaptive Batch Normalization in Deep Learning [0.0]
バッチ正規化(BN)は、深層畳み込みニューラルネットワークのトレーニングを加速し、安定させる方法である。本稿では、BNを必要とするデータとそれを必要としないデータを分離する、しきい値に基づく適応的なBNアプローチを提案する。
論文参考訳（メタデータ） (2022-11-03T12:12:56Z)
Batch Normalization Explained [31.66311831317311]
バッチ正規化(BN)により、DN学習と推論性能が向上することを示す。 BNは、DNのスプライン分割の幾何学をデータに適合させる教師なし学習技術である。また,ミニバッチ間のBN統計量の変動は,分割境界にランダムな乱摂動をもたらすことを示した。
論文参考訳（メタデータ） (2022-09-29T13:41:27Z)
"BNN - BN = ?": Training Binary Neural Networks without Batch Normalization [92.23297927690149]
バッチ正規化(BN)は、最先端のバイナリニューラルネットワーク(BNN)に不可欠な重要なファシリテータである BNNのトレーニングに彼らのフレームワークを拡張し、BNNのトレーニングや推論体制からBNを除去できることを初めて実証します。
論文参考訳（メタデータ） (2021-04-16T16:46:57Z)
MimicNorm: Weight Mean and Last BN Layer Mimic the Dynamic of Batch Normalization [60.36100335878855]
ネットワークトレーニングにおける収束と効率を改善するために,MimicNormという新しい正規化手法を提案する。我々は、神経核(NTK)理論を利用して、我々の重み付けが活性化を弱め、BN層のようなカオス状態にネットワークを移行することを証明する。 MimicNormは、ResNetsやShuffleNetのような軽量ネットワークなど、さまざまなネットワーク構造に対して同様の精度を実現し、約20%のメモリ消費を削減している。
論文参考訳（メタデータ） (2020-10-19T07:42:41Z)
Batch Normalization Increases Adversarial Vulnerability and Decreases Adversarial Transferability: A Non-Robust Feature Perspective [91.5105021619887]
バッチ正規化(BN)は、現代のディープニューラルネットワーク(DNN)で広く使われている。 BNは、対向ロバスト性を犠牲にしてモデル精度を高めることが観察された。 BNが主にロバスト特徴(RF)と非ロバスト特徴(NRF)の学習を好んでいるかどうかは不明である。
論文参考訳（メタデータ） (2020-10-07T10:24:33Z)
PowerNorm: Rethinking Batch Normalization in Transformers [96.14956636022957]
自然言語処理(NLP)におけるニューラルネットワーク(NN)モデルの正規化法は層正規化(LN)である LN は BN (naive/vanilla) の使用が NLP タスクの大幅な性能低下をもたらすという経験的観察により好まれる。本稿では,この問題を解決する新しい正規化手法である電力正規化(PN)を提案する。
論文参考訳（メタデータ） (2020-03-17T17:50:26Z)
Towards Stabilizing Batch Statistics in Backward Propagation of Batch Normalization [126.6252371899064]
移動平均バッチ正規化(MABN)は,新しい正規化法である。小バッチの場合,MABNはバニラBNの性能を完全に回復できることを示す。実験では、ImageNetやCOCOを含む複数のコンピュータビジョンタスクにおけるMABNの有効性を実証した。
論文参考訳（メタデータ） (2020-01-19T14:41:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。