論文の概要: Understanding the Role of Layer Normalization in Label-Skewed Federated Learning

• arxiv url: http://arxiv.org/abs/2308.09565v2
• Date: Thu, 15 Feb 2024 02:43:25 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-16 18:53:01.300616
• Title: Understanding the Role of Layer Normalization in Label-Skewed Federated Learning
• Title（参考訳）: ラベル学習における階層正規化の役割の理解
• Authors: Guojun Zhang, Mahdi Beitollahi, Alex Bie, Xi Chen
• Abstract要約: 階層正規化(Layer normalization, LN)は、特に基礎モデルの時代に広く採用されているディープラーニング技術である。 本研究では,フェデレート学習における階層正規化とラベルシフト問題との深い関係を明らかにする。 その結果,FNは学習速度の選択に頑健でありながら,FLの収束性を大幅に向上させる上で,LN内の必須成分であることが確認された。
• 参考スコア（独自算出の注目度）: 15.19762600396105
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Layer normalization (LN) is a widely adopted deep learning technique especially in the era of foundation models. Recently, LN has been shown to be surprisingly effective in federated learning (FL) with non-i.i.d. data. However, exactly why and how it works remains mysterious. In this work, we reveal the profound connection between layer normalization and the label shift problem in federated learning. To understand layer normalization better in FL, we identify the key contributing mechanism of normalization methods in FL, called feature normalization (FN), which applies normalization to the latent feature representation before the classifier head. Although LN and FN do not improve expressive power, they control feature collapse and local overfitting to heavily skewed datasets, and thus accelerates global training. Empirically, we show that normalization leads to drastic improvements on standard benchmarks under extreme label shift. Moreover, we conduct extensive ablation studies to understand the critical factors of layer normalization in FL. Our results verify that FN is an essential ingredient inside LN to significantly improve the convergence of FL while remaining robust to learning rate choices, especially under extreme label shift where each client has access to few classes. Our code is available at \url{https://github.com/huawei-noah/Federated-Learning/tree/main/Layer_Normalization}.
• Abstract（参考訳）: 階層正規化(Layer normalization, LN)は、特に基礎モデルの時代に広く採用されているディープラーニング技術である。 近年、LNは非i.d.データを用いた連邦学習(FL)において驚くほど効果的であることが示されている。 しかし、その理由と仕組みは謎のままである。 本研究では,連合学習における階層正規化とラベルシフト問題との深い関係を明らかにする。 FLにおける層正規化をよりよく理解するために,特徴正規化(FN)と呼ばれるFLにおける正規化手法の鍵となる寄与機構を同定する。 ln と fn は表現力は向上しないが、特徴の崩壊と局所的なオーバーフィットを非常に歪んだデータセットに制御し、グローバルなトレーニングを加速する。 実験により,正規化が極端ラベルシフトの下での標準ベンチマークの大幅な改善につながることを示す。 さらに,flの層正規化の重要な要因を理解するため,広範囲なアブレーション研究を行った。 この結果から,fn は ln 内部において,学習率選択に頑健なまま fl の収束性を大幅に向上させる上で不可欠な要素であることを確認した。 我々のコードは \url{https://github.com/huawei-noah/Federated-Learning/tree/main/Layer_Normalization} で利用可能です。

関連論文リスト

• Revisiting Early-Learning Regularization When Federated Learning Meets Noisy Labels [27.777781072683986]
  本稿では,早期学習の正規化を再考し,革新的戦略であるFederated Label-mixture Regularization(FLR)を導入する。 FLRはFLの複雑さに適応し、新しい擬似ラベルを生成し、局所的および大域的モデル予測をブレンドする。
  論文  参考訳（メタデータ） (2024-02-08T02:21:33Z)
• FedNAR: Federated Optimization with Normalized Annealing Regularization [54.42032094044368]
  ウェイト崩壊の選択を探索し、ウェイト崩壊値が既存のFLアルゴリズムの収束に有意な影響を及ぼすことを確かめる。 我々は,既存のFLアルゴリズムにシームレスに統合可能なプラグインであるFederated Optimization with Normalized Annealing Regularization (FedNAR)を開発した。
  論文  参考訳（メタデータ） (2023-10-04T21:11:40Z)
• Federated Neuro-Symbolic Learning [39.04545654772026]
  FL通信媒体として潜伏変数を用いたFedNSL(Federated Neuro-Symbolic Learning framework)を提案する。 FedNSLは、単純で効果的なKullback-Leibler(KL)分散制約によって規則分布を特定し、対処することができる。 合成データと実世界のデータに基づく大規模な実験は、5つの最先端手法と比較して、FedNSLの顕著な優位性を示している。
  論文  参考訳（メタデータ） (2023-08-29T14:20:17Z)
• Making Batch Normalization Great in Federated Deep Learning [32.81480654534734]
  バッチ正規化(BN)は集中型ディープラーニングにおいて収束と一般化を改善するために広く用いられている。 BNによるトレーニングはパフォーマンスを阻害する可能性があり、グループ正規化(GN)に置き換えることを提案している。
  論文  参考訳（メタデータ） (2023-03-12T01:12:43Z)
• Rethinking Normalization Methods in Federated Learning [92.25845185724424]
  フェデレートラーニング(FL)は、プライベートデータを明示的に共有しないことでプライバシーリスクを低減できる人気のある分散ラーニングフレームワークである。 我々は、外部共変量シフトが、世界モデルに対する一部のデバイスからの貢献の消滅につながることを示した。
  論文  参考訳（メタデータ） (2022-10-07T01:32:24Z)
• Federated Learning with Label Distribution Skew via Logits Calibration [26.98248192651355]
  本稿では,FLにおけるラベル分布スキューについて検討する。 本稿では,各クラスの発生確率に応じて,ソフトマックスクロスエントロピー前のロジットを校正するFedLCを提案する。 フェデレーションデータセットと実世界のデータセットの実験は、FedLCがより正確なグローバルモデルをもたらすことを示す。
  論文  参考訳（メタデータ） (2022-09-01T02:56:39Z)
• Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
  フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
  論文  参考訳（メタデータ） (2021-11-28T19:03:39Z)
• The Role of Global Labels in Few-Shot Classification and How to Infer Them [55.64429518100676]
  メタ学習では、ほとんどショット学習が中心的な問題であり、学習者は新しいタスクに迅速に適応しなければならない。 本稿では,メタラベル学習(MeLa)を提案する。メタラベル学習(MeLa)は,グローバルラベルを推論し,標準分類によるロバストな少数ショットモデルを得る新しいアルゴリズムである。
  論文  参考訳（メタデータ） (2021-08-09T14:07:46Z)
• Federated Learning with Nesterov Accelerated Gradient Momentum Method [47.49442006239034]
  Federated Learning(FL)は、複数のワーカーが分散データセットに基づいてグローバルモデルをトレーニングできる、迅速な開発技術である。 Nesterov Accelerated Gradient (NAG) が集中トレーニング環境においてより有利であることはよく知られている。 本研究では,NAGに基づくFLのバージョンに着目し,詳細な収束解析を行う。
  論文  参考訳（メタデータ） (2020-09-18T09:38:11Z)
• Improving Semi-supervised Federated Learning by Reducing the Gradient Diversity of Models [67.66144604972052]
  Federated Learning(FL)は、ユーザのプライバシを維持しながらモバイルデバイスのコンピューティングパワーを使用する、有望な方法だ。 テスト精度に影響を与える重要な問題は、異なるユーザーからのモデルの勾配の多様性であることを示す。 本稿では,FedAvg平均化を代替するグループモデル平均化手法を提案する。
  論文  参考訳（メタデータ） (2020-08-26T03:36:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。