論文の概要: Rethinking Normalization Methods in Federated Learning

• arxiv url: http://arxiv.org/abs/2210.03277v1
• Date: Fri, 7 Oct 2022 01:32:24 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-10 14:36:25.803652
• Title: Rethinking Normalization Methods in Federated Learning
• Title（参考訳）: フェデレーション学習における正規化手法の再考
• Authors: Zhixu Du, Jingwei Sun, Ang Li, Pin-Yu Chen, Jianyi Zhang, Hai "Helen" Li, Yiran Chen
• Abstract要約: フェデレートラーニング(FL)は、プライベートデータを明示的に共有しないことでプライバシーリスクを低減できる人気のある分散ラーニングフレームワークである。 我々は、外部共変量シフトが、世界モデルに対する一部のデバイスからの貢献の消滅につながることを示した。
• 参考スコア（独自算出の注目度）: 92.25845185724424
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning (FL) is a popular distributed learning framework that can reduce privacy risks by not explicitly sharing private data. In this work, we explicitly uncover external covariate shift problem in FL, which is caused by the independent local training processes on different devices. We demonstrate that external covariate shifts will lead to the obliteration of some devices' contributions to the global model. Further, we show that normalization layers are indispensable in FL since their inherited properties can alleviate the problem of obliterating some devices' contributions. However, recent works have shown that batch normalization, which is one of the standard components in many deep neural networks, will incur accuracy drop of the global model in FL. The essential reason for the failure of batch normalization in FL is poorly studied. We unveil that external covariate shift is the key reason why batch normalization is ineffective in FL. We also show that layer normalization is a better choice in FL which can mitigate the external covariate shift and improve the performance of the global model. We conduct experiments on CIFAR10 under non-IID settings. The results demonstrate that models with layer normalization converge fastest and achieve the best or comparable accuracy for three different model architectures.
• Abstract（参考訳）: フェデレートラーニング(FL)は、プライベートデータを明示的に共有しないことでプライバシーリスクを低減できる人気のある分散ラーニングフレームワークである。 本研究では,異なるデバイス上での独立したローカルトレーニングプロセスによって引き起こされる,FLの外部共変量シフト問題を明らかにする。 外部の共変量シフトは、一部のデバイスがグローバルモデルへの貢献を消してしまうことを実証する。 さらに, FL では正規化層が必須であり, それらの継承特性により, デバイスによるコントリビューションの消耗が軽減されることが示唆された。 しかし、近年の研究では、多くのディープニューラルネットワークの標準コンポーネントの一つであるバッチ正規化が、flのグローバルモデルの精度低下を引き起こすことが示されている。 flにおけるバッチ正規化の失敗の本質的な理由は十分に研究されていない。 FLでは,外部共変量シフトがバッチ正規化が有効でない重要な理由であることを示す。 また,外部共変量シフトを緩和し,グローバルモデルの性能を向上させるため,flでは層正規化がよい選択であることを示す。 非IID環境下でCIFAR10の実験を行った。 その結果, 3つのモデルアーキテクチャにおいて, 階層正規化モデルが最も高速に収束し, 最良あるいは同等の精度が得られることを示した。

関連論文リスト

• Can We Theoretically Quantify the Impacts of Local Updates on the Generalization Performance of Federated Learning? [50.03434441234569]
  フェデレートラーニング(FL)は、直接データ共有を必要とせず、さまざまなサイトで機械学習モデルをトレーニングする効果により、大きな人気を集めている。 局所的な更新を伴うFLは通信効率のよい分散学習フレームワークであることが様々なアルゴリズムによって示されているが、局所的な更新によるFLの一般化性能は比較的低い。
  論文  参考訳（メタデータ） (2024-09-05T19:00:18Z)
• Stragglers-Aware Low-Latency Synchronous Federated Learning via Layer-Wise Model Updates [71.81037644563217]
  同期フェデレーションラーニング(FL)は、協調エッジラーニングの一般的なパラダイムである。 一部のデバイスは計算資源が限られており、様々な可用性があるため、FLレイテンシはストラグラーに非常に敏感である。 本稿では,NNの最適化手法をバックプロパゲーションにより活用し,グローバルモデルを階層的に更新するストラグラー対応層対応学習(SALF)を提案する。
  論文  参考訳（メタデータ） (2024-03-27T09:14:36Z)
• FedNAR: Federated Optimization with Normalized Annealing Regularization [54.42032094044368]
  ウェイト崩壊の選択を探索し、ウェイト崩壊値が既存のFLアルゴリズムの収束に有意な影響を及ぼすことを確かめる。 我々は,既存のFLアルゴリズムにシームレスに統合可能なプラグインであるFederated Optimization with Normalized Annealing Regularization (FedNAR)を開発した。
  論文  参考訳（メタデータ） (2023-10-04T21:11:40Z)
• Understanding the Role of Layer Normalization in Label-Skewed Federated Learning [15.19762600396105]
  階層正規化(Layer normalization, LN)は、特に基礎モデルの時代に広く採用されているディープラーニング技術である。 本研究では,フェデレート学習における階層正規化とラベルシフト問題との深い関係を明らかにする。 その結果,FNは学習速度の選択に頑健でありながら,FLの収束性を大幅に向上させる上で,LN内の必須成分であることが確認された。
  論文  参考訳（メタデータ） (2023-08-18T13:57:04Z)
• Experimenting with Normalization Layers in Federated Learning on non-IID scenarios [1.2599533416395765]
  フェデレーテッド・ラーニング(FL)は、異なる機関からの協調トレーニングを用いたデータセットのプライバシ保護プールの方法として登場している。 FLの重要なパフォーマンス上の課題の1つは、フェデレーション参加者間で独立ではなく、同一に分散した(非IID)データセット上で運用することである。 ニューラルネットワーク(NN)トレーニングのための5つの異なる正規化レイヤ、非IIDデータスキューの2つのファミリー、および2つのデータセットをベンチマークする。 その結果,集中型DLに広く採用されているバッチ正規化はFLにとって最善の選択ではないが,グループ正規化とレイヤ正規化は一貫してバッチ正規化を上回っていることがわかった。
  論文  参考訳（メタデータ） (2023-03-19T11:20:43Z)
• Federated Learning on Heterogeneous and Long-Tailed Data via Classifier Re-Training with Federated Features [24.679535905451758]
  Federated Learning (FL)は、分散機械学習タスクのためのプライバシ保護ソリューションを提供する。 FLモデルの性能を著しく損なう難題の1つは、データ不均一性と長い尾分布の共起である。 We propose a novel privacy-serving FL method for heterogeneous and long-tailed data via Federated Re-training with Federated Features (CreFF)。
  論文  参考訳（メタデータ） (2022-04-28T10:35:11Z)
• Fine-tuning Global Model via Data-Free Knowledge Distillation for Non-IID Federated Learning [86.59588262014456]
  フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。 サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。 私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
  論文  参考訳（メタデータ） (2022-03-17T11:18:17Z)
• Federated Dropout -- A Simple Approach for Enabling Federated Learning on Resource Constrained Devices [40.69663094185572]
  フェデレートラーニング(FL)は、分散モバイルデータを使用したAIモデルを無線ネットワークでトレーニングするための一般的なフレームワークである。 実用FLに直面する大きな課題の1つは、リソース制約されたデバイスが、ディープニューラルネットワークモデルを更新する計算集約的なタスクに苦しむことである。 この課題に対処するために,ランダムモデルプルーニングのための古典的なドロップアウト方式に基づいて,フェデレートされたドロップアウト(FedDrop)方式を提案する。
  論文  参考訳（メタデータ） (2021-09-30T16:52:13Z)
• UVeQFed: Universal Vector Quantization for Federated Learning [179.06583469293386]
  フェデレートラーニング(FL)は、ユーザがプライベートラベル付きデータを共有することなく、そのような学習モデルをトレーニングする、新たなアプローチである。 FLでは、各ユーザが学習モデルのコピーをローカルにトレーニングする。その後、サーバは個々の更新を収集し、それらをグローバルモデルに集約する。 普遍ベクトル量子化法をFLと組み合わせることで、訓練されたモデルの圧縮が最小歪みのみを誘導する分散トレーニングシステムが得られることを示す。
  論文  参考訳（メタデータ） (2020-06-05T07:10:22Z)
• Federated learning with hierarchical clustering of local updates to improve training on non-IID data [3.3517146652431378]
  一つのジョイントモデルを学ぶことは、特定の種類の非IDデータが存在する場合に最適ではないことがよく示される。 階層的クラスタリングステップ(FL+HC)を導入することでFLに修正を加える。 FL+HCは,クラスタリングを伴わないFLに比べて,より少ない通信ラウンドでモデルトレーニングを収束させることができることを示す。
  論文  参考訳（メタデータ） (2020-04-24T15:16:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。