論文の概要: Experimenting with Normalization Layers in Federated Learning on non-IID scenarios

• arxiv url: http://arxiv.org/abs/2303.10630v1
• Date: Sun, 19 Mar 2023 11:20:43 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-21 18:14:55.753934
• Title: Experimenting with Normalization Layers in Federated Learning on non-IID scenarios
• Title（参考訳）: 非IIDシナリオにおけるフェデレーション学習における正規化層の実験
• Authors: Bruno Casella, Roberto Esposito, Antonio Sciarappa, Carlo Cavazzoni, Marco Aldinucci
• Abstract要約: フェデレーテッド・ラーニング(FL)は、異なる機関からの協調トレーニングを用いたデータセットのプライバシ保護プールの方法として登場している。 FLの重要なパフォーマンス上の課題の1つは、フェデレーション参加者間で独立ではなく、同一に分散した(非IID)データセット上で運用することである。 ニューラルネットワーク(NN)トレーニングのための5つの異なる正規化レイヤ、非IIDデータスキューの2つのファミリー、および2つのデータセットをベンチマークする。 その結果,集中型DLに広く採用されているバッチ正規化はFLにとって最善の選択ではないが,グループ正規化とレイヤ正規化は一貫してバッチ正規化を上回っていることがわかった。
• 参考スコア（独自算出の注目度）: 1.2599533416395765
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Training Deep Learning (DL) models require large, high-quality datasets, often assembled with data from different institutions. Federated Learning (FL) has been emerging as a method for privacy-preserving pooling of datasets employing collaborative training from different institutions by iteratively globally aggregating locally trained models. One critical performance challenge of FL is operating on datasets not independently and identically distributed (non-IID) among the federation participants. Even though this fragility cannot be eliminated, it can be debunked by a suitable optimization of two hyper-parameters: layer normalization methods and collaboration frequency selection. In this work, we benchmark five different normalization layers for training Neural Networks (NNs), two families of non-IID data skew, and two datasets. Results show that Batch Normalization, widely employed for centralized DL, is not the best choice for FL, whereas Group and Layer Normalization consistently outperform Batch Normalization. Similarly, frequent model aggregation decreases convergence speed and mode quality.
• Abstract（参考訳）: ディープラーニング(dl)モデルのトレーニングには、大規模で高品質なデータセットが必要となる。 フェデレーション学習(federated learning, fl)は,ローカルトレーニングされたモデルをグローバルに集約することで,さまざまな機関による協調トレーニングを活用した,プライバシ保護型データセットプールの方法として注目されている。 FLの重要なパフォーマンス上の課題の1つは、フェデレーション参加者間で独立ではなく、同一の(非IID)データセットで運用することである。 このフレギリティは排除できないが、層正規化法と協調周波数選択の2つのハイパーパラメータの適切な最適化によって排除することができる。 本研究では、ニューラルネットワーク(NN)のトレーニングのための5つの異なる正規化レイヤ、非IIDデータスキューの2つのファミリー、および2つのデータセットをベンチマークする。 その結果,集中型DLに広く採用されているバッチ正規化がFLの最適選択ではないことが明らかとなった。 同様に、頻繁なモデル集約は収束速度とモード品質を低下させる。

関連論文リスト

• Multi-level Personalized Federated Learning on Heterogeneous and Long-Tailed Data [10.64629029156029]
  マルチレベル・パーソナライズド・フェデレーション・ラーニング(MuPFL)という革新的パーソナライズド・パーソナライズド・ラーニング・フレームワークを導入する。 MuPFLは3つの重要なモジュールを統合している: Biased Activation Value Dropout (BAVD), Adaptive Cluster-based Model Update (ACMU), Prior Knowledge-assisted Fine-tuning (PKCF)。 様々な実世界のデータセットの実験では、MuPFLは極端に非i.d.と長い尾の条件下であっても、最先端のベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2024-05-10T11:52:53Z)
• FedUV: Uniformity and Variance for Heterogeneous Federated Learning [5.9330433627374815]
  フェデレーション学習は、広く分散されたデータでニューラルネットワークをトレーニングするための有望なフレームワークである。 最近の研究によると、ネットワークの最終層が局所バイアスの傾向が最も大きいためである。 凍結重量が一定の特異値をもたらすという観測によって動機付けられた重みにSVDを適用して分類器の訓練力学を考察する。
  論文  参考訳（メタデータ） (2024-02-27T15:53:15Z)
• Federated Two Stage Decoupling With Adaptive Personalization Layers [5.69361786082969]
  フェデレーション学習は、プライバシ制約を維持しながら分散学習を可能にする能力によって、大きな注目を集めている。 本質的には、学習の劣化と収束速度の低下を経験する。 等質なクライアントを同じ群にクラスタリングするという概念を採用することは自然であり、各群内のモデル重みのみを集約することができる。
  論文  参考訳（メタデータ） (2023-08-30T07:46:32Z)
• Integrating Local Real Data with Global Gradient Prototypes for Classifier Re-Balancing in Federated Long-Tailed Learning [60.41501515192088]
  フェデレートラーニング(FL)は、グローバルモデルを協調的にトレーニングする複数のクライアントを含む、人気のある分散ラーニングパラダイムになっています。 データサンプルは通常、現実世界の長い尾の分布に従っており、分散化された長い尾のデータのFLは、貧弱なグローバルモデルをもたらす。 本研究では、局所的な実データとグローバルな勾配のプロトタイプを統合し、局所的なバランスの取れたデータセットを形成する。
  論文  参考訳（メタデータ） (2023-01-25T03:18:10Z)
• Rethinking Normalization Methods in Federated Learning [92.25845185724424]
  フェデレートラーニング(FL)は、プライベートデータを明示的に共有しないことでプライバシーリスクを低減できる人気のある分散ラーニングフレームワークである。 我々は、外部共変量シフトが、世界モデルに対する一部のデバイスからの貢献の消滅につながることを示した。
  論文  参考訳（メタデータ） (2022-10-07T01:32:24Z)
• Heterogeneous Federated Learning via Grouped Sequential-to-Parallel Training [60.892342868936865]
  フェデレートラーニング(Federated Learning, FL)は、プライバシ保護のためのコラボレーション機械学習パラダイムである。 本稿では,この課題に対処するため,データヘテロジニアス・ロバストFLアプローチであるFedGSPを提案する。 その結果,FedGSPは7つの最先端アプローチと比較して平均3.7%の精度向上を実現していることがわかった。
  論文  参考訳（メタデータ） (2022-01-31T03:15:28Z)
• Multi-Center Federated Learning [62.32725938999433]
  フェデレートラーニング(FL)は、分散ラーニングにおけるデータのプライバシを保護する。 単にデータにアクセスせずに、ユーザーからローカルな勾配を収集するだけだ。 本稿では,新しいマルチセンターアグリゲーション機構を提案する。
  論文  参考訳（メタデータ） (2021-08-19T12:20:31Z)
• No Fear of Heterogeneity: Classifier Calibration for Federated Learning with Non-IID Data [78.69828864672978]
  実世界のフェデレーションシステムにおける分類モデルのトレーニングにおける中心的な課題は、非IIDデータによる学習である。 このアルゴリズムは, 近似されたssian混合モデルからサンプリングした仮想表現を用いて分類器を調整する。 実験の結果,CIFAR-10,CIFAR-100,CINIC-10など,一般的なフェデレーション学習ベンチマークにおけるCCVRの現状が示された。
  論文  参考訳（メタデータ） (2021-06-09T12:02:29Z)
• FedSemi: An Adaptive Federated Semi-Supervised Learning Framework [23.90642104477983]
  フェデレートラーニング(FL)は、データを共有し、プライバシーを漏らすことなく、機械学習モデルをコトレーニングするための効果的なテクニックとして登場した。 既存のFL法の多くは、教師付き設定に重点を置いて、ラベルなしデータの利用を無視している。 本稿では,FedSemiを提案する。FedSemiは,教師-学生モデルを用いてFLに整合性正則化を導入する新しい,適応的で汎用的なフレームワークである。
  論文  参考訳（メタデータ） (2020-12-06T15:46:04Z)
• Multi-Center Federated Learning [62.57229809407692]
  本稿では,フェデレート学習のための新しい多中心集約機構を提案する。 非IIDユーザデータから複数のグローバルモデルを学び、同時にユーザとセンタ間の最適なマッチングを導出する。 ベンチマークデータセットによる実験結果から,本手法はいくつかの一般的なフェデレーション学習法より優れていることが示された。
  論文  参考訳（メタデータ） (2020-05-03T09:14:31Z)
• Federated learning with hierarchical clustering of local updates to improve training on non-IID data [3.3517146652431378]
  一つのジョイントモデルを学ぶことは、特定の種類の非IDデータが存在する場合に最適ではないことがよく示される。 階層的クラスタリングステップ(FL+HC)を導入することでFLに修正を加える。 FL+HCは,クラスタリングを伴わないFLに比べて,より少ない通信ラウンドでモデルトレーニングを収束させることができることを示す。
  論文  参考訳（メタデータ） (2020-04-24T15:16:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。