論文の概要: Hybrid Batch Normalisation: Resolving the Dilemma of Batch Normalisation in Federated Learning

• arxiv url: http://arxiv.org/abs/2505.21877v1
• Date: Wed, 28 May 2025 01:46:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-29 17:35:50.358808
• Title: Hybrid Batch Normalisation: Resolving the Dilemma of Batch Normalisation in Federated Learning
• Title（参考訳）: ハイブリッドバッチ正規化:フェデレートラーニングにおけるバッチ正規化のジレンマを解決する
• Authors: Hongyao Chen, Tianyang Xu, Xiaojun Wu, Josef Kittler,
• Abstract要約: バッチ正規化(BN)は、ディープニューラルネットワークトレーニングにおいて、各バッチデータの入出力分布を調和させるために広く使用されている。 本研究では,Hybrid Batch Normalization (HBN) をカスタマイズした正規化手法を開発する。 HBNは、統計パラメータの更新と学習可能なパラメータの更新を分離し、分散シナリオにおけるグローバルな統計パラメータの偏りのない推定値を取得する。
• 参考スコア（独自算出の注目度）: 34.07540860626276
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Batch Normalisation (BN) is widely used in conventional deep neural network training to harmonise the input-output distributions for each batch of data. However, federated learning, a distributed learning paradigm, faces the challenge of dealing with non-independent and identically distributed data among the client nodes. Due to the lack of a coherent methodology for updating BN statistical parameters, standard BN degrades the federated learning performance. To this end, it is urgent to explore an alternative normalisation solution for federated learning. In this work, we resolve the dilemma of the BN layer in federated learning by developing a customised normalisation approach, Hybrid Batch Normalisation (HBN). HBN separates the update of statistical parameters (i.e. , means and variances used for evaluation) from that of learnable parameters (i.e. , parameters that require gradient updates), obtaining unbiased estimates of global statistical parameters in distributed scenarios. In contrast with the existing solutions, we emphasise the supportive power of global statistics for federated learning. The HBN layer introduces a learnable hybrid distribution factor, allowing each computing node to adaptively mix the statistical parameters of the current batch with the global statistics. Our HBN can serve as a powerful plugin to advance federated learning performance. It reflects promising merits across a wide range of federated learning settings, especially for small batch sizes and heterogeneous data.
• Abstract（参考訳）: バッチ正規化(BN)は、従来のディープニューラルネットワークトレーニングにおいて、各バッチのデータに対して入力出力分布を調和させるために広く使用されている。 しかし、分散学習パラダイムであるフェデレーション学習は、クライアントノード間で非独立で同一の分散データを扱うという課題に直面している。 BN統計パラメータを更新するためのコヒーレントな方法論がないため、標準BNはフェデレートされた学習性能を低下させる。 この目的のために、フェデレートラーニングのための代替正規化ソリューションを探究することが急務である。 本研究では, 標準化正規化手法であるハイブリッドバッチ正規化(HBN)を開発することにより, フェデレート学習におけるBN層のジレンマを解消する。 HBNは、統計パラメータの更新(すなわち、評価に使用される平均と分散)と学習可能なパラメータの更新(すなわち、勾配更新を必要とするパラメータ)を分離し、分散シナリオにおけるグローバルな統計パラメータの偏りのない推定値を取得する。 既存のソリューションとは対照的に,フェデレートラーニングにおけるグローバル統計の支持力を強調した。 HBN層は学習可能なハイブリッド分散係数を導入し、各計算ノードが現在のバッチの統計パラメータとグローバル統計を適応的に混合できるようにする。 当社のHBNは,フェデレート学習性能向上のための強力なプラグインとして機能する。 これは、特に小さなバッチサイズと不均一なデータに対して、幅広いフェデレーション付き学習設定における有望なメリットを反映している。

関連論文リスト

• Decentralized Nonconvex Composite Federated Learning with Gradient Tracking and Momentum [78.27945336558987]
  分散サーバ(DFL)はクライアント・クライアント・アーキテクチャへの依存をなくす。 非滑らかな正規化はしばしば機械学習タスクに組み込まれる。 本稿では,これらの問題を解決する新しいDNCFLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-04-17T08:32:25Z)
• Supervised Batch Normalization [0.08192907805418585]
  バッチ正規化(BN)はニューラルネットワークで広く使われている手法である。 本稿では,先駆的アプローチであるSupervised Batch Normalization (SBN)を提案する。 我々はコンテキストをモードとして定義し、類似した特徴を持つデータを分類する。
  論文  参考訳（メタデータ） (2024-05-27T10:30:21Z)
• Overcoming the Challenges of Batch Normalization in Federated Learning [9.94980188821453]
  本稿では、フェデレート学習におけるバッチ正規化の利点を回復する新しいスキームであるFederated BatchNorm(FBN)を紹介する。 基本的に、FBNは、トレーニング中のバッチの正規化が集中的な実行で達成されるものと一致していることを保証する。 複雑性がわずかに増加すると、FBNを堅牢化して誤った統計を緩和し、潜在的に敵対的な攻撃を軽減できることを示す。
  論文  参考訳（メタデータ） (2024-05-23T15:07:21Z)
• Overcoming Recency Bias of Normalization Statistics in Continual Learning: Balance and Adaptation [67.77048565738728]
  継続的な学習には、一連のタスクを学習し、彼らの知識を適切にバランスさせることが含まれる。 本稿では,タスク・ワイド・コントリビューションに適応するためのベイズ的戦略を適切に取り入れた BN の適応バランス (AdaB$2$N) を提案する。 提案手法は,幅広いベンチマークにおいて,大幅な性能向上を実現している。
  論文  参考訳（メタデータ） (2023-10-13T04:50:40Z)
• Patch-aware Batch Normalization for Improving Cross-domain Robustness [55.06956781674986]
  クロスドメインタスクは、トレーニングセットとテストセットが異なるディストリビューションに従うと、モデルのパフォーマンスが低下する課題を示す。 パッチ対応バッチ正規化(PBN)と呼ばれる新しい手法を提案する。 画像の局所的なパッチの違いを利用して、提案したPBNはモデルパラメータの堅牢性を効果的に向上させることができる。
  論文  参考訳（メタデータ） (2023-04-06T03:25:42Z)
• Neural Tangent Kernel Empowered Federated Learning [35.423391869982694]
  フェデレートラーニング(FL)は、複数の参加者が生データを共有せずに機械学習問題を共同で解決する、プライバシー保護パラダイムである。 本稿では,ニューラルタンジェントカーネル(NTK)フレームワークを応用した新しいFLパラダイムを提案する。 提案手法は,通信ラウンドの回数を桁違いに減らしながら,同じ精度を実現できることを示す。
  論文  参考訳（メタデータ） (2021-10-07T17:58:58Z)
• Test-time Batch Statistics Calibration for Covariate Shift [66.7044675981449]
  我々は,推論中に深層モデルを新しい環境に適応させることを提案する。 バッチ統計の校正に$alpha$-BNの一般的な定式化を提案する。 また、統合テスト時間適応フレームワークCoreを形成するための新しい損失関数も提示する。
  論文  参考訳（メタデータ） (2021-10-06T08:45:03Z)
• Double Forward Propagation for Memorized Batch Normalization [68.34268180871416]
  バッチ正規化(BN)は、ディープニューラルネットワーク(DNN)の設計における標準コンポーネントである。 より正確でロバストな統計値を得るために,複数の最近のバッチを考慮に入れた記憶型バッチ正規化(MBN)を提案する。 関連する手法と比較して、提案したMBNはトレーニングと推論の両方において一貫した振る舞いを示す。
  論文  参考訳（メタデータ） (2020-10-10T08:48:41Z)
• Robustness and Personalization in Federated Learning: A Unified Approach via Regularization [4.7234844467506605]
  我々は、Fed+と呼ばれる堅牢でパーソナライズされたフェデレーション学習のための一連の方法を提案する。 Fed+の主な利点は、フェデレートトレーニングで見られる現実世界の特徴をよりよく適応することである。 ベンチマークデータセットに関する広範な実験を通じて、Fed+の利点を実証する。
  論文  参考訳（メタデータ） (2020-09-14T10:04:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。