Fugu-MT 論文翻訳(概要): FedWon: Triumphing Multi-domain Federated Learning Without Normalization

論文の概要: FedWon: Triumphing Multi-domain Federated Learning Without Normalization

arxiv url: http://arxiv.org/abs/2306.05879v2
Date: Fri, 26 Jan 2024 05:58:33 GMT
ステータス: 処理完了
システム内更新日: 2024-01-29 18:22:46.440388
Title: FedWon: Triumphing Multi-domain Federated Learning Without Normalization
Title（参考訳）: FedWon: 正規化なしのマルチドメインフェデレーション学習のトライアル
Authors: Weiming Zhuang, Lingjuan Lyu
Abstract要約: フェデレートラーニング(FL)は、分散クライアントでの協調的なインサイトトレーニングによって、データのプライバシを高める。しかし、フェデレーテッド・ラーニング(FL)は、非独立で同一に分散された(非i.d)データのために困難に直面する。本稿では,FLにおける多領域問題に対処するため,FedWon(Federated Learning Without normalizations)と呼ばれる新しい手法を提案する。
参考スコア（独自算出の注目度）: 50.49210227068574
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Federated learning (FL) enhances data privacy with collaborative in-situ training on decentralized clients. Nevertheless, FL encounters challenges due to non-independent and identically distributed (non-i.i.d) data, leading to potential performance degradation and hindered convergence. While prior studies predominantly addressed the issue of skewed label distribution, our research addresses a crucial yet frequently overlooked problem known as multi-domain FL. In this scenario, clients' data originate from diverse domains with distinct feature distributions, instead of label distributions. To address the multi-domain problem in FL, we propose a novel method called Federated learning Without normalizations (FedWon). FedWon draws inspiration from the observation that batch normalization (BN) faces challenges in effectively modeling the statistics of multiple domains, while existing normalization techniques possess their own limitations. In order to address these issues, FedWon eliminates the normalization layers in FL and reparameterizes convolution layers with scaled weight standardization. Through extensive experimentation on five datasets and five models, our comprehensive experimental results demonstrate that FedWon surpasses both FedAvg and the current state-of-the-art method (FedBN) across all experimental setups, achieving notable accuracy improvements of more than 10% in certain domains. Furthermore, FedWon is versatile for both cross-silo and cross-device FL, exhibiting robust domain generalization capability, showcasing strong performance even with a batch size as small as 1, thereby catering to resource-constrained devices. Additionally, FedWon can also effectively tackle the challenge of skewed label distribution.
Abstract（参考訳）: フェデレートラーニング(FL)は、分散クライアントでの協調的なインサイトトレーニングによって、データのプライバシを高める。しかしながら、FLは非独立で同一に分散した(非i.d)データのために困難に遭遇し、潜在的な性能劣化と収束の妨げとなる。先行研究はスキュードラベル分布の問題に主に対処するが,本研究は多ドメインFLとして知られる重要かつ頻繁に見過ごされる問題に対処する。このシナリオでは、クライアントのデータはラベル分布ではなく、異なる特徴分布を持つ多様なドメインに由来する。 FLにおけるマルチドメイン問題に対処するため,FedWon(Federated Learning Without normalizations)と呼ばれる新しい手法を提案する。 fedwon氏は、バッチ正規化(bn)が複数のドメインの統計を効果的にモデル化する上での課題に直面しているという観察からインスピレーションを得ている。これらの問題に対処するため、feedwonはflの正規化層を取り除き、スケールドウェイトの標準化により畳み込み層を再パラメータ化する。 5つのデータセットと5つのモデルに対する広範な実験により、FedWonはFedAvgと現在の最先端手法(FedBN)をすべての実験環境にわたって超越し、特定の領域において10%以上の精度向上を実現していることを示す。さらに、FedWonはクロスサイロとクロスデバイス両方のFLに汎用性があり、堅牢なドメイン一般化能力を示し、バッチサイズが1まで小さくても強い性能を示す。さらに、fedwonはラベル分布の歪む問題にも効果的に対処できる。

関連論文リスト

FedStein: Enhancing Multi-Domain Federated Learning Through James-Stein Estimator [2.6733991338938026]
Federated Learning (FL)は、分散クライアント間の協調的なインサイトトレーニングを可能にすることで、データのプライバシを促進する。その固有の利点にもかかわらず、FLは独立して同じ分散データを扱う際に、パフォーマンスと収束性の重大な課題に直面している。本稿では,FedStein: Enhancing Multi-Domain Federated Learning through the James-Stein Estimatorを提案する。
論文参考訳（メタデータ） (2024-10-04T15:13:31Z)
Beyond ADMM: A Unified Client-variance-reduced Adaptive Federated Learning Framework [82.36466358313025]
我々はFedVRAと呼ばれる原始二重FLアルゴリズムを提案し、このアルゴリズムはグローバルモデルの分散還元レベルとバイアスを適応的に制御することができる。半教師付き画像分類タスクに基づく実験は,既存の手法よりもFedVRAの方が優れていることを示す。
論文参考訳（メタデータ） (2022-12-03T03:27:51Z)
FL Games: A Federated Learning Framework for Distribution Shifts [71.98708418753786]
フェデレートラーニングは、サーバのオーケストレーションの下で、クライアント間で分散されたデータの予測モデルをトレーニングすることを目的としている。本稿では,クライアント間で不変な因果的特徴を学習するフェデレーション学習のためのゲーム理論フレームワークFL GAMESを提案する。
論文参考訳（メタデータ） (2022-10-31T22:59:03Z)
FedFM: Anchor-based Feature Matching for Data Heterogeneity in Federated Learning [91.74206675452888]
本稿では,各クライアントの特徴を共有カテゴリーのアンカーにマッチさせる新しいFedFM法を提案する。効率と柔軟性を向上させるため,FedFM-Liteと呼ばれるFedFM変種を提案し,クライアントは同期時間と通信帯域幅のコストを少なくしてサーバと通信する。
論文参考訳（メタデータ） (2022-10-14T08:11:34Z)
Mitigating Data Absence in Federated Learning Using Privacy-Controllable Data Digests [12.65383500988952]
フェデレートラーニングとデータダイジェスト(FedDig)フレームワークを紹介します。 FedDigは、新しいプライバシー管理可能なデータダイジェスト表現を使用して、予期しない配布変更を管理する。さまざまなデータ欠如のシナリオにおいて、5つのベースラインアルゴリズムをかなり上回ります。
論文参考訳（メタデータ） (2022-10-03T06:54:44Z)
FedDAR: Federated Domain-Aware Representation Learning [14.174833360938806]
クロスサイロ・フェデレーション・ラーニング(FL)は、医療のための機械学習アプリケーションにおいて有望なツールとなっている。本稿では,ドメイン共有表現とドメインワイド・パーソナライズされた予測ヘッドを学習する新しい手法であるFedDARを提案する。
論文参考訳（メタデータ） (2022-09-08T19:18:59Z)
Fine-tuning Global Model via Data-Free Knowledge Distillation for Non-IID Federated Learning [86.59588262014456]
フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
論文参考訳（メタデータ） (2022-03-17T11:18:17Z)
Towards Understanding Quality Challenges of the Federated Learning: A First Look from the Lens of Robustness [4.822471415125479]
Federated Learning(FL)は、すべての参加者のデータセット全体をトレーニングに活用しながら、ユーザのデータのプライバシを保護することを目的としている。 FLは依然として攻撃やビザンチン障害などの品質問題に悩まされる傾向にある。本報告では,攻撃・故障発生におけるSOTA(State-of-the-art)の強靭なFL手法の有効性について検討する。
論文参考訳（メタデータ） (2022-01-05T02:06:39Z)
FedBN: Federated Learning on Non-IID Features via Local Batch Normalization [23.519212374186232]
フェデレーション学習(fl)の新たなパラダイムは、生データを集中的に集約することなく、ネットワークエッジにおける深層モデルの協調的なトレーニングを可能にすることを目指している。モデルの平均化に先立って,局所的バッチ正規化を用いて特徴シフトを緩和する有効な手法を提案する。 FedBNと呼ばれるこの方式は、古典的なFedAvgと、非IDデータの最先端の両方を上回っている。
論文参考訳（メタデータ） (2021-02-15T16:04:10Z)
WAFFLe: Weight Anonymized Factorization for Federated Learning [88.44939168851721]
データが機密性やプライベート性を持つドメインでは、ローカルデバイスを離れることなく、分散的に学習できるメソッドには大きな価値があります。本稿では,フェデレートラーニングのためのウェイト匿名化因子化(WAFFLe)を提案する。これは,インド・バフェット・プロセスとニューラルネットワークの重み要因の共有辞書を組み合わせたアプローチである。
論文参考訳（メタデータ） (2020-08-13T04:26:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。