Fugu-MT 論文翻訳(概要): FedFN: Feature Normalization for Alleviating Data Heterogeneity Problem in Federated Learning

論文の概要: FedFN: Feature Normalization for Alleviating Data Heterogeneity Problem in Federated Learning

arxiv url: http://arxiv.org/abs/2311.13267v1
Date: Wed, 22 Nov 2023 09:37:33 GMT
ステータス: 処理完了
システム内更新日: 2023-11-23 15:31:00.098462
Title: FedFN: Feature Normalization for Alleviating Data Heterogeneity Problem in Federated Learning
Title（参考訳）: fedfn: フェデレーション学習におけるデータ不均一性問題の緩和のための特徴正規化
Authors: Seongyoon Kim, Gihun Lee, Jaehoon Oh, Se-Young Yun
Abstract要約: 簡単な学習方法であるFederated Averaging with Feature Normalization Update (FedFN)を紹介する。事前訓練されたResNet18に適用しても, 広範囲な実験によりFedFNの優れた性能を示す。
参考スコア（独自算出の注目度）: 29.626725039794383
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Federated Learning (FL) is a collaborative method for training models while preserving data privacy in decentralized settings. However, FL encounters challenges related to data heterogeneity, which can result in performance degradation. In our study, we observe that as data heterogeneity increases, feature representation in the FedAVG model deteriorates more significantly compared to classifier weight. Additionally, we observe that as data heterogeneity increases, the gap between higher feature norms for observed classes, obtained from local models, and feature norms of unobserved classes widens, in contrast to the behavior of classifier weight norms. This widening gap extends to encompass the feature norm disparities between local and the global models. To address these issues, we introduce Federated Averaging with Feature Normalization Update (FedFN), a straightforward learning method. We demonstrate the superior performance of FedFN through extensive experiments, even when applied to pretrained ResNet18. Subsequently, we confirm the applicability of FedFN to foundation models.
Abstract（参考訳）: フェデレーション・ラーニング(federated learning, fl)は、データプライバシを分散環境で保持しながらモデルをトレーニングするためのコラボレーティブな手法である。しかし、FLはデータ不均一性に関連する問題に遭遇し、パフォーマンスが低下する可能性がある。本研究では,データの不均一性が増大するにつれて,fedavgモデルの特徴表現が分類器の重みよりも著しく劣化することを示す。さらに,データの不均一性が増大するにつれて,局所モデルから得られた観測クラスの高次特徴ノルムと未観測クラスの特徴ノルムとのギャップが広がり,分類器重みノルムの挙動とは対照的である。この拡大ギャップは、局所モデルとグローバルモデルの間の特徴ノルムの相違を包含する。この問題に対処するために,簡単な学習手法であるfederated averaging with feature normalization update (fedfn)を提案する。事前訓練されたResNet18に適用しても, 広範囲な実験によりFedFNの優れた性能を示す。その後,基礎モデルへのFedFNの適用性を確認した。

関連論文リスト

Addressing Data Heterogeneity in Federated Learning with Adaptive Normalization-Free Feature Recalibration [1.33512912917221]
フェデレートラーニング(Federated Learning)は、ステークホルダーのデータ所有を保護し、パフォーマンスと一般化を改善した分散コラボレーティブトレーニングパラダイムである。本稿では、重み付け標準化とチャネルアテンションを組み合わせたアーキテクチャレベルの手法である、適応正規化自由特徴校正(ANFR)を提案する。
論文参考訳（メタデータ） (2024-10-02T20:16:56Z)
Synthetic Data Aided Federated Learning Using Foundation Models [4.666380225768727]
ファウンデーションモデル(DPSDA-FL)を用いたFederated Learningを支援する微分プライベートデータを提案する。実験の結果,DPSDA-FLは,非IID問題のあるFLにおいて,クラスリコールとクラス分類精度を最大26%, 9%向上できることがわかった。
論文参考訳（メタデータ） (2024-07-06T20:31:43Z)
An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
論文参考訳（メタデータ） (2024-04-29T05:55:23Z)
Fake It Till Make It: Federated Learning with Consensus-Oriented Generation [52.82176415223988]
コンセンサス指向生成による連合学習(FedCOG)を提案する。 FedCOGは、補完的なデータ生成と知識蒸留に基づくモデルトレーニングという、クライアント側の2つの重要なコンポーネントで構成されています。古典的および実世界のFLデータセットの実験は、FedCOGが一貫して最先端の手法より優れていることを示している。
論文参考訳（メタデータ） (2023-12-10T18:49:59Z)
Consistency Regularization for Generalizable Source-free Domain Adaptation [62.654883736925456]
ソースフリードメイン適応(source-free domain adapt, SFDA)は、ソースデータセットにアクセスすることなく、十分にトレーニングされたソースモデルを未学習のターゲットドメインに適応することを目的としている。既存のSFDAメソッドは、ターゲットのトレーニングセット上で適用されたモデルを評価し、目に見えないが同一の分散テストセットからデータを無視する。より一般化可能なSFDA法を開発するための整合正則化フレームワークを提案する。
論文参考訳（メタデータ） (2023-08-03T07:45:53Z)
Stabilizing and Improving Federated Learning with Non-IID Data and Client Dropout [15.569507252445144]
ラベル分布スキューによるデータヘテロジェニーティは、フェデレート学習におけるモデル性能を制限する重要な障害であることが示されている。クロスエントロピー損失を計算するための事前校正ソフトマックス関数を導入することで、シンプルで効果的なフレームワークを提案する。非IIDデータとクライアントドロップアウトの存在下で、既存のベースラインよりも優れたモデル性能を示す。
論文参考訳（メタデータ） (2023-03-11T05:17:59Z)
Feature Correlation-guided Knowledge Transfer for Federated Self-supervised Learning [19.505644178449046]
特徴相関に基づくアグリゲーション(FedFoA)を用いたフェデレーション型自己教師型学習法を提案する。私たちの洞察は、機能相関を利用して、特徴マッピングを整列し、ローカルトレーニングプロセス中にクライアント間でローカルモデルの更新を校正することにあります。我々はFedFoAがモデルに依存しないトレーニングフレームワークであることを証明する。
論文参考訳（メタデータ） (2022-11-14T13:59:50Z)
Rethinking Data Heterogeneity in Federated Learning: Introducing a New Notion and Standard Benchmarks [65.34113135080105]
我々は、現在のセットアップにおけるデータ不均一性の問題が必ずしも問題であるだけでなく、FL参加者にとって有益であることを示す。私たちの観察は直感的である。私たちのコードはhttps://github.com/MMorafah/FL-SC-NIIDで利用可能です。
論文参考訳（メタデータ） (2022-09-30T17:15:19Z)
Federated Learning on Heterogeneous and Long-Tailed Data via Classifier Re-Training with Federated Features [24.679535905451758]
Federated Learning (FL)は、分散機械学習タスクのためのプライバシ保護ソリューションを提供する。 FLモデルの性能を著しく損なう難題の1つは、データ不均一性と長い尾分布の共起である。 We propose a novel privacy-serving FL method for heterogeneous and long-tailed data via Federated Re-training with Federated Features (CreFF)。
論文参考訳（メタデータ） (2022-04-28T10:35:11Z)
Fine-tuning Global Model via Data-Free Knowledge Distillation for Non-IID Federated Learning [86.59588262014456]
フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
論文参考訳（メタデータ） (2022-03-17T11:18:17Z)
No Fear of Heterogeneity: Classifier Calibration for Federated Learning with Non-IID Data [78.69828864672978]
実世界のフェデレーションシステムにおける分類モデルのトレーニングにおける中心的な課題は、非IIDデータによる学習である。このアルゴリズムは, 近似されたssian混合モデルからサンプリングした仮想表現を用いて分類器を調整する。実験の結果,CIFAR-10,CIFAR-100,CINIC-10など,一般的なフェデレーション学習ベンチマークにおけるCCVRの現状が示された。
論文参考訳（メタデータ） (2021-06-09T12:02:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。