論文の概要: FedStein: Enhancing Multi-Domain Federated Learning Through James-Stein Estimator

• arxiv url: http://arxiv.org/abs/2410.03499v1
• Date: Fri, 4 Oct 2024 15:13:31 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-02 21:50:00.696802
• Title: FedStein: Enhancing Multi-Domain Federated Learning Through James-Stein Estimator
• Title（参考訳）: FedStein: James-Stein Estimatorによるマルチドメインフェデレーション学習の促進
• Authors: Sunny Gupta, Nikita Jangid, Amit Sethi,
• Abstract要約: Federated Learning (FL)は、分散クライアント間の協調的なインサイトトレーニングを可能にすることで、データのプライバシを促進する。 その固有の利点にもかかわらず、FLは独立して同じ分散データを扱う際に、パフォーマンスと収束性の重大な課題に直面している。 本稿では,FedStein: Enhancing Multi-Domain Federated Learning through the James-Stein Estimatorを提案する。
• 参考スコア（独自算出の注目度）: 2.6733991338938026
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated Learning (FL) facilitates data privacy by enabling collaborative in-situ training across decentralized clients. Despite its inherent advantages, FL faces significant challenges of performance and convergence when dealing with data that is not independently and identically distributed (non-i.i.d.). While previous research has primarily addressed the issue of skewed label distribution across clients, this study focuses on the less explored challenge of multi-domain FL, where client data originates from distinct domains with varying feature distributions. We introduce a novel method designed to address these challenges FedStein: Enhancing Multi-Domain Federated Learning Through the James-Stein Estimator. FedStein uniquely shares only the James-Stein (JS) estimates of batch normalization (BN) statistics across clients, while maintaining local BN parameters. The non-BN layer parameters are exchanged via standard FL techniques. Extensive experiments conducted across three datasets and multiple models demonstrate that FedStein surpasses existing methods such as FedAvg and FedBN, with accuracy improvements exceeding 14% in certain domains leading to enhanced domain generalization. The code is available at https://github.com/sunnyinAI/FedStein
• Abstract（参考訳）: Federated Learning (FL)は、分散クライアント間の協調的なインサイトトレーニングを可能にすることで、データのプライバシを促進する。 その固有の利点にもかかわらず、FLは独立で同一に分散されていないデータを扱う際に、パフォーマンスと収束の重大な課題に直面している(非i.d.)。 従来,クライアント間でスキュードなラベル分散が問題視されてきたが,本研究では,異なる特徴分布を持つ異なるドメインからクライアントデータが派生するマルチドメインFLの課題に焦点をあてた。 本稿では,FedStein: Enhancing Multi-Domain Federated Learning through the James-Stein Estimatorを提案する。 FedSteinは、ローカルBNパラメータを維持しながら、クライアント間でバッチ正規化(BN)統計のJames-Stein(JS)推定のみを共有する。 非BN層パラメータは標準FL技術で交換される。 3つのデータセットと複数のモデルで実施された大規模な実験は、FedSteinがFedAvgやFedBNといった既存の手法を上回り、特定のドメインで精度が14%以上向上し、ドメインの一般化が促進されたことを示している。 コードはhttps://github.com/sunnyinAI/FedSteinで入手できる。

関連論文リスト

• Optimizing Federated Learning by Entropy-Based Client Selection [13.851391819710367]
  ディープラーニングドメインは通常、最適なパフォーマンスのために大量のデータを必要とします。 FedOptEntは、ラベル配布スキューによるパフォーマンスの問題を軽減するように設計されている。 提案手法は,最先端のアルゴリズムを最大6%の精度で高速化する。
  論文  参考訳（メタデータ） (2024-11-02T13:31:36Z)
• An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
  フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。 従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。 我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
  論文  参考訳（メタデータ） (2024-04-29T05:55:23Z)
• Personalized Federated Learning with Attention-based Client Selection [57.71009302168411]
  我々は,意図に基づくクライアント選択機構を備えた新しいPFLアルゴリズムであるFedACSを提案する。 FedACSは、類似したデータ分散を持つクライアント間のコラボレーションを強化するためのアテンションメカニズムを統合している。 CIFAR10とFMNISTの実験は、FedACSの優位性を検証する。
  論文  参考訳（メタデータ） (2023-12-23T03:31:46Z)
• FedWon: Triumphing Multi-domain Federated Learning Without Normalization [50.49210227068574]
  フェデレートラーニング(FL)は、分散クライアントでの協調的なインサイトトレーニングによって、データのプライバシを高める。 しかし、フェデレーテッド・ラーニング(FL)は、非独立で同一に分散された(非i.d)データのために困難に直面する。 本稿では,FLにおける多領域問題に対処するため,FedWon(Federated Learning Without normalizations)と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-06-09T13:18:50Z)
• FedFA: Federated Feature Augmentation [25.130087374092383]
  フェデレーション学習は、複数のパーティが生データを交換することなく、ディープモデルを協調的にトレーニングすることを可能にする。 本研究の主な目的は,クライアントのサンプルの特徴変化に対処する堅牢なフェデレーション学習アルゴリズムを開発することである。 我々は,フェデレーション機能強化の観点から,フェデレーション学習に取り組むためのFedFAを提案する。
  論文  参考訳（メタデータ） (2023-01-30T15:39:55Z)
• FedSkip: Combatting Statistical Heterogeneity with Federated Skip Aggregation [95.85026305874824]
  我々はFedSkipと呼ばれるデータ駆動型アプローチを導入し、フェデレーション平均化を定期的にスキップし、ローカルモデルをクロスデバイスに分散することで、クライアントの最適化を改善する。 我々は、FedSkipがはるかに高い精度、より良いアグリゲーション効率、競合する通信効率を達成することを示すために、さまざまなデータセットに関する広範な実験を行う。
  論文  参考訳（メタデータ） (2022-12-14T13:57:01Z)
• FedDC: Federated Learning with Non-IID Data via Local Drift Decoupling and Correction [48.85303253333453]
  フェデレートラーニング(FL)は、複数のクライアントがプライベートデータを共有せずに、高性能なグローバルモデルを集合的にトレーニングすることを可能にする。 局所的ドリフトデカップリングと補正(FedDC)を用いた新しいフェデレーション学習アルゴリズムを提案する。 私たちのFedDCでは、ローカルモデルパラメータとグローバルモデルパラメータのギャップを追跡するために、各クライアントが補助的なローカルドリフト変数を使用するような、ローカルトレーニングフェーズにおける軽量な修正のみを導入しています。 実験結果と解析結果から,FedDCは様々な画像分類タスクにおいて,収差の迅速化と性能の向上を図っている。
  論文  参考訳（メタデータ） (2022-03-22T14:06:26Z)
• FedBN: Federated Learning on Non-IID Features via Local Batch Normalization [23.519212374186232]
  フェデレーション学習(fl)の新たなパラダイムは、生データを集中的に集約することなく、ネットワークエッジにおける深層モデルの協調的なトレーニングを可能にすることを目指している。 モデルの平均化に先立って,局所的バッチ正規化を用いて特徴シフトを緩和する有効な手法を提案する。 FedBNと呼ばれるこの方式は、古典的なFedAvgと、非IDデータの最先端の両方を上回っている。
  論文  参考訳（メタデータ） (2021-02-15T16:04:10Z)
• WAFFLe: Weight Anonymized Factorization for Federated Learning [88.44939168851721]
  データが機密性やプライベート性を持つドメインでは、ローカルデバイスを離れることなく、分散的に学習できるメソッドには大きな価値があります。 本稿では,フェデレートラーニングのためのウェイト匿名化因子化(WAFFLe)を提案する。これは,インド・バフェット・プロセスとニューラルネットワークの重み要因の共有辞書を組み合わせたアプローチである。
  論文  参考訳（メタデータ） (2020-08-13T04:26:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。