論文の概要: FedALA: Adaptive Local Aggregation for Personalized Federated Learning

• arxiv url: http://arxiv.org/abs/2212.01197v4
• Date: Sun, 17 Sep 2023 09:10:44 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-20 01:10:38.055629
• Title: FedALA: Adaptive Local Aggregation for Personalized Federated Learning
• Title（参考訳）: FedALA: 個人化フェデレーション学習のための適応的ローカルアグリゲーション
• Authors: Jianqing Zhang, Yang Hua, Hao Wang, Tao Song, Zhengui Xue, Ruhui Ma, Haibing Guan
• Abstract要約: 連合学習(FL)における鍵となる課題は、各クライアントにおけるグローバルモデルの一般化を損なう統計的不均一性である。 本稿では,FedALA(Adaptive Local Aggregation)を用いたFedALA(Federated Learning with Adaptive Local Aggregation)を提案する。 FedALAの有効性を評価するため、コンピュータビジョンと自然言語処理領域における5つのベンチマークデータセットを用いて広範な実験を行った。
• 参考スコア（独自算出の注目度）: 33.000160383079496
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: A key challenge in federated learning (FL) is the statistical heterogeneity that impairs the generalization of the global model on each client. To address this, we propose a method Federated learning with Adaptive Local Aggregation (FedALA) by capturing the desired information in the global model for client models in personalized FL. The key component of FedALA is an Adaptive Local Aggregation (ALA) module, which can adaptively aggregate the downloaded global model and local model towards the local objective on each client to initialize the local model before training in each iteration. To evaluate the effectiveness of FedALA, we conduct extensive experiments with five benchmark datasets in computer vision and natural language processing domains. FedALA outperforms eleven state-of-the-art baselines by up to 3.27% in test accuracy. Furthermore, we also apply ALA module to other federated learning methods and achieve up to 24.19% improvement in test accuracy.
• Abstract（参考訳）: 連合学習(FL)における重要な課題は、各クライアントにおけるグローバルモデルの一般化を損なう統計的不均一性である。 そこで本研究では,クライアントモデルのグローバルモデルにおける所望情報をパーソナライズしたflで捉えることで,適応局所アグリゲーション(fedala)を用いたフェデレート学習を提案する。 fedalaの重要なコンポーネントはadaptive local aggregation(ala)モジュールで、ダウンロードされたグローバルモデルとローカルモデルを各クライアントのローカル目標に向けて適応的に集約し、各イテレーションでトレーニングする前にローカルモデルを初期化することができる。 FedALAの有効性を評価するため、コンピュータビジョンと自然言語処理領域における5つのベンチマークデータセットを用いて広範な実験を行った。 FedALAは11の最先端のベースラインを最大3.27%の精度で上回っている。 さらに、ALAモジュールを他のフェデレーション学習手法に適用し、テスト精度を最大24.19%向上させる。

関連論文リスト

• Tunable Soft Prompts are Messengers in Federated Learning [55.924749085481544]
  フェデレートラーニング(FL)は、複数の参加者が分散データソースを使用して機械学習モデルを協調的にトレーニングすることを可能にする。 FLにおけるモデルプライバシ保護の欠如は無視できない課題となっている。 そこで本研究では,ソフトプロンプトによって参加者間の情報交換を実現する新しいFLトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2023-11-12T11:01:10Z)
• FedSOL: Stabilized Orthogonal Learning with Proximal Restrictions in Federated Learning [27.28589196972422]
  フェデレートラーニング(FL)は、個々のクライアントからローカルに訓練されたモデルを集約し、グローバルモデルを構築する。 FLは、クライアントが不均一なデータ分散を持つ場合、大きなパフォーマンス劣化に悩まされることが多い。 本稿では,地域学習とグローバル学習のバランスをとる新しい手法であるFederated Stabilized Orthogonal Learning (FedSOL)を提案する。
  論文  参考訳（メタデータ） (2023-08-24T03:43:02Z)
• FedSoup: Improving Generalization and Personalization in Federated Learning via Selective Model Interpolation [32.36334319329364]
  クロスサイロフェデレーション学習(FL)は、データセンタに分散したデータセット上での機械学習モデルの開発を可能にする。 近年の研究では、現在のFLアルゴリズムは、分布シフトに直面した場合、局所的な性能とグローバルな性能のトレードオフに直面している。 地域とグローバルのパフォーマンスのトレードオフを最適化する新しいフェデレーションモデルスープ手法を提案する。
  論文  参考訳（メタデータ） (2023-07-20T00:07:29Z)
• Integrating Local Real Data with Global Gradient Prototypes for Classifier Re-Balancing in Federated Long-Tailed Learning [60.41501515192088]
  フェデレートラーニング(FL)は、グローバルモデルを協調的にトレーニングする複数のクライアントを含む、人気のある分散ラーニングパラダイムになっています。 データサンプルは通常、現実世界の長い尾の分布に従っており、分散化された長い尾のデータのFLは、貧弱なグローバルモデルをもたらす。 本研究では、局所的な実データとグローバルな勾配のプロトタイプを統合し、局所的なバランスの取れたデータセットを形成する。
  論文  参考訳（メタデータ） (2023-01-25T03:18:10Z)
• Personalized Federated Learning with Hidden Information on Personalized Prior [18.8426865970643]
  本稿では,Bregmanの発散正規化を用いたモデル化のためのフレームワークであるpFedBreDを提案する。 実験の結果,提案手法は複数の公開ベンチマークにおいて他のPFLアルゴリズムよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2022-11-19T12:45:19Z)
• Self-Aware Personalized Federated Learning [32.97492968378679]
  本研究では,ベイズ階層モデルにインスパイアされた自己認識型パーソナライズド・フェデレーション・ラーニング(FL)手法を開発した。 本手法では,従来の局所微調整法とサンプルサイズに基づくアグリゲーションの代わりに,不確実性駆動型局所トレーニングステップとアグリゲーションルールを用いる。 合成データ、Amazon Alexa音声データ、MNIST、FEMNIST、CIFAR10、Sent140などの公開データセットに関する実験的研究により、提案手法はパーソナライズ性能を大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2022-04-17T19:02:25Z)
• FedDC: Federated Learning with Non-IID Data via Local Drift Decoupling and Correction [48.85303253333453]
  フェデレートラーニング(FL)は、複数のクライアントがプライベートデータを共有せずに、高性能なグローバルモデルを集合的にトレーニングすることを可能にする。 局所的ドリフトデカップリングと補正(FedDC)を用いた新しいフェデレーション学習アルゴリズムを提案する。 私たちのFedDCでは、ローカルモデルパラメータとグローバルモデルパラメータのギャップを追跡するために、各クライアントが補助的なローカルドリフト変数を使用するような、ローカルトレーニングフェーズにおける軽量な修正のみを導入しています。 実験結果と解析結果から,FedDCは様々な画像分類タスクにおいて,収差の迅速化と性能の向上を図っている。
  論文  参考訳（メタデータ） (2022-03-22T14:06:26Z)
• Fine-tuning Global Model via Data-Free Knowledge Distillation for Non-IID Federated Learning [86.59588262014456]
  フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。 サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。 私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
  論文  参考訳（メタデータ） (2022-03-17T11:18:17Z)
• Federated and Generalized Person Re-identification through Domain and Feature Hallucinating [88.77196261300699]
  人物再識別(re-ID)におけるフェデレーションドメイン一般化(FedDG)の問題について検討する。 一般化された局所的・グローバルなモデルを学ぶための多様な特徴を創出する手法として,DFH (Domain and Feature Hallucinating) を提案する。 提案手法は4つの大規模re-IDベンチマークにおいてFedDGの最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-03-05T09:15:13Z)
• GRP-FED: Addressing Client Imbalance in Federated Learning via Global-Regularized Personalization [6.592268037926868]
  本稿では,データ不均衡問題に対処するため,Global-Regularized Personalization (GRP-FED)を提案する。 適応アグリゲーションでは、グローバルモデルは複数のクライアントを公平に扱い、グローバルな長期的問題を緩和する。 我々のGRP-FEDは,グローバルシナリオとローカルシナリオの両方で改善されている。
  論文  参考訳（メタデータ） (2021-08-31T14:09:04Z)
• Towards Fair Federated Learning with Zero-Shot Data Augmentation [123.37082242750866]
  フェデレーション学習は重要な分散学習パラダイムとして登場し、サーバはクライアントデータにアクセスせずに、多くのクライアントがトレーニングしたモデルからグローバルモデルを集約する。 本稿では, 統計的不均一性を緩和し, フェデレートネットワークにおけるクライアント間での精度向上を図るために, ゼロショットデータ拡張を用いた新しいフェデレーション学習システムを提案する。 Fed-ZDAC (クライアントでのゼロショットデータ拡張によるフェデレーション学習) と Fed-ZDAS (サーバでのゼロショットデータ拡張によるフェデレーション学習) の2種類について検討する。
  論文  参考訳（メタデータ） (2021-04-27T18:23:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。