論文の概要: FedSelect: Personalized Federated Learning with Customized Selection of Parameters for Fine-Tuning
- arxiv url: http://arxiv.org/abs/2404.02478v1
- Date: Wed, 3 Apr 2024 05:36:21 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-04 18:29:43.540261
- Title: FedSelect: Personalized Federated Learning with Customized Selection of Parameters for Fine-Tuning
- Title（参考訳）: FedSelect:ファインチューニングのためのパラメータの選択をカスタマイズした個人化フェデレーション学習
- Authors: Rishub Tamirisa, Chulin Xie, Wenxuan Bao, Andy Zhou, Ron Arel, Aviv Shamsian,
- Abstract要約: FedSelect は Lottery Ticket 仮説に使用される反復的なサブネットワーク発見手順にインスパイアされた新しい PFL アルゴリズムである。
我々は、FedSelectがクライアントデータの不均一性設定に挑戦して、最近の最先端のPFLアルゴリズムより優れていることを示す。
- 参考スコア（独自算出の注目度）: 9.22574528776347
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Standard federated learning approaches suffer when client data distributions have sufficient heterogeneity. Recent methods addressed the client data heterogeneity issue via personalized federated learning (PFL) - a class of FL algorithms aiming to personalize learned global knowledge to better suit the clients' local data distributions. Existing PFL methods usually decouple global updates in deep neural networks by performing personalization on particular layers (i.e. classifier heads) and global aggregation for the rest of the network. However, preselecting network layers for personalization may result in suboptimal storage of global knowledge. In this work, we propose FedSelect, a novel PFL algorithm inspired by the iterative subnetwork discovery procedure used for the Lottery Ticket Hypothesis. FedSelect incrementally expands subnetworks to personalize client parameters, concurrently conducting global aggregations on the remaining parameters. This approach enables the personalization of both client parameters and subnetwork structure during the training process. Finally, we show that FedSelect outperforms recent state-of-the-art PFL algorithms under challenging client data heterogeneity settings and demonstrates robustness to various real-world distributional shifts. Our code is available at https://github.com/lapisrocks/fedselect.
- Abstract（参考訳）: 標準フェデレーション学習アプローチは、クライアントデータ分布が十分な不均一性を持つ場合に悩む。
最近の手法では、学習したグローバルな知識をパーソナライズし、クライアントのローカルなデータ分布に合うようにするためのFLアルゴリズムのクラスであるパーソナライズド・フェデレーション・ラーニング(PFL)を通じて、クライアントデータの不均一性の問題に対処している。
既存のPFLメソッドは通常、特定の層(例えば分類器ヘッド)でパーソナライズを行い、ネットワークの残りの部分のグローバルアグリゲーションを実行することによって、ディープニューラルネットワークのグローバル更新を分離する。
しかし、パーソナライズのためのネットワークレイヤの事前選択は、グローバルな知識の最適以下の記憶をもたらす可能性がある。
本稿では,ロッテリ・チェケット仮説の反復的サブネットワーク発見法に着想を得た新しいPFLアルゴリズムであるFedSelectを提案する。
FedSelectはサブネットワークを拡張してクライアントパラメータをパーソナライズし、残りのパラメータに対してグローバルアグリゲーションを同時に実行する。
このアプローチは、トレーニングプロセス中にクライアントパラメータとサブネットワーク構造の両方をパーソナライズすることを可能にする。
最後に、FedSelectはクライアントデータの不均一性設定に挑戦して、最新の最先端のPFLアルゴリズムより優れており、様々な実世界の分散シフトに対する堅牢性を示している。
私たちのコードはhttps://github.com/lapisrocks/fedselect.comから入手可能です。
関連論文リスト
- PFL-GAN: When Client Heterogeneity Meets Generative Models in
Personalized Federated Learning [55.930403371398114]
パーソナライズドラーニング(PFL)のための新しいGAN(Generative Adversarial Network)の共有と集約戦略を提案する。
PFL-GANは、異なるシナリオにおけるクライアントの不均一性に対処する。より具体的には、まずクライアント間の類似性を学び、次に重み付けされた協調データアグリゲーションを開発する。
いくつかのよく知られたデータセットに対する厳密な実験による実験結果は、PFL-GANの有効性を示している。
論文 参考訳（メタデータ） (2023-08-23T22:38:35Z) - Rethinking Client Drift in Federated Learning: A Logit Perspective [125.35844582366441]
フェデレートラーニング(FL)は、複数のクライアントが分散した方法で協調的に学習し、プライバシ保護を可能にする。
その結果,局所モデルとグローバルモデルとのロジット差は,モデルが継続的に更新されるにつれて増大することがわかった。
我々はFedCSDと呼ばれる新しいアルゴリズムを提案する。FedCSDは、ローカルモデルとグローバルモデルを調整するためのフェデレーションフレームワークにおけるクラスプロトタイプの類似度蒸留である。
論文 参考訳（メタデータ） (2023-08-20T04:41:01Z) - Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。
本稿では,FedInsという新しいFLアルゴリズムを提案する。
我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文 参考訳（メタデータ） (2023-08-11T09:58:47Z) - Take Your Pick: Enabling Effective Personalized Federated Learning
within Low-dimensional Feature Space [22.433424519577642]
我々はFedPickという新しいPFLフレームワークを提案する。
FedPickは、各クライアントに対してタスク関連機能を適応的に選択することで、低次元の特徴空間におけるPFLを達成する。
論文 参考訳（メタデータ） (2023-07-26T07:07:27Z) - FedSampling: A Better Sampling Strategy for Federated Learning [81.85411484302952]
フェデレートラーニング(FL)は、プライバシを保存する方法で分散化されたデータからモデルを学習するための重要なテクニックである。
既存のFLメソッドは通常、各ラウンドでローカルモデル学習のために一様にクライアントをサンプリングする。
フェデレート学習のための新しいデータ一様サンプリング戦略(FedSampling)を提案する。
論文 参考訳（メタデータ） (2023-06-25T13:38:51Z) - FedSelect: Customized Selection of Parameters for Fine-Tuning during Personalized Federated Learning [0.873811641236639]
本稿では,クライアントのサブネットワーク構造とパラメータを直接パーソナライズする新しいFLフレームワークであるFedSelectを提案する。
本手法はCIFAR-10において有望な結果が得られることを示す。
論文 参考訳（メタデータ） (2023-06-23T02:22:04Z) - Personalized Federated Learning on Long-Tailed Data via Adversarial
Feature Augmentation [24.679535905451758]
PFLは、プライバシを保存する方法で、すべてのクライアントの知識に基づいて、各クライアントのパーソナライズされたモデルを学ぶことを目的としている。
既存のPFL法では、全てのクライアントにわたる基礎となるグローバルデータが、ロングテール分布を考慮せずに均一に分散されていると仮定している。
PFLにおけるこの共同問題に対処するために,FedAFA(Federated Learning with Adversarial Feature Augmentation)を提案する。
論文 参考訳（メタデータ） (2023-03-27T13:00:20Z) - Optimizing Server-side Aggregation For Robust Federated Learning via
Subspace Training [80.03567604524268]
クライアント間の非IIDデータ分散と中毒攻撃は、現実世界のフェデレーション学習システムにおける2つの大きな課題である。
サーバ側集約プロセスを最適化する汎用的なアプローチであるSmartFLを提案する。
本稿では,SmartFLの収束と一般化能力に関する理論的解析を行う。
論文 参考訳（メタデータ） (2022-11-10T13:20:56Z) - Acceleration of Federated Learning with Alleviated Forgetting in Local
Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。
我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。
我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文 参考訳（メタデータ） (2022-03-05T02:31:32Z) - Personalized Federated Learning with Exact Stochastic Gradient Descent [15.666401346622575]
我々は、勾配SGD降下の正確な更新を実現するためのパーソナライズされたベンチマークに対する新しいアプローチを提案する。
本稿では、各最適化ラウンドにおいて、ランダムに選択されたクライアントが、損失関数の最適化に向けてクライアント固有の更新を行う新しいSGD型スキームを提案する。
これにより、クライアントと一般的なパラメータによって実行されるパーソナライズされたパラメータの正確な最小化が可能になる。
論文 参考訳（メタデータ） (2022-02-20T16:11:20Z) - Inference-Time Personalized Federated Learning [17.60724466773559]
推論時間 PFL (Inference-Time PFL) は、一連のクライアントでトレーニングされたモデルを、推論時に新しい未ラベルのクライアントで後で評価する必要がある場所である。
本稿では,ハイパーネットワークモジュールとエンコーダモジュールをベースとしたIT-PFL-HNを提案する。
IT-PFL-HNは、特に新規クライアントが大きなドメインシフトを持つ場合、現在のFL法やPFL法よりも一般化されている。
論文 参考訳（メタデータ） (2021-11-16T10:57:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。