論文の概要: PerAda: Parameter-Efficient and Generalizable Federated Learning
Personalization with Guarantees
- arxiv url: http://arxiv.org/abs/2302.06637v1
- Date: Mon, 13 Feb 2023 19:00:37 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-15 17:34:30.900924
- Title: PerAda: Parameter-Efficient and Generalizable Federated Learning
Personalization with Guarantees
- Title（参考訳）: perada: パラメータ効率と一般化した連合学習のパーソナライゼーション
- Authors: Chulin Xie, De-An Huang, Wenda Chu, Daguang Xu, Chaowei Xiao, Bo Li,
Anima Anandkumar
- Abstract要約: pFLのパラメータ蒸留・分配フレームワークであるPerAdaについて述べる。
PerAdaは、事前訓練されたモデルのパワーによってコストを削減し、アダプタから少数の追加パラメータを更新し、通信する。
PerAdaは競争性能を示す(CIFAR-Cサンプルの5.23%)。
- 参考スコア（独自算出の注目度）: 72.7640995165023
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Personalized Federated Learning (pFL) has emerged as a promising solution to
tackle data heterogeneity across clients in FL. However, existing pFL methods
either (1) introduce high communication and computation costs or (2) overfit to
local data, which can be limited in scope, and are vulnerable to evolved test
samples with natural shifts. In this paper, we propose PerAda, a
parameter-efficient pFL framework that reduces communication and computational
costs and exhibits superior generalization performance, especially under
test-time distribution shifts. PerAda reduces the costs by leveraging the power
of pretrained models and only updates and communicates a small number of
additional parameters from adapters. PerAda has good generalization since it
regularizes each client's personalized adapter with a global adapter, while the
global adapter uses knowledge distillation to aggregate generalized information
from all clients. Theoretically, we provide generalization bounds to explain
why PerAda improves generalization, and we prove its convergence to stationary
points under non-convex settings. Empirically, PerAda demonstrates competitive
personalized performance (+4.85% on CheXpert) and enables better
out-of-distribution generalization (+5.23% on CIFAR-10-C) on different datasets
across natural and medical domains compared with baselines, while only updating
12.6% of parameters per model based on the adapter.
- Abstract（参考訳）: パーソナライズド・フェデレーション・ラーニング(pFL)は、FLのクライアント間のデータの均一性に取り組むための有望なソリューションとして登場した。
しかし、既存のpfl手法は、(1)高い通信コストと計算コストを導入するか、(2)局所データへの過剰適合をもたらすかのいずれかであり、それはスコープが制限され、自然なシフトを伴う進化したテストサンプルに対して脆弱である。
本稿では、通信コストと計算コストを低減し、特にテスト時間分布シフトにおいて、より優れた一般化性能を示すパラメータ効率の高いpflフレームワークであるperadaを提案する。
PerAdaは、事前訓練されたモデルのパワーを活用してコストを削減し、アダプタから少数の追加パラメータを更新し、通信する。
PerAdaは、各クライアントのパーソナライズされたアダプタをグローバルアダプタで正規化するのに対して、グローバルアダプタは知識蒸留を使用して、すべてのクライアントから一般化された情報を集約する。
理論的には、PerAdaが一般化を改善する理由を説明するために一般化境界を提供し、非凸条件下での定常点への収束を証明する。
経験的に、PerAdaは競争上のパーソナライズされたパフォーマンス(CheXpertでは+4.85%)を実証し、ベースラインと比較して自然領域と医療領域の異なるデータセット上での配布外一般化(CIFAR-10-Cでは+5.23%)の改善を可能にしている。
関連論文リスト
- FedMCP: Parameter-Efficient Federated Learning with Model-Contrastive Personalization [19.328216705039527]
FedMCPはFLのためのモデルコントラストパーソナライゼーションを用いたパラメータ効率の高いファインチューニング手法である。
我々は,PLMの最先端FLファインチューニング手法に対して,FedMCPが大幅な性能改善を実現していることを示す。
論文 参考訳（メタデータ） (2024-08-28T04:19:47Z) - SpaFL: Communication-Efficient Federated Learning with Sparse Models and Low computational Overhead [75.87007729801304]
SpaFL: 計算オーバーヘッドの少ないスパースモデル構造を最適化する通信効率のよいFLフレームワークを提案する。
実験により、スパースベースラインに比べて通信やコンピューティングリソースをはるかに少なくし、精度を向上することが示された。
論文 参考訳（メタデータ） (2024-06-01T13:10:35Z) - Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。
本稿では,FedInsという新しいFLアルゴリズムを提案する。
我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文 参考訳（メタデータ） (2023-08-11T09:58:47Z) - Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。
FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。
PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
論文 参考訳（メタデータ） (2023-05-01T20:04:46Z) - Personalized Federated Learning on Long-Tailed Data via Adversarial
Feature Augmentation [24.679535905451758]
PFLは、プライバシを保存する方法で、すべてのクライアントの知識に基づいて、各クライアントのパーソナライズされたモデルを学ぶことを目的としている。
既存のPFL法では、全てのクライアントにわたる基礎となるグローバルデータが、ロングテール分布を考慮せずに均一に分散されていると仮定している。
PFLにおけるこの共同問題に対処するために,FedAFA(Federated Learning with Adversarial Feature Augmentation)を提案する。
論文 参考訳（メタデータ） (2023-03-27T13:00:20Z) - FedCLIP: Fast Generalization and Personalization for CLIP in Federated
Learning [18.763298147996238]
近年,プライバシ保護計算の新しいパラダイムとしてフェデレートラーニング(FL)が登場している。
FLはその実際のパフォーマンスを妨げる2つの重要な課題に直面している。
FLにおけるCLIPの迅速な一般化とパーソナライズを実現するためのFedCLIPを提案する。
論文 参考訳（メタデータ） (2023-02-27T02:49:06Z) - Towards Efficient Visual Adaption via Structural Re-parameterization [76.57083043547296]
本稿では,RepAdapterと呼ばれる巨大ビジョンモデルに対して,パラメータ効率と計算親和性を考慮したアダプタを提案する。
RepAdapterは、VTAB-1k上で25%のトレーニング時間、20%のGPUメモリ、94.6%のストレージコストを節約できる。
論文 参考訳（メタデータ） (2023-02-16T06:14:15Z) - Beyond ADMM: A Unified Client-variance-reduced Adaptive Federated
Learning Framework [82.36466358313025]
我々はFedVRAと呼ばれる原始二重FLアルゴリズムを提案し、このアルゴリズムはグローバルモデルの分散還元レベルとバイアスを適応的に制御することができる。
半教師付き画像分類タスクに基づく実験は,既存の手法よりもFedVRAの方が優れていることを示す。
論文 参考訳（メタデータ） (2022-12-03T03:27:51Z) - Gradient Masked Averaging for Federated Learning [24.687254139644736]
フェデレートラーニングは、統一グローバルモデルの学習を協調するために、異種データを持つ多数のクライアントを可能にする。
標準FLアルゴリズムは、サーバのグローバルモデルを近似するために、モデルパラメータや勾配の更新を平均化する。
本稿では,クライアント更新の標準平均化の代替として,FLの勾配マスク平均化手法を提案する。
論文 参考訳（メタデータ） (2022-01-28T08:42:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。