論文の概要: PerAda: Parameter-Efficient and Generalizable Federated Learning
Personalization with Guarantees
- arxiv url: http://arxiv.org/abs/2302.06637v1
- Date: Mon, 13 Feb 2023 19:00:37 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-15 17:34:30.900924
- Title: PerAda: Parameter-Efficient and Generalizable Federated Learning
Personalization with Guarantees
- Title（参考訳）: perada: パラメータ効率と一般化した連合学習のパーソナライゼーション
- Authors: Chulin Xie, De-An Huang, Wenda Chu, Daguang Xu, Chaowei Xiao, Bo Li,
Anima Anandkumar
- Abstract要約: pFLのパラメータ蒸留・分配フレームワークであるPerAdaについて述べる。
PerAdaは、事前訓練されたモデルのパワーによってコストを削減し、アダプタから少数の追加パラメータを更新し、通信する。
PerAdaは競争性能を示す(CIFAR-Cサンプルの5.23%)。
- 参考スコア（独自算出の注目度）: 72.7640995165023
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Personalized Federated Learning (pFL) has emerged as a promising solution to
tackle data heterogeneity across clients in FL. However, existing pFL methods
either (1) introduce high communication and computation costs or (2) overfit to
local data, which can be limited in scope, and are vulnerable to evolved test
samples with natural shifts. In this paper, we propose PerAda, a
parameter-efficient pFL framework that reduces communication and computational
costs and exhibits superior generalization performance, especially under
test-time distribution shifts. PerAda reduces the costs by leveraging the power
of pretrained models and only updates and communicates a small number of
additional parameters from adapters. PerAda has good generalization since it
regularizes each client's personalized adapter with a global adapter, while the
global adapter uses knowledge distillation to aggregate generalized information
from all clients. Theoretically, we provide generalization bounds to explain
why PerAda improves generalization, and we prove its convergence to stationary
points under non-convex settings. Empirically, PerAda demonstrates competitive
personalized performance (+4.85% on CheXpert) and enables better
out-of-distribution generalization (+5.23% on CIFAR-10-C) on different datasets
across natural and medical domains compared with baselines, while only updating
12.6% of parameters per model based on the adapter.
- Abstract（参考訳）: パーソナライズド・フェデレーション・ラーニング(pFL)は、FLのクライアント間のデータの均一性に取り組むための有望なソリューションとして登場した。
しかし、既存のpfl手法は、(1)高い通信コストと計算コストを導入するか、(2)局所データへの過剰適合をもたらすかのいずれかであり、それはスコープが制限され、自然なシフトを伴う進化したテストサンプルに対して脆弱である。
本稿では、通信コストと計算コストを低減し、特にテスト時間分布シフトにおいて、より優れた一般化性能を示すパラメータ効率の高いpflフレームワークであるperadaを提案する。
PerAdaは、事前訓練されたモデルのパワーを活用してコストを削減し、アダプタから少数の追加パラメータを更新し、通信する。
PerAdaは、各クライアントのパーソナライズされたアダプタをグローバルアダプタで正規化するのに対して、グローバルアダプタは知識蒸留を使用して、すべてのクライアントから一般化された情報を集約する。
理論的には、PerAdaが一般化を改善する理由を説明するために一般化境界を提供し、非凸条件下での定常点への収束を証明する。
経験的に、PerAdaは競争上のパーソナライズされたパフォーマンス(CheXpertでは+4.85%)を実証し、ベースラインと比較して自然領域と医療領域の異なるデータセット上での配布外一般化(CIFAR-10-Cでは+5.23%)の改善を可能にしている。
関連論文リスト
- Client-Centric Federated Adaptive Optimization [78.30827455292827]
Federated Learning(FL)は、クライアントが独自のデータをプライベートに保ちながら、協調的にモデルをトレーニングする分散学習パラダイムである。
本稿では,新しいフェデレーション最適化手法のクラスであるフェデレーション中心適応最適化を提案する。
論文 参考訳（メタデータ） (2025-01-17T04:00:50Z) - FedPIA -- Permuting and Integrating Adapters leveraging Wasserstein Barycenters for Finetuning Foundation Models in Multi-Modal Federated Learning [7.005516664708197]
FLとPEFTの単純な組み合わせを改善したFedPIAという新しいフレームワークを提案する。
我々は、5つの異なる医療ビジョン言語FLタスク設定で48の医療画像データセットを用いて2000以上のクライアントレベルの実験を行う。
実験の結果,FedPIAは最先端のPEFT-FLベースラインより一貫して優れていた。
論文 参考訳（メタデータ） (2024-12-19T00:24:00Z) - FedMCP: Parameter-Efficient Federated Learning with Model-Contrastive Personalization [19.328216705039527]
FedMCPはFLのためのモデルコントラストパーソナライゼーションを用いたパラメータ効率の高いファインチューニング手法である。
我々は,PLMの最先端FLファインチューニング手法に対して,FedMCPが大幅な性能改善を実現していることを示す。
論文 参考訳（メタデータ） (2024-08-28T04:19:47Z) - SpaFL: Communication-Efficient Federated Learning with Sparse Models and Low computational Overhead [75.87007729801304]
SpaFL: 計算オーバーヘッドの少ないスパースモデル構造を最適化する通信効率のよいFLフレームワークを提案する。
プルーニングプロセス自体を最適化するためには、パラメータの代わりにサーバとクライアントの間でしきい値だけが通信される。
グローバルしきい値は、集約されたパラメータの重要度を抽出することで、モデルパラメータの更新に使用される。
論文 参考訳（メタデータ） (2024-06-01T13:10:35Z) - Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。
本稿では,FedInsという新しいFLアルゴリズムを提案する。
我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文 参考訳（メタデータ） (2023-08-11T09:58:47Z) - Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。
FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。
PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
論文 参考訳（メタデータ） (2023-05-01T20:04:46Z) - Personalized Federated Learning on Long-Tailed Data via Adversarial
Feature Augmentation [24.679535905451758]
PFLは、プライバシを保存する方法で、すべてのクライアントの知識に基づいて、各クライアントのパーソナライズされたモデルを学ぶことを目的としている。
既存のPFL法では、全てのクライアントにわたる基礎となるグローバルデータが、ロングテール分布を考慮せずに均一に分散されていると仮定している。
PFLにおけるこの共同問題に対処するために,FedAFA(Federated Learning with Adversarial Feature Augmentation)を提案する。
論文 参考訳（メタデータ） (2023-03-27T13:00:20Z) - FedCLIP: Fast Generalization and Personalization for CLIP in Federated
Learning [18.763298147996238]
近年,プライバシ保護計算の新しいパラダイムとしてフェデレートラーニング(FL)が登場している。
FLはその実際のパフォーマンスを妨げる2つの重要な課題に直面している。
FLにおけるCLIPの迅速な一般化とパーソナライズを実現するためのFedCLIPを提案する。
論文 参考訳（メタデータ） (2023-02-27T02:49:06Z) - Towards Efficient Visual Adaption via Structural Re-parameterization [76.57083043547296]
本稿では,RepAdapterと呼ばれる巨大ビジョンモデルに対して,パラメータ効率と計算親和性を考慮したアダプタを提案する。
RepAdapterは、VTAB-1k上で25%のトレーニング時間、20%のGPUメモリ、94.6%のストレージコストを節約できる。
論文 参考訳（メタデータ） (2023-02-16T06:14:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。