論文の概要: PerAda: Parameter-Efficient Federated Learning Personalization with Generalization Guarantees

• arxiv url: http://arxiv.org/abs/2302.06637v3
• Date: Tue, 23 Jul 2024 11:38:37 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-24 23:52:45.612580
• Title: PerAda: Parameter-Efficient Federated Learning Personalization with Generalization Guarantees
• Title（参考訳）: PerAda: 一般化保証によるパラメータ効率の良いフェデレーション学習のパーソナライズ
• Authors: Chulin Xie, De-An Huang, Wenda Chu, Daguang Xu, Chaowei Xiao, Bo Li, Anima Anandkumar,
• Abstract要約: 既存のpFL手法は高い通信コストと計算コストをもたらすか、テスト通信に弱い。 PerAdaではパラメータ蒸留とpFL pFLが特に試験時間分布において優れた性能を示す。 私たちのコードはhttps://github.com/NV/PerAda.comで公開されています。
• 参考スコア（独自算出の注目度）: 95.87604231887353
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Personalized Federated Learning (pFL) has emerged as a promising solution to tackle data heterogeneity across clients in FL. However, existing pFL methods either (1) introduce high communication and computation costs or (2) overfit to local data, which can be limited in scope, and are vulnerable to evolved test samples with natural shifts. In this paper, we propose PerAda, a parameter-efficient pFL framework that reduces communication and computational costs and exhibits superior generalization performance, especially under test-time distribution shifts. PerAda reduces the costs by leveraging the power of pretrained models and only updates and communicates a small number of additional parameters from adapters. PerAda has good generalization since it regularizes each client's personalized adapter with a global adapter, while the global adapter uses knowledge distillation to aggregate generalized information from all clients. Theoretically, we provide generalization bounds to explain why PerAda improves generalization, and we prove its convergence to stationary points under non-convex settings. Empirically, PerAda demonstrates competitive personalized performance (+4.85% on CheXpert) and enables better out-of-distribution generalization (+5.23% on CIFAR-10-C) on different datasets across natural and medical domains compared with baselines, while only updating 12.6% of parameters per model based on the adapter. Our code is available at https://github.com/NVlabs/PerAda.
• Abstract（参考訳）: パーソナライズド・フェデレーション・ラーニング(pFL)は、FLのクライアント間のデータの均一性に取り組むための有望なソリューションとして登場した。 しかし,既存の pFL 法では,(1) 通信・計算コストが高く,(2) ローカルデータに過度に適合する。 本稿では,パラメータ効率のよいpFLフレームワークであるPerAdaを提案する。 PerAdaは、事前訓練されたモデルのパワーを活用してコストを削減し、アダプタから少数の追加パラメータを更新し、通信する。 PerAdaは、各クライアントのパーソナライズされたアダプタをグローバルアダプタで正規化するのに対して、グローバルアダプタは知識蒸留を使用して、すべてのクライアントから一般化された情報を集約する。 理論的には、PerAdaが一般化を改善した理由を説明するために一般化境界を提供し、非凸条件下での定常点への収束を証明する。 経験的に、PerAdaは競争上のパーソナライズされたパフォーマンス(CheXpertでは+4.85%)を実証し、ベースラインと比較して自然領域と医療領域の異なるデータセットでの分配外一般化(CIFAR-10-Cでは+5.23%)の改善を可能にし、アダプタに基づいたモデル毎のパラメータの12.6%しか更新していない。 私たちのコードはhttps://github.com/NVlabs/PerAda.comから入手可能です。

関連論文リスト

• Client-Centric Federated Adaptive Optimization [78.30827455292827]
  Federated Learning(FL)は、クライアントが独自のデータをプライベートに保ちながら、協調的にモデルをトレーニングする分散学習パラダイムである。 本稿では,新しいフェデレーション最適化手法のクラスであるフェデレーション中心適応最適化を提案する。
  論文  参考訳（メタデータ） (2025-01-17T04:00:50Z)
• FedPIA -- Permuting and Integrating Adapters leveraging Wasserstein Barycenters for Finetuning Foundation Models in Multi-Modal Federated Learning [7.005516664708197]
  FLとPEFTの単純な組み合わせを改善したFedPIAという新しいフレームワークを提案する。 我々は、5つの異なる医療ビジョン言語FLタスク設定で48の医療画像データセットを用いて2000以上のクライアントレベルの実験を行う。 実験の結果,FedPIAは最先端のPEFT-FLベースラインより一貫して優れていた。
  論文  参考訳（メタデータ） (2024-12-19T00:24:00Z)
• FedMCP: Parameter-Efficient Federated Learning with Model-Contrastive Personalization [19.328216705039527]
  FedMCPはFLのためのモデルコントラストパーソナライゼーションを用いたパラメータ効率の高いファインチューニング手法である。 我々は,PLMの最先端FLファインチューニング手法に対して,FedMCPが大幅な性能改善を実現していることを示す。
  論文  参考訳（メタデータ） (2024-08-28T04:19:47Z)
• SpaFL: Communication-Efficient Federated Learning with Sparse Models and Low computational Overhead [75.87007729801304]
  SpaFL: 計算オーバーヘッドの少ないスパースモデル構造を最適化する通信効率のよいFLフレームワークを提案する。 プルーニングプロセス自体を最適化するためには、パラメータの代わりにサーバとクライアントの間でしきい値だけが通信される。 グローバルしきい値は、集約されたパラメータの重要度を抽出することで、モデルパラメータの更新に使用される。
  論文  参考訳（メタデータ） (2024-06-01T13:10:35Z)
• Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
  Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。 本稿では,FedInsという新しいFLアルゴリズムを提案する。 我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-08-11T09:58:47Z)
• Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
  本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。 FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。 PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
  論文  参考訳（メタデータ） (2023-05-01T20:04:46Z)
• Personalized Federated Learning on Long-Tailed Data via Adversarial Feature Augmentation [24.679535905451758]
  PFLは、プライバシを保存する方法で、すべてのクライアントの知識に基づいて、各クライアントのパーソナライズされたモデルを学ぶことを目的としている。 既存のPFL法では、全てのクライアントにわたる基礎となるグローバルデータが、ロングテール分布を考慮せずに均一に分散されていると仮定している。 PFLにおけるこの共同問題に対処するために,FedAFA(Federated Learning with Adversarial Feature Augmentation)を提案する。
  論文  参考訳（メタデータ） (2023-03-27T13:00:20Z)
• FedCLIP: Fast Generalization and Personalization for CLIP in Federated Learning [18.763298147996238]
  近年,プライバシ保護計算の新しいパラダイムとしてフェデレートラーニング(FL)が登場している。 FLはその実際のパフォーマンスを妨げる2つの重要な課題に直面している。 FLにおけるCLIPの迅速な一般化とパーソナライズを実現するためのFedCLIPを提案する。
  論文  参考訳（メタデータ） (2023-02-27T02:49:06Z)
• Towards Efficient Visual Adaption via Structural Re-parameterization [76.57083043547296]
  本稿では,RepAdapterと呼ばれる巨大ビジョンモデルに対して,パラメータ効率と計算親和性を考慮したアダプタを提案する。 RepAdapterは、VTAB-1k上で25%のトレーニング時間、20%のGPUメモリ、94.6%のストレージコストを節約できる。
  論文  参考訳（メタデータ） (2023-02-16T06:14:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。