論文の概要: FedMCP: Parameter-Efficient Federated Learning with Model-Contrastive Personalization
- arxiv url: http://arxiv.org/abs/2409.00116v1
- Date: Wed, 28 Aug 2024 04:19:47 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-08 14:53:30.164324
- Title: FedMCP: Parameter-Efficient Federated Learning with Model-Contrastive Personalization
- Title（参考訳）: FedMCP:モデルコントラストパーソナライゼーションを用いたパラメータ効率の良いフェデレーションラーニング
- Authors: Qianyi Zhao, Chen Qu, Cen Chen, Mingyuan Fan, Yanhao Wang,
- Abstract要約: FedMCPはFLのためのモデルコントラストパーソナライゼーションを用いたパラメータ効率の高いファインチューニング手法である。
我々は,PLMの最先端FLファインチューニング手法に対して,FedMCPが大幅な性能改善を実現していることを示す。
- 参考スコア（独自算出の注目度）: 19.328216705039527
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: With increasing concerns and regulations on data privacy, fine-tuning pretrained language models (PLMs) in federated learning (FL) has become a common paradigm for NLP tasks. Despite being extensively studied, the existing methods for this problem still face two primary challenges. First, the huge number of parameters in large-scale PLMs leads to excessive communication and computational overhead. Second, the heterogeneity of data and tasks across clients poses a significant obstacle to achieving the desired fine-tuning performance. To address the above problems, we propose FedMCP, a novel parameter-efficient fine-tuning method with model-contrastive personalization for FL. Specifically, FedMCP adds two lightweight adapter modules, i.e., the global adapter and the private adapter, to the frozen PLMs within clients. In a communication round, each client sends only the global adapter to the server for federated aggregation. Furthermore, FedMCP introduces a model-contrastive regularization term between the two adapters. This, on the one hand, encourages the global adapter to assimilate universal knowledge and, on the other hand, the private adapter to capture client-specific knowledge. By leveraging both adapters, FedMCP can effectively provide fine-tuned personalized models tailored to individual clients. Extensive experiments on highly heterogeneous cross-task, cross-silo datasets show that FedMCP achieves substantial performance improvements over state-of-the-art FL fine-tuning approaches for PLMs.
- Abstract（参考訳）: データプライバシに関する懸念や規制の高まりに伴い、フェデレートラーニング(FL)における微調整事前学習言語モデル(PLM)は、NLPタスクの共通パラダイムとなっている。
広く研究されているにもかかわらず、既存の方法には2つの大きな課題がある。
第一に、大規模PLMにおける膨大な数のパラメータは、過剰な通信と計算オーバーヘッドをもたらす。
第二に、クライアント間のデータとタスクの不均一性は、望まれる微調整のパフォーマンスを達成する上で大きな障害となる。
以上の問題に対処するため,FLのためのモデルコントラストパーソナライゼーションを用いたパラメータ効率の高いファインチューニング手法であるFedMCPを提案する。
具体的には、FedMCPはクライアント内の凍結PLMに2つの軽量アダプタモジュール、すなわちグローバルアダプタとプライベートアダプタを追加する。
通信ラウンドでは、各クライアントはグローバルアダプタのみをサーバに送信し、フェデレーションアグリゲーションを行う。
さらに、FedMCPは2つのアダプタ間のモデルコントラスト正規化項を導入する。
これに対し、グローバルアダプタは普遍的な知識を同化することを奨励し、一方、プライベートアダプタはクライアント固有の知識をキャプチャする。
両方のアダプタを活用することで、FedMCPは、個々のクライアントに合わせてカスタマイズされたパーソナライズされたモデルを効果的に提供できる。
高ヘテロジニアスなクロスタスク、クロスサイロデータセットに関する大規模な実験は、FedMCPがPLMの最先端FL微調整アプローチよりも大幅に性能改善を達成していることを示している。
関連論文リスト
- FedSpaLLM: Federated Pruning of Large Language Models [8.45879077052023]
大規模言語モデル(LLM)は最先端のパフォーマンスを実現するが、高い計算量とストレージ要求のためデプロイは困難である。
我々は,LLMの刈り取り専用に設計された最初のフェデレーション学習フレームワークであるFedSpaLLMを提案する。
論文 参考訳（メタデータ） (2024-10-18T20:33:12Z) - Communication-Efficient and Tensorized Federated Fine-Tuning of Large Language Models [24.07770417615704]
大規模言語モデルの適応手法であるFedTTとFedTT+を紹介する。
FedTTは汎用的で、クロスサイロFLと大規模クロスデバイスFLの両方に適用できる。
提案手法は,データ不均一性の問題に対処し,既存のPEFT手法よりも同等あるいはそれ以上の精度で処理する。
論文 参考訳（メタデータ） (2024-10-16T23:50:39Z) - FedMoE: Personalized Federated Learning via Heterogeneous Mixture of Experts [4.412721048192925]
我々は、データ不均一性に対処するための効率的パーソナライズされたFederated LearningフレームワークであるFedMoEを紹介する。
FedMoEは2つの微調整段階から構成されており、第1段階では、観測されたアクティベーションパターンに基づいて探索を行うことで問題を単純化する。
第2段階では、これらのサブモデルはさらなるトレーニングのためにクライアントに配布され、サーバ集約のために返される。
論文 参考訳（メタデータ） (2024-08-21T03:16:12Z) - Personalized Wireless Federated Learning for Large Language Models [75.22457544349668]
大規模言語モデル(LLM)は自然言語処理タスクに革命をもたらした。
無線ネットワークへの展開は、プライバシとセキュリティ保護機構の欠如など、依然として課題に直面している。
通信オーバーヘッドの少ない2つのパーソナライズされた無線フェデレーションファインチューニング手法を提案する。
論文 参考訳（メタデータ） (2024-04-20T02:30:21Z) - Communication-Efficient Personalized Federated Learning for
Speech-to-Text Tasks [66.78640306687227]
プライバシー保護と法的規制を満たすために、連邦学習(FL)は、音声テキスト(S2T)システムのトレーニングにおいて大きな注目を集めている。
S2Tタスクで一般的に使用されるFLアプローチ(textscFedAvg)は、通常、広範な通信オーバーヘッドに悩まされる。
我々は、クライアント側チューニングとサーバとのインタラクションのための軽量なLoRAモジュールであるtextscFedLoRA と、$k$-near を備えたグローバルモデルである textscFedMem を導入したパーソナライズされたS2Tフレームワークを提案する。
論文 参考訳（メタデータ） (2024-01-18T15:39:38Z) - FedBPT: Efficient Federated Black-box Prompt Tuning for Large Language
Models [22.29061931122386]
プレトレーニング言語モデル (PLM) はNLPのランドスケープに革命をもたらし、様々なタスクで星間パフォーマンスを実現している。
本稿では,これらの課題に対処するためのフレームワークであるFederated Black-box Prompt Tuning(FedBPT)を紹介する。
論文 参考訳（メタデータ） (2023-10-02T16:43:14Z) - FedJETs: Efficient Just-In-Time Personalization with Federated Mixture
of Experts [48.78037006856208]
FedJETsは、Federated Learning(FL)セットアップ内でMixture-of-Experts(MoE)フレームワークを使用することで、新しいソリューションである。
我々の方法は、クライアントの多様性を活用して、クラスのサブセットの異なる専門家を訓練し、最も関係のある専門家に入力をルーティングするゲーティング機能を提供します。
我々の手法は、競争力のあるゼロショット性能を維持しながら、アートFL設定時の精度を最大18%向上させることができる。
論文 参考訳（メタデータ） (2023-06-14T15:47:52Z) - FedDWA: Personalized Federated Learning with Dynamic Weight Adjustment [20.72576355616359]
本稿では,この問題を解決するために,emphFedDWA (Federated Learning with Dynamic Weight Adjustment) と呼ばれる新しいPFLアルゴリズムを提案する。
FedDWAは、クライアントから収集したモデルに基づいて、パーソナライズされたアグリゲーション重みを計算する。
我々は,5つの実データを用いて広範囲な実験を行い,FedDWAが通信トラフィックを大幅に削減し,最先端のアプローチよりもはるかに高いモデル精度を達成できることを実証した。
論文 参考訳（メタデータ） (2023-05-10T13:12:07Z) - Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。
FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。
PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
論文 参考訳（メタデータ） (2023-05-01T20:04:46Z) - PerAda: Parameter-Efficient Federated Learning Personalization with Generalization Guarantees [95.87604231887353]
既存のpFL手法は高い通信コストと計算コストをもたらすか、テスト通信に弱い。
PerAdaではパラメータ蒸留とpFL pFLが特に試験時間分布において優れた性能を示す。
私たちのコードはhttps://github.com/NV/PerAda.comで公開されています。
論文 参考訳（メタデータ） (2023-02-13T19:00:37Z) - FedFM: Anchor-based Feature Matching for Data Heterogeneity in Federated
Learning [91.74206675452888]
本稿では,各クライアントの特徴を共有カテゴリーのアンカーにマッチさせる新しいFedFM法を提案する。
効率と柔軟性を向上させるため,FedFM-Liteと呼ばれるFedFM変種を提案し,クライアントは同期時間と通信帯域幅のコストを少なくしてサーバと通信する。
論文 参考訳（メタデータ） (2022-10-14T08:11:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。