論文の概要: When Federated Learning Meets Pre-trained Language Models'
Parameter-Efficient Tuning Methods
- arxiv url: http://arxiv.org/abs/2212.10025v1
- Date: Tue, 20 Dec 2022 06:44:32 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-21 14:09:51.151610
- Title: When Federated Learning Meets Pre-trained Language Models'
Parameter-Efficient Tuning Methods
- Title（参考訳）: フェデレーション学習が事前学習された言語モデルのパラメータ効率的なチューニング手法に出会ったとき
- Authors: Zhuo Zhang, Yuanhang Yang, Yong Dai, Lizhen Qu, Zenglin Xu
- Abstract要約: フェデレート学習に様々なパラメータ効率チューニング(PETuning)手法を導入する。
具体的には,FL における代表的 PLM チューニング手法の総合的研究について述べる。
全体としての通信オーバーヘッドは、局所的なチューニングと、軽量モデルパラメータのグローバル集約によって大幅に削減できる。
- 参考スコア（独自算出の注目度）: 22.16636947999123
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: With increasing privacy concerns on data, recent studies have made
significant progress using federated learning (FL) on privacy-sensitive natural
language processing (NLP) tasks. Much literature suggests fully fine-tuning
pre-trained language models (PLMs) in the FL paradigm can mitigate the data
heterogeneity problem and close the performance gap with centralized training.
However, large PLMs bring the curse of prohibitive communication overhead and
local model adaptation costs for the FL system. To this end, we introduce
various parameter-efficient tuning (PETuning) methods into federated learning.
Specifically, we provide a holistic empirical study of representative PLMs
tuning methods in FL. The experimental results cover the analysis of data
heterogeneity levels, data scales, and different FL scenarios. Overall
communication overhead can be significantly reduced by locally tuning and
globally aggregating lightweight model parameters while maintaining acceptable
performance in various FL settings. To facilitate the research of PETuning in
FL, we also develop a federated tuning framework FedPETuning, which allows
practitioners to exploit different PETuning methods under the FL training
paradigm conveniently. The source code is available at
\url{https://github.com/iezhuozhuo/FedETuning/tree/deltaTuning}.
- Abstract（参考訳）: データに対するプライバシの懸念が高まる中、近年の研究は、プライバシに敏感な自然言語処理(nlp)タスクにフェデレーション学習(fl)を使用することで大きな進歩を遂げている。
多くの文献は、FLパラダイムにおける完全微調整事前訓練言語モデル(PLM)は、データの不均一性を緩和し、集中トレーニングによるパフォーマンスギャップを埋めることができることを示唆している。
しかし、大規模なPLMは、FLシステムの通信の禁止的オーバーヘッドと局所モデル適応コストの呪いをもたらす。
この目的のために,フェデレート学習に様々なパラメータ効率チューニング(PETuning)手法を導入する。
具体的には,FL における代表的 PLM チューニング手法の総合的研究について述べる。
実験結果は、データの不均一性レベル、データスケール、および異なるflシナリオの分析をカバーする。
様々なFL設定で許容性能を維持しつつ、局所的なチューニングと軽量モデルパラメータのグローバル集約により、全体的な通信オーバーヘッドを著しく低減することができる。
FLにおけるPETuningの研究を容易にするために,FedPETuningというフェデレート・チューニング・フレームワークを開発した。
ソースコードは \url{https://github.com/iezhuozhuo/fedetuning/tree/deltatuning} で入手できる。
関連論文リスト
- Can We Theoretically Quantify the Impacts of Local Updates on the Generalization Performance of Federated Learning? [50.03434441234569]
フェデレートラーニング(FL)は、直接データ共有を必要とせず、さまざまなサイトで機械学習モデルをトレーニングする効果により、大きな人気を集めている。
局所的な更新を伴うFLは通信効率のよい分散学習フレームワークであることが様々なアルゴリズムによって示されているが、局所的な更新によるFLの一般化性能は比較的低い。
論文 参考訳（メタデータ） (2024-09-05T19:00:18Z) - R-SFLLM: Jamming Resilient Framework for Split Federated Learning with Large Language Models [83.77114091471822]
Split Federated Learning (SFL)は、分散機械学習(ML)における計算効率のパラダイムである。
SFLの課題は、特に無線チャネル上に展開する場合、送信されたモデルパラメータが相手のジャミングに感受性を持つことである。
これは、言語理解に不可欠である大規模言語モデル(LLM)における単語埋め込みパラメータに対して特に顕著である。
無線ネットワーク上でのLLM(R-SFLLM)を用いたレジリエンスSFLのための物理層フレームワークを開発した。
論文 参考訳（メタデータ） (2024-07-16T12:21:29Z) - SpaFL: Communication-Efficient Federated Learning with Sparse Models and Low computational Overhead [75.87007729801304]
SpaFL: 計算オーバーヘッドの少ないスパースモデル構造を最適化する通信効率のよいFLフレームワークを提案する。
実験により、スパースベースラインに比べて通信やコンピューティングリソースをはるかに少なくし、精度を向上することが示された。
論文 参考訳（メタデータ） (2024-06-01T13:10:35Z) - A Survey on Efficient Federated Learning Methods for Foundation Model Training [62.473245910234304]
フェデレーテッド・ラーニング(FL)は、多数のクライアントにわたるプライバシー保護協調トレーニングを促進するための確立した技術となっている。
Foundation Models (FM)の後、多くのディープラーニングアプリケーションでは現実が異なる。
FLアプリケーションに対するパラメータ効率細調整(PEFT)の利点と欠点について論じる。
論文 参考訳（メタデータ） (2024-01-09T10:22:23Z) - Tunable Soft Prompts are Messengers in Federated Learning [55.924749085481544]
フェデレートラーニング(FL)は、複数の参加者が分散データソースを使用して機械学習モデルを協調的にトレーニングすることを可能にする。
FLにおけるモデルプライバシ保護の欠如は無視できない課題となっている。
そこで本研究では,ソフトプロンプトによって参加者間の情報交換を実現する新しいFLトレーニング手法を提案する。
論文 参考訳（メタデータ） (2023-11-12T11:01:10Z) - SLoRA: Federated Parameter Efficient Fine-Tuning of Language Models [28.764782216513037]
FL(Federated Learning)は、FLエッジクライアントの分散データとプライベートデータの恩恵を受けることができる。
異種データシナリオにおけるLoRAの重要な制約を克服するSLoRAという手法を提案する。
実験の結果,SLoRAは完全微調整に匹敵する性能を示した。
論文 参考訳（メタデータ） (2023-08-12T10:33:57Z) - FedMR: Fedreated Learning via Model Recombination [7.404225808071622]
Federated Learning (FL)は、クライアント間でのグローバルモデルトレーニングを可能にする。
既存のFLメソッドは、Federated Averaging(FedAvg)ベースのアグリゲーションに依存しています。
本稿ではFedMR(Federating Model Recombination)という新しいFLパラダイムを提案する。
論文 参考訳（メタデータ） (2022-08-16T11:30:19Z) - Training Mixed-Domain Translation Models via Federated Learning [16.71888086947849]
本研究では,混合ドメイン翻訳モデルの学習課題に対処するために,フェデレートラーニング(FL)を活用する。
トレーニングプロセスのわずかな変更により、FLベースのアグリゲーションが異なるドメインを融合させる際に、ニューラルマシン変換(NMT)エンジンを容易に適用できる。
本稿では,FL更新時に影響のあるパラメータを選択し,通信帯域幅を動的に制御する手法を提案する。
論文 参考訳（メタデータ） (2022-05-03T15:16:51Z) - FedCAT: Towards Accurate Federated Learning via Device Concatenation [4.416919766772866]
Federated Learning(FL)は、すべてのデバイスが、ローカルデータのプライバシを公開することなく、グローバルモデルを協調的にトレーニングすることを可能にする。
非IIDシナリオでは、データの不均一性に起因する重みのばらつきにより、FLモデルの分類精度が大幅に低下する。
本稿では,Fed-Cat という新しいFLアプローチを導入し,提案したデバイス選択戦略とデバイス結合に基づく局所学習手法に基づいて,高精度なモデル精度を実現する。
論文 参考訳（メタデータ） (2022-02-23T10:08:43Z) - Local Learning Matters: Rethinking Data Heterogeneity in Federated
Learning [61.488646649045215]
フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
論文 参考訳（メタデータ） (2021-11-28T19:03:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。