論文の概要: When Federated Learning Meets Pre-trained Language Models'
Parameter-Efficient Tuning Methods
- arxiv url: http://arxiv.org/abs/2212.10025v1
- Date: Tue, 20 Dec 2022 06:44:32 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-21 14:09:51.151610
- Title: When Federated Learning Meets Pre-trained Language Models'
Parameter-Efficient Tuning Methods
- Title(参考訳): フェデレーション学習が事前学習された言語モデルのパラメータ効率的なチューニング手法に出会ったとき
- Authors: Zhuo Zhang, Yuanhang Yang, Yong Dai, Lizhen Qu, Zenglin Xu
- Abstract要約: フェデレート学習に様々なパラメータ効率チューニング(PETuning)手法を導入する。
具体的には,FL における代表的 PLM チューニング手法の総合的研究について述べる。
全体としての通信オーバーヘッドは、局所的なチューニングと、軽量モデルパラメータのグローバル集約によって大幅に削減できる。
- 参考スコア(独自算出の注目度): 22.16636947999123
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: With increasing privacy concerns on data, recent studies have made
significant progress using federated learning (FL) on privacy-sensitive natural
language processing (NLP) tasks. Much literature suggests fully fine-tuning
pre-trained language models (PLMs) in the FL paradigm can mitigate the data
heterogeneity problem and close the performance gap with centralized training.
However, large PLMs bring the curse of prohibitive communication overhead and
local model adaptation costs for the FL system. To this end, we introduce
various parameter-efficient tuning (PETuning) methods into federated learning.
Specifically, we provide a holistic empirical study of representative PLMs
tuning methods in FL. The experimental results cover the analysis of data
heterogeneity levels, data scales, and different FL scenarios. Overall
communication overhead can be significantly reduced by locally tuning and
globally aggregating lightweight model parameters while maintaining acceptable
performance in various FL settings. To facilitate the research of PETuning in
FL, we also develop a federated tuning framework FedPETuning, which allows
practitioners to exploit different PETuning methods under the FL training
paradigm conveniently. The source code is available at
\url{https://github.com/iezhuozhuo/FedETuning/tree/deltaTuning}.
- Abstract(参考訳): データに対するプライバシの懸念が高まる中、近年の研究は、プライバシに敏感な自然言語処理(nlp)タスクにフェデレーション学習(fl)を使用することで大きな進歩を遂げている。
多くの文献は、FLパラダイムにおける完全微調整事前訓練言語モデル(PLM)は、データの不均一性を緩和し、集中トレーニングによるパフォーマンスギャップを埋めることができることを示唆している。
しかし、大規模なPLMは、FLシステムの通信の禁止的オーバーヘッドと局所モデル適応コストの呪いをもたらす。
この目的のために,フェデレート学習に様々なパラメータ効率チューニング(PETuning)手法を導入する。
具体的には,FL における代表的 PLM チューニング手法の総合的研究について述べる。
実験結果は、データの不均一性レベル、データスケール、および異なるflシナリオの分析をカバーする。
様々なFL設定で許容性能を維持しつつ、局所的なチューニングと軽量モデルパラメータのグローバル集約により、全体的な通信オーバーヘッドを著しく低減することができる。
FLにおけるPETuningの研究を容易にするために,FedPETuningというフェデレート・チューニング・フレームワークを開発した。
ソースコードは \url{https://github.com/iezhuozhuo/fedetuning/tree/deltatuning} で入手できる。
関連論文リスト
- A Survey on Efficient Federated Learning Methods for Foundation Model
Training [66.19763977571114]
フェデレーテッド・ラーニング(FL)は、多数のクライアントにわたるプライバシー保護協調トレーニングを促進するための確立した技術となっている。
Foundation Models (FM)の後、多くのディープラーニングアプリケーションでは現実が異なる。
FLアプリケーションに対するパラメータ効率細調整(PEFT)の利点と欠点について論じる。
論文 参考訳(メタデータ) (2024-01-09T10:22:23Z) - Tunable Soft Prompts are Messengers in Federated Learning [55.924749085481544]
フェデレートラーニング(FL)は、複数の参加者が分散データソースを使用して機械学習モデルを協調的にトレーニングすることを可能にする。
FLにおけるモデルプライバシ保護の欠如は無視できない課題となっている。
そこで本研究では,ソフトプロンプトによって参加者間の情報交換を実現する新しいFLトレーニング手法を提案する。
論文 参考訳(メタデータ) (2023-11-12T11:01:10Z) - SLoRA: Federated Parameter Efficient Fine-Tuning of Language Models [28.764782216513037]
FL(Federated Learning)は、FLエッジクライアントの分散データとプライベートデータの恩恵を受けることができる。
異種データシナリオにおけるLoRAの重要な制約を克服するSLoRAという手法を提案する。
実験の結果,SLoRAは完全微調整に匹敵する性能を示した。
論文 参考訳(メタデータ) (2023-08-12T10:33:57Z) - Automated Federated Learning in Mobile Edge Networks -- Fast Adaptation
and Convergence [83.58839320635956]
フェデレートラーニング(FL)は、モバイルエッジネットワークで機械学習モデルを分散的にトレーニングするために使用することができる。
最近のFLは、モデルに依存しないメタラーニング(MAML)フレームワークで解釈されている。
本稿は,MAMLがFLにもたらすメリットと,モバイルエッジネットワーク上でのメリットの最大化について論じる。
論文 参考訳(メタデータ) (2023-03-23T02:42:10Z) - FedMR: Fedreated Learning via Model Recombination [7.404225808071622]
Federated Learning (FL)は、クライアント間でのグローバルモデルトレーニングを可能にする。
既存のFLメソッドは、Federated Averaging(FedAvg)ベースのアグリゲーションに依存しています。
本稿ではFedMR(Federating Model Recombination)という新しいFLパラダイムを提案する。
論文 参考訳(メタデータ) (2022-08-16T11:30:19Z) - Training Mixed-Domain Translation Models via Federated Learning [16.71888086947849]
本研究では,混合ドメイン翻訳モデルの学習課題に対処するために,フェデレートラーニング(FL)を活用する。
トレーニングプロセスのわずかな変更により、FLベースのアグリゲーションが異なるドメインを融合させる際に、ニューラルマシン変換(NMT)エンジンを容易に適用できる。
本稿では,FL更新時に影響のあるパラメータを選択し,通信帯域幅を動的に制御する手法を提案する。
論文 参考訳(メタデータ) (2022-05-03T15:16:51Z) - Efficient Split-Mix Federated Learning for On-Demand and In-Situ
Customization [107.72786199113183]
フェデレートラーニング(FL)は、複数の参加者が生データを共有せずに学習をコラボレーションするための分散ラーニングフレームワークを提供する。
本稿では, モデルサイズとロバスト性をその場でカスタマイズできる, 不均一な参加者のための新しいスプリット・ミクス・FL戦略を提案する。
論文 参考訳(メタデータ) (2022-03-18T04:58:34Z) - FedCAT: Towards Accurate Federated Learning via Device Concatenation [4.416919766772866]
Federated Learning(FL)は、すべてのデバイスが、ローカルデータのプライバシを公開することなく、グローバルモデルを協調的にトレーニングすることを可能にする。
非IIDシナリオでは、データの不均一性に起因する重みのばらつきにより、FLモデルの分類精度が大幅に低下する。
本稿では,Fed-Cat という新しいFLアプローチを導入し,提案したデバイス選択戦略とデバイス結合に基づく局所学習手法に基づいて,高精度なモデル精度を実現する。
論文 参考訳(メタデータ) (2022-02-23T10:08:43Z) - Local Learning Matters: Rethinking Data Heterogeneity in Federated
Learning [61.488646649045215]
フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
論文 参考訳(メタデータ) (2021-11-28T19:03:39Z) - FedNLP: A Research Platform for Federated Learning in Natural Language
Processing [55.01246123092445]
NLPのフェデレーションラーニングのための研究プラットフォームであるFedNLPを紹介します。
FedNLPは、テキスト分類、シーケンスタグ付け、質問応答、Seq2seq生成、言語モデリングなど、NLPで一般的なタスクの定式化をサポートしている。
FedNLPによる予備実験では、分散型データセットと集中型データセットの学習には大きなパフォーマンスギャップが存在することが明らかになった。
論文 参考訳(メタデータ) (2021-04-18T11:04:49Z) - FedSemi: An Adaptive Federated Semi-Supervised Learning Framework [23.90642104477983]
フェデレートラーニング(FL)は、データを共有し、プライバシーを漏らすことなく、機械学習モデルをコトレーニングするための効果的なテクニックとして登場した。
既存のFL法の多くは、教師付き設定に重点を置いて、ラベルなしデータの利用を無視している。
本稿では,FedSemiを提案する。FedSemiは,教師-学生モデルを用いてFLに整合性正則化を導入する新しい,適応的で汎用的なフレームワークである。
論文 参考訳(メタデータ) (2020-12-06T15:46:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。