論文の概要: Reduce Communication Costs and Preserve Privacy: Prompt Tuning Method in
Federated Learning
- arxiv url: http://arxiv.org/abs/2208.12268v1
- Date: Thu, 25 Aug 2022 15:27:41 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-29 12:43:48.519259
- Title: Reduce Communication Costs and Preserve Privacy: Prompt Tuning Method in
Federated Learning
- Title（参考訳）: コミュニケーションコストの削減とプライバシ保護:フェデレーション学習におけるプロンプトチューニング手法
- Authors: Haodong Zhao, Wei Du, Fangqi Li, Peixuan Li, Gongshen Liu
- Abstract要約: フェデレートラーニング(FL)は、プライバシ保護の方法で分散データのグローバルモデルトレーニングを可能にした。
最近の即時チューニングは、新しい学習パラダイムとして優れたパフォーマンスを実現している。
FedPrompt" はFLを用いたモデル分割学習方式のプロンプトチューニングの最初の研究である。
- 参考スコア（独自算出の注目度）: 12.103676778867571
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning (FL) has enabled global model training on decentralized
data in a privacy-preserving way by aggregating model updates. However, for
many natural language processing (NLP) tasks that utilize pre-trained language
models (PLMs) with large numbers of parameters, there are considerable
communication costs associated with FL. Recently, prompt tuning, which tunes
some soft prompts without modifying PLMs, has achieved excellent performance as
a new learning paradigm. Therefore we want to combine the two methods and
explore the effect of prompt tuning under FL. In this paper, we propose
"FedPrompt" as the first work study prompt tuning in a model split learning way
using FL, and prove that split learning greatly reduces the communication cost,
only 0.01% of the PLMs' parameters, with little decrease on accuracy both on
IID and Non-IID data distribution. This improves the efficiency of FL method
while also protecting the data privacy in prompt tuning.In addition, like PLMs,
prompts are uploaded and downloaded between public platforms and personal
users, so we try to figure out whether there is still a backdoor threat using
only soft prompt in FL scenarios. We further conduct backdoor attacks by data
poisoning on FedPrompt. Our experiments show that normal backdoor attack can
not achieve a high attack success rate, proving the robustness of FedPrompt.We
hope this work can promote the application of prompt in FL and raise the
awareness of the possible security threats.
- Abstract（参考訳）: フェデレートラーニング(FL)は、モデル更新を集約することで、プライバシ保護方法で分散データのグローバルモデルトレーニングを可能にする。
しかし、多数のパラメータを持つ事前学習言語モデル(PLM)を利用する多くの自然言語処理(NLP)タスクでは、FLに関連する通信コストがかなり高い。
近年,plmを変更せずにソフトプロンプトをチューニングするプロンプトチューニングが,新しい学習パラダイムとして優れたパフォーマンスを達成している。
そこで我々は,この2つの手法を組み合わせて,FL下でのプロンプトチューニングの効果を探究する。
本稿では, flを用いたモデル分割学習方式のモデル分割学習において, 高速チューニングを行う最初の研究として「fedprompt」を提案し, 分割学習によって通信コストが大幅に低減し, パラメータの0.01%に留まり, iidおよび非iidデータ分布の精度が低下することを証明する。
これにより,FL手法の効率性が向上すると同時に,データプライバシの保護も容易になる。さらにPLMのように,プロンプトはパブリックプラットフォームと個人ユーザ間でアップロード,ダウンロードされるため,FLシナリオのソフトプロンプトのみを使用して,バックドアの脅威がまだ存在するかどうかを判断する。
我々はさらにFedPromptでデータ中毒によるバックドア攻撃を行う。
実験の結果,通常のバックドア攻撃は,FedPromptの堅牢性を証明し,FLにおけるプロンプトの適用を促進し,セキュリティ上の脅威に対する認識を高めることが期待できる。
関連論文リスト
- Save It All: Enabling Full Parameter Tuning for Federated Large Language Models via Cycle Block Gradient Descent [15.463595798992621]
大規模言語モデル(LLM)はディープラーニングパラダイムに革命をもたらし、幅広いタスクで印象的な結果をもたらしている。
既存のソリューションは、モデル全体がトレーニングのために交換されるという非現実的な仮定を定めている。
本稿では,資源消費を最小限に抑えつつ,FLにおけるLLMの効率的なトレーニングと微調整を行う新しい手法を提案する。
論文 参考訳（メタデータ） (2024-06-17T03:49:44Z) - Enhancing Security and Privacy in Federated Learning using Update Digests and Voting-Based Defense [23.280147155814955]
フェデレートラーニング(FL)は、有望なプライバシー保護機械学習パラダイムである。
その可能性にもかかわらず、FLはクライアントとサーバの信頼性に関する課題に直面している。
underlinetextbfFederated underlinetextbfLearning with underlinetextbfUpdate underlinetextbfDigest (FLUD) という新しいフレームワークを導入する。
FLUDは、分散学習環境におけるビザンチン攻撃に対するプライバシー保護と抵抗の重要な問題に対処する。
論文 参考訳（メタデータ） (2024-05-29T06:46:10Z) - Tunable Soft Prompts are Messengers in Federated Learning [55.924749085481544]
フェデレートラーニング(FL)は、複数の参加者が分散データソースを使用して機械学習モデルを協調的にトレーニングすることを可能にする。
FLにおけるモデルプライバシ保護の欠如は無視できない課題となっている。
そこで本研究では,ソフトプロンプトによって参加者間の情報交換を実現する新しいFLトレーニング手法を提案する。
論文 参考訳（メタデータ） (2023-11-12T11:01:10Z) - Federated Learning of Large Language Models with Parameter-Efficient
Prompt Tuning and Adaptive Optimization [71.87335804334616]
フェデレートラーニング(FL)は、分散データとの協調モデルトレーニングを可能にする、有望なパラダイムである。
LLM(Large Language Models)のトレーニングプロセスは一般的に重要なパラメータの更新を引き起こす。
本稿では,性能と効率を同時に向上する効率的な部分的プロンプトチューニング手法を提案する。
論文 参考訳（メタデータ） (2023-10-23T16:37:59Z) - FedBPT: Efficient Federated Black-box Prompt Tuning for Large Language
Models [22.29061931122386]
プレトレーニング言語モデル (PLM) はNLPのランドスケープに革命をもたらし、様々なタスクで星間パフォーマンスを実現している。
本稿では,これらの課題に対処するためのフレームワークであるFederated Black-box Prompt Tuning(FedBPT)を紹介する。
論文 参考訳（メタデータ） (2023-10-02T16:43:14Z) - When Federated Learning Meets Pre-trained Language Models'
Parameter-Efficient Tuning Methods [22.16636947999123]
フェデレート学習に様々なパラメータ効率チューニング(PETuning)手法を導入する。
具体的には,FL における代表的 PLM チューニング手法の総合的研究について述べる。
全体としての通信オーバーヘッドは、局所的なチューニングと、軽量モデルパラメータのグローバル集約によって大幅に削減できる。
論文 参考訳（メタデータ） (2022-12-20T06:44:32Z) - Acceleration of Federated Learning with Alleviated Forgetting in Local
Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。
我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。
我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文 参考訳（メタデータ） (2022-03-05T02:31:32Z) - Do Gradient Inversion Attacks Make Federated Learning Unsafe? [70.0231254112197]
フェデレートラーニング(FL)は、生データを共有することなく、AIモデルの協調トレーニングを可能にする。
モデル勾配からのディープニューラルネットワークの反転に関する最近の研究は、トレーニングデータの漏洩を防止するためのFLの安全性に関する懸念を提起した。
本研究では,本論文で提示されたこれらの攻撃が実際のFLユースケースでは実行不可能であることを示し,新たなベースライン攻撃を提供する。
論文 参考訳（メタデータ） (2022-02-14T18:33:12Z) - Federated Robustness Propagation: Sharing Adversarial Robustness in
Federated Learning [98.05061014090913]
フェデレートラーニング(FL)は、生データを共有することなく、参加するユーザのセットから学習する、人気のある分散ラーニングスキーマとして登場した。
敵対的トレーニング(AT)は集中学習のための健全なソリューションを提供する。
既存のFL技術では,非IDユーザ間の対向的ロバスト性を効果的に広めることができないことを示す。
本稿では, バッチ正規化統計量を用いてロバスト性を伝達する, 単純かつ効果的な伝搬法を提案する。
論文 参考訳（メタデータ） (2021-06-18T15:52:33Z) - Blockchain Assisted Decentralized Federated Learning (BLADE-FL) with
Lazy Clients [124.48732110742623]
フェデレートラーニング(FL)にブロックチェーンを統合する新しいフレームワークを提案する。
BLADE-FLは、プライバシー保護、改ざん抵抗、学習の効果的な協力の点で優れたパフォーマンスを持っている。
遅延クライアントは、他人のトレーニングされたモデルを盗聴し、不正行為を隠すために人工的なノイズを加える。
論文 参考訳（メタデータ） (2020-12-02T12:18:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。