論文の概要: Efficient Federated Prompt Tuning for Black-box Large Pre-trained Models
- arxiv url: http://arxiv.org/abs/2310.03123v1
- Date: Wed, 4 Oct 2023 19:30:49 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-06 20:31:02.512800
- Title: Efficient Federated Prompt Tuning for Black-box Large Pre-trained Models
- Title(参考訳): ブラックボックス大規模事前訓練モデルのための効率的なフェデレーションプロンプトチューニング
- Authors: Zihao Lin, Yan Sun, Yifan Shi, Xueqian Wang, Lifu Huang, Li Shen,
Dacheng Tao
- Abstract要約: 我々は,各ローカルデータセットを最適に活用するためのフェデレートブラックボックス・プロンプト・チューニング(Fed-BBPT)を提案する。
Fed-BBPTは、ローカルユーザーがレギュラーアグリゲーションを通じてプロンプトジェネレータを協調的に訓練するのを支援する中央サーバーに重点を置いている。
大規模な微調整とは対照的に、Fed-BBPTは、PTMストレージとローカルマシンの微調整に関連するメモリの課題を、十分にサイドステップで解決している。
- 参考スコア(独自算出の注目度): 62.838689691468666
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: With the blowout development of pre-trained models (PTMs), the efficient
tuning of these models for diverse downstream applications has emerged as a
pivotal research concern. Although recent investigations into prompt tuning
have provided promising avenues, three salient challenges persist: (1) memory
constraint: the continuous growth in the size of open-source PTMs renders
fine-tuning, even a fraction of their parameters, challenging for many
practitioners. (2) model privacy: existing PTMs often function as public API
services, with their parameters inaccessible for effective or tailored
fine-tuning. (3) data privacy: the fine-tuning of PTMs necessitates
high-quality datasets, which are typically localized and not shared to public.
To optimally harness each local dataset while navigating memory constraints and
preserving privacy, we propose Federated Black-Box Prompt Tuning (Fed-BBPT).
This innovative approach eschews reliance on parameter architectures and
private dataset access, instead capitalizing on a central server that aids
local users in collaboratively training a prompt generator through regular
aggregation. Local users leverage API-driven learning via a zero-order
optimizer, obviating the need for PTM deployment. Relative to extensive
fine-tuning, Fed-BBPT proficiently sidesteps memory challenges tied to PTM
storage and fine-tuning on local machines, tapping into comprehensive,
high-quality, yet private training datasets. A thorough evaluation across 40
datasets spanning CV and NLP tasks underscores the robustness of our proposed
model.
- Abstract(参考訳): プレトレーニングモデル (PTMs) の爆発的発展に伴い、これらのモデルの様々な下流アプリケーションに対する効率的なチューニングが重要な研究課題となっている。
1) メモリ制約: オープンソースのPTMのサイズの連続的な成長は、微調整を施すが、そのパラメータのごく一部でさえも、多くの実践者にとって困難である。
モデルプライバシ: 既存のPTMは、しばしばパブリックAPIサービスとして機能し、パラメータは、効果的または調整された微調整にはアクセスできない。
(3)データプライバシ: PTMの微調整は、通常、ローカライズされ、公開されていない高品質なデータセットを必要とする。
メモリ制約をナビゲートし、プライバシを保護しながら、各ローカルデータセットを最適に活用するために、フェデレートブラックボックス・プロンプト・チューニング(Fed-BBPT)を提案する。
この革新的なアプローチは、パラメータアーキテクチャとプライベートデータセットアクセスへの依存を回避し、代わりに、定期的なアグリゲーションを通じてプロンプトジェネレータを協調的にトレーニングする、ローカルユーザを支援する中央サーバを活用する。
ローカルユーザは、ゼロオーダーオプティマイザを通じてAPI駆動学習を活用することで、PTMデプロイメントの必要性を回避できる。
大規模な微調整とは対照的に、Fed-BBPTは、PTMストレージとローカルマシンの微調整に関連するメモリ上の課題を、包括的で高品質でプライベートなトレーニングデータセットに分類し、十分にサイドステップで解決する。
CVタスクとNLPタスクにまたがる40のデータセットに対する徹底的な評価は、提案モデルの堅牢性を示している。
関連論文リスト
- Personalized Federated Learning of Probabilistic Models: A PAC-Bayesian
Approach [42.59649764999974]
フェデレートラーニングは、複数のクライアントがローカルに格納するプライベートおよび分散データから、共有モデルを推論することを目的としている。
PAC-Bayesian フレームワーク内で確率モデルを学習するための PFL アルゴリズム PAC-PFL を提案する。
提案アルゴリズムは,共有されたハイパーポインターを協調的に学習し,各クライアントの後部推論をステップパーソナライズとみなす。
論文 参考訳(メタデータ) (2024-01-16T13:30:37Z) - Profit: Benchmarking Personalization and Robustness Trade-off in
Federated Prompt Tuning [40.16581292336117]
フェデレートラーニング(FL)の多くの応用において、クライアントはローカルデータを用いてパーソナライズされたモデルを求めているが、一般的なグローバルな知識を保持するという意味でも堅牢である。
フェデレーションシステムの設計において、このパーソナライゼーションとロバストネスのトレードオフをどのようにナビゲートするかを理解することは重要である。
論文 参考訳(メタデータ) (2023-10-06T23:46:33Z) - FedBPT: Efficient Federated Black-box Prompt Tuning for Large Language
Models [22.29061931122386]
プレトレーニング言語モデル (PLM) はNLPのランドスケープに革命をもたらし、様々なタスクで星間パフォーマンスを実現している。
本稿では,これらの課題に対処するためのフレームワークであるFederated Black-box Prompt Tuning(FedBPT)を紹介する。
論文 参考訳(メタデータ) (2023-10-02T16:43:14Z) - Privacy Preserving Bayesian Federated Learning in Heterogeneous Settings [20.33482170846688]
本稿では,大規模なローカルデータセットがなくても,カスタマイズされたローカルベイズモデルに基づく統合学習フレームワークを提案する。
ネットワークの機能的(アウトプット)空間における事前情報を用いて、異種クライアント間のコラボレーションを容易にする。
標準FLデータセットを用いた実験により、同種および異種両方の設定において、我々のアプローチが強いベースラインより優れていることが示された。
論文 参考訳(メタデータ) (2023-06-13T17:55:30Z) - Revisiting Class-Incremental Learning with Pre-Trained Models:
Generalizability and Adaptivity are All You Need [76.10635571879762]
クラスインクリメンタルラーニング(Class-incremental Learning, CIL)は、古いクラスを忘れずに新しいクラスに適応することを目的としている。
近年の事前訓練は大きな進歩を遂げており、CILには膨大な事前訓練モデル(PTM)が利用できるようになった。
CILの中核となる要素は、モデル更新の適応性と知識伝達の一般化性である。
論文 参考訳(メタデータ) (2023-03-13T17:59:02Z) - Acceleration of Federated Learning with Alleviated Forgetting in Local
Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。
我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。
我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文 参考訳(メタデータ) (2022-03-05T02:31:32Z) - Scotch: An Efficient Secure Computation Framework for Secure Aggregation [0.0]
フェデレーション学習は、複数のデータ所有者がプライベートデータセットを公開せずに、機械学習モデルを共同でトレーニングすることを可能にする。
悪意のある集約サーバは、モデルパラメータを使用して、使用したトレーニングデータセットに関する機密情報を導き出すことができる。
フェデレーションアグリゲーションのための分散化テキストitm-partyセキュア計算フレームワークであるtextscScotch を提案する。
論文 参考訳(メタデータ) (2022-01-19T17:16:35Z) - Ranking and Tuning Pre-trained Models: A New Paradigm of Exploiting
Model Hubs [136.4492678691406]
本稿では,事前学習したモデルのランク付けとチューニングにより,モデルハブを利用する新しいパラダイムを提案する。
最高のランク付けされたPTMは、モデルのアーキテクチャを好まない場合は、微調整とデプロイが可能です。
チューニング部は、専用メソッドを超越した、複数 PTM チューニングのための新しい手法を導入する。
論文 参考訳(メタデータ) (2021-10-20T12:59:23Z) - Unsupervised Model Personalization while Preserving Privacy and
Scalability: An Open Problem [55.21502268698577]
本研究では,非教師なしモデルパーソナライゼーションの課題について検討する。
この問題を探求するための新しいDual User-Adaptation Framework(DUA)を提供する。
このフレームワークは、サーバ上のモデルパーソナライズとユーザデバイス上のローカルデータ正規化に柔軟にユーザ適応を分散させる。
論文 参考訳(メタデータ) (2020-03-30T09:35:12Z) - A Privacy-Preserving-Oriented DNN Pruning and Mobile Acceleration
Framework [56.57225686288006]
モバイルエッジデバイスの限られたストレージとコンピューティング能力を満たすために、ディープニューラルネットワーク(DNN)の軽量プルーニングが提案されている。
従来のプルーニング手法は主に、ユーザデータのプライバシを考慮せずに、モデルのサイズを減らしたり、パフォーマンスを向上させることに重点を置いていた。
プライベートトレーニングデータセットを必要としないプライバシ保護指向のプルーニングおよびモバイルアクセラレーションフレームワークを提案する。
論文 参考訳(メタデータ) (2020-03-13T23:52:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。