論文の概要: Efficient Federated Prompt Tuning for Black-box Large Pre-trained Models

• arxiv url: http://arxiv.org/abs/2310.03123v1
• Date: Wed, 4 Oct 2023 19:30:49 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-06 20:31:02.512800
• Title: Efficient Federated Prompt Tuning for Black-box Large Pre-trained Models
• Title（参考訳）: ブラックボックス大規模事前訓練モデルのための効率的なフェデレーションプロンプトチューニング
• Authors: Zihao Lin, Yan Sun, Yifan Shi, Xueqian Wang, Lifu Huang, Li Shen, Dacheng Tao
• Abstract要約: 我々は,各ローカルデータセットを最適に活用するためのフェデレートブラックボックス・プロンプト・チューニング(Fed-BBPT)を提案する。 Fed-BBPTは、ローカルユーザーがレギュラーアグリゲーションを通じてプロンプトジェネレータを協調的に訓練するのを支援する中央サーバーに重点を置いている。 大規模な微調整とは対照的に、Fed-BBPTは、PTMストレージとローカルマシンの微調整に関連するメモリの課題を、十分にサイドステップで解決している。
• 参考スコア（独自算出の注目度）: 62.838689691468666
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the blowout development of pre-trained models (PTMs), the efficient tuning of these models for diverse downstream applications has emerged as a pivotal research concern. Although recent investigations into prompt tuning have provided promising avenues, three salient challenges persist: (1) memory constraint: the continuous growth in the size of open-source PTMs renders fine-tuning, even a fraction of their parameters, challenging for many practitioners. (2) model privacy: existing PTMs often function as public API services, with their parameters inaccessible for effective or tailored fine-tuning. (3) data privacy: the fine-tuning of PTMs necessitates high-quality datasets, which are typically localized and not shared to public. To optimally harness each local dataset while navigating memory constraints and preserving privacy, we propose Federated Black-Box Prompt Tuning (Fed-BBPT). This innovative approach eschews reliance on parameter architectures and private dataset access, instead capitalizing on a central server that aids local users in collaboratively training a prompt generator through regular aggregation. Local users leverage API-driven learning via a zero-order optimizer, obviating the need for PTM deployment. Relative to extensive fine-tuning, Fed-BBPT proficiently sidesteps memory challenges tied to PTM storage and fine-tuning on local machines, tapping into comprehensive, high-quality, yet private training datasets. A thorough evaluation across 40 datasets spanning CV and NLP tasks underscores the robustness of our proposed model.
• Abstract（参考訳）: プレトレーニングモデル (PTMs) の爆発的発展に伴い、これらのモデルの様々な下流アプリケーションに対する効率的なチューニングが重要な研究課題となっている。 1) メモリ制約: オープンソースのPTMのサイズの連続的な成長は、微調整を施すが、そのパラメータのごく一部でさえも、多くの実践者にとって困難である。 モデルプライバシ: 既存のPTMは、しばしばパブリックAPIサービスとして機能し、パラメータは、効果的または調整された微調整にはアクセスできない。 (3)データプライバシ: PTMの微調整は、通常、ローカライズされ、公開されていない高品質なデータセットを必要とする。 メモリ制約をナビゲートし、プライバシを保護しながら、各ローカルデータセットを最適に活用するために、フェデレートブラックボックス・プロンプト・チューニング(Fed-BBPT)を提案する。 この革新的なアプローチは、パラメータアーキテクチャとプライベートデータセットアクセスへの依存を回避し、代わりに、定期的なアグリゲーションを通じてプロンプトジェネレータを協調的にトレーニングする、ローカルユーザを支援する中央サーバを活用する。 ローカルユーザは、ゼロオーダーオプティマイザを通じてAPI駆動学習を活用することで、PTMデプロイメントの必要性を回避できる。 大規模な微調整とは対照的に、Fed-BBPTは、PTMストレージとローカルマシンの微調整に関連するメモリ上の課題を、包括的で高品質でプライベートなトレーニングデータセットに分類し、十分にサイドステップで解決する。 CVタスクとNLPタスクにまたがる40のデータセットに対する徹底的な評価は、提案モデルの堅牢性を示している。

関連論文リスト

• FedSpaLLM: Federated Pruning of Large Language Models [8.45879077052023]
  大規模言語モデル(LLM)は最先端のパフォーマンスを実現するが、高い計算量とストレージ要求のためデプロイは困難である。 我々は,LLMの刈り取り専用に設計された最初のフェデレーション学習フレームワークであるFedSpaLLMを提案する。
  論文  参考訳（メタデータ） (2024-10-18T20:33:12Z)
• PeFAD: A Parameter-Efficient Federated Framework for Time Series Anomaly Detection [51.20479454379662]
  私たちはaを提案します。 フェデレートされた異常検出フレームワークであるPeFADは、プライバシーの懸念が高まっている。 我々は、4つの実際のデータセットに対して広範な評価を行い、PeFADは既存の最先端ベースラインを最大28.74%上回っている。
  論文  参考訳（メタデータ） (2024-06-04T13:51:08Z)
• Share Your Secrets for Privacy! Confidential Forecasting with Vertical Federated Learning [5.584904689846748]
  製造業における主な課題は、データプライバシと、小さくノイズの多いデータセットへの過度な適合である。 本稿では、以下の重要な特徴を示す新しいフレームワークである「VFLによる秘かに共有された時系列予測」を提案する。 以上の結果から,STVの予測精度は集中型手法に匹敵することがわかった。
  論文  参考訳（メタデータ） (2024-05-31T12:27:38Z)
• FewFedPIT: Towards Privacy-preserving and Few-shot Federated Instruction Tuning [54.26614091429253]
  フェデレーション・インストラクション・チューニング(FedIT)は、複数のデータ所有者間で協調的なトレーニングを統合することで、有望なソリューションである。 FedITは、インストラクショナルデータの不足や、トレーニングデータ抽出攻撃への露出リスクなどの制限に直面している。 本稿では,FewFedPITを提案する。このFewFedPITは,フェデレートされた数ショット学習のプライバシー保護とモデル性能を同時に向上する。
  論文  参考訳（メタデータ） (2024-03-10T08:41:22Z)
• Profit: Benchmarking Personalization and Robustness Trade-off in Federated Prompt Tuning [40.16581292336117]
  フェデレートラーニング(FL)の多くの応用において、クライアントはローカルデータを用いてパーソナライズされたモデルを求めているが、一般的なグローバルな知識を保持するという意味でも堅牢である。 フェデレーションシステムの設計において、このパーソナライゼーションとロバストネスのトレードオフをどのようにナビゲートするかを理解することは重要である。
  論文  参考訳（メタデータ） (2023-10-06T23:46:33Z)
• FedBPT: Efficient Federated Black-box Prompt Tuning for Large Language Models [22.29061931122386]
  プレトレーニング言語モデル (PLM) はNLPのランドスケープに革命をもたらし、様々なタスクで星間パフォーマンスを実現している。 本稿では,これらの課題に対処するためのフレームワークであるFederated Black-box Prompt Tuning(FedBPT)を紹介する。
  論文  参考訳（メタデータ） (2023-10-02T16:43:14Z)
• Revisiting Class-Incremental Learning with Pre-Trained Models: Generalizability and Adaptivity are All You Need [84.3507610522086]
  クラスインクリメンタルラーニング(Class-incremental Learning, CIL)は、古いクラスを忘れずに新しいクラスに適応することを目的としている。 近年の事前訓練は大きな進歩を遂げており、CILには膨大な事前訓練モデル(PTM)が利用できるようになった。 CILの中核となる要素は、モデル更新の適応性と知識伝達の一般化性である。
  論文  参考訳（メタデータ） (2023-03-13T17:59:02Z)
• Ranking and Tuning Pre-trained Models: A New Paradigm of Exploiting Model Hubs [136.4492678691406]
  本稿では,事前学習したモデルのランク付けとチューニングにより,モデルハブを利用する新しいパラダイムを提案する。 最高のランク付けされたPTMは、モデルのアーキテクチャを好まない場合は、微調整とデプロイが可能です。 チューニング部は、専用メソッドを超越した、複数 PTM チューニングのための新しい手法を導入する。
  論文  参考訳（メタデータ） (2021-10-20T12:59:23Z)
• A Privacy-Preserving-Oriented DNN Pruning and Mobile Acceleration Framework [56.57225686288006]
  モバイルエッジデバイスの限られたストレージとコンピューティング能力を満たすために、ディープニューラルネットワーク(DNN)の軽量プルーニングが提案されている。 従来のプルーニング手法は主に、ユーザデータのプライバシを考慮せずに、モデルのサイズを減らしたり、パフォーマンスを向上させることに重点を置いていた。 プライベートトレーニングデータセットを必要としないプライバシ保護指向のプルーニングおよびモバイルアクセラレーションフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-03-13T23:52:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。