Fugu-MT 論文翻訳(概要): FedBPT: Efficient Federated Black-box Prompt Tuning for Large Language Models

論文の概要: FedBPT: Efficient Federated Black-box Prompt Tuning for Large Language Models

arxiv url: http://arxiv.org/abs/2310.01467v1
Date: Mon, 2 Oct 2023 16:43:14 GMT
ステータス: 処理完了
システム内更新日: 2023-10-04 19:49:24.001229
Title: FedBPT: Efficient Federated Black-box Prompt Tuning for Large Language Models
Title（参考訳）: FedBPT: 大規模言語モデルのための効率的なフェデレーションブラックボックスプロンプトチューニング
Authors: Jingwei Sun, Ziyue Xu, Hongxu Yin, Dong Yang, Daguang Xu, Yiran Chen, Holger R. Roth
Abstract要約: プレトレーニング言語モデル (PLM) はNLPのランドスケープに革命をもたらし、様々なタスクで星間パフォーマンスを実現している。本稿では,これらの課題に対処するためのフレームワークであるFederated Black-box Prompt Tuning(FedBPT)を紹介する。
参考スコア（独自算出の注目度）: 22.29061931122386
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Pre-trained language models (PLM) have revolutionized the NLP landscape, achieving stellar performances across diverse tasks. These models, while benefiting from vast training data, often require fine-tuning on specific data to cater to distinct downstream tasks. However, this data adaptation process has inherent security and privacy concerns, primarily when leveraging user-generated, device-residing data. Federated learning (FL) provides a solution, allowing collaborative model fine-tuning without centralized data collection. However, applying FL to finetune PLMs is hampered by challenges, including restricted model parameter access, high computational requirements, and communication overheads. This paper introduces Federated Black-box Prompt Tuning (FedBPT), a framework designed to address these challenges. FedBPT does not require the clients to access the model parameters. By focusing on training optimal prompts and utilizing gradient-free optimization methods, FedBPT reduces the number of exchanged variables, boosts communication efficiency, and minimizes computational and storage costs. Experiments highlight the framework's ability to drastically cut communication and memory costs while maintaining competitive performance. Ultimately, FedBPT presents a promising solution for efficient, privacy-preserving fine-tuning of PLM in the age of large language models.
Abstract（参考訳）: プレトレーニング言語モデル (PLM) はNLPのランドスケープに革命をもたらし、様々なタスクで星間パフォーマンスを達成した。これらのモデルは、膨大なトレーニングデータから恩恵を受ける一方で、下流の異なるタスクに対応するために、特定のデータを微調整する必要があることが多い。しかし、このデータ適応プロセスには固有のセキュリティとプライバシの懸念がある。フェデレートラーニング(FL)は、集中的なデータ収集なしに、協調的なモデルの微調整を可能にするソリューションを提供する。しかし、FLの適用は、制限されたモデルパラメータアクセス、高い計算要求、通信オーバーヘッドなどの課題によって妨げられている。本稿では,これらの課題に対処するためのフレームワークであるFederated Black-box Prompt Tuning(FedBPT)を紹介する。 FedBPTは、クライアントがモデルパラメータにアクセスする必要はない。最適プロンプトの訓練と勾配のない最適化手法を利用することで、FedBPTは交換変数の数を減らし、通信効率を向上し、計算と記憶のコストを最小化する。実験では、競争性能を維持しながら通信とメモリコストを大幅に削減するフレームワークの能力を強調している。最終的に、FedBPTは、大規模言語モデルの時代におけるPLMの効率的かつプライバシー保護的な微調整のための有望なソリューションを提供する。

関連論文リスト

FedDTPT: Federated Discrete and Transferable Prompt Tuning for Black-Box Large Language Models [14.719919025265224]
特定のシナリオからのデータを調整した大きな言語モデル(LLM)は、プライバシリークのリスクを引き起こす。ブラックボックス大言語モデルに対して,フェデレートされた離散的かつ転送可能なプロンプトチューニングであるFedDTPTを初めて提案する。提案手法は,ブラックボックス設定における非IDデータに対する高い精度,通信オーバーヘッドの低減,ロバスト性を実現する。
論文参考訳（メタデータ） (2024-11-01T19:19:23Z)
Communication-Efficient and Tensorized Federated Fine-Tuning of Large Language Models [24.07770417615704]
大規模言語モデルの適応手法であるFedTTとFedTT+を紹介する。 FedTTは汎用的で、クロスサイロFLと大規模クロスデバイスFLの両方に適用できる。提案手法は,データ不均一性の問題に対処し,既存のPEFT手法よりも同等あるいはそれ以上の精度で処理する。
論文参考訳（メタデータ） (2024-10-16T23:50:39Z)
FedPT: Federated Proxy-Tuning of Large Language Models on Resource-Constrained Edge Devices [10.01451891927236]
textbfFederated textbfProxy-textbfTuning (FedPT)は、ブラックボックス大型LMのファインチューニングのための新しいフレームワークである。 FedPTは、競合性能を維持しながら、計算、通信、メモリオーバーヘッドを大幅に削減できる。
論文参考訳（メタデータ） (2024-10-01T03:20:39Z)
Save It All: Enabling Full Parameter Tuning for Federated Large Language Models via Cycle Block Gradient Descent [15.463595798992621]
大規模言語モデル(LLM)はディープラーニングパラダイムに革命をもたらし、幅広いタスクで印象的な結果をもたらしている。既存のソリューションは、モデル全体がトレーニングのために交換されるという非現実的な仮定を定めている。本稿では,資源消費を最小限に抑えつつ,FLにおけるLLMの効率的なトレーニングと微調整を行う新しい手法を提案する。
論文参考訳（メタデータ） (2024-06-17T03:49:44Z)
Federated Full-Parameter Tuning of Billion-Sized Language Models with Communication Cost under 18 Kilobytes [53.4856038354195]
事前訓練された大規模言語モデル(LLM)は、自然言語命令に対する応答性を改善するために微調整が必要である。 FedKSeedは、ランダムシードの有限セットによるゼロ階最適化を採用している。サーバとクライアント間の通信要求を大幅に減らし、ランダムなシードをわずかに減らします。
論文参考訳（メタデータ） (2023-12-11T13:03:21Z)
Tunable Soft Prompts are Messengers in Federated Learning [55.924749085481544]
フェデレートラーニング(FL)は、複数の参加者が分散データソースを使用して機械学習モデルを協調的にトレーニングすることを可能にする。 FLにおけるモデルプライバシ保護の欠如は無視できない課題となっている。そこで本研究では,ソフトプロンプトによって参加者間の情報交換を実現する新しいFLトレーニング手法を提案する。
論文参考訳（メタデータ） (2023-11-12T11:01:10Z)
Federated Learning of Large Language Models with Parameter-Efficient Prompt Tuning and Adaptive Optimization [71.87335804334616]
フェデレートラーニング(FL)は、分散データとの協調モデルトレーニングを可能にする、有望なパラダイムである。 LLM(Large Language Models)のトレーニングプロセスは一般的に重要なパラメータの更新を引き起こす。本稿では,性能と効率を同時に向上する効率的な部分的プロンプトチューニング手法を提案する。
論文参考訳（メタデータ） (2023-10-23T16:37:59Z)
ZooPFL: Exploring Black-box Foundation Models for Personalized Federated Learning [95.64041188351393]
本稿では,限られた資源とパーソナライゼーションの両課題を解決しようと試みる。個人化フェデレート学習におけるゼロ階最適化を用いたZOOPFLという手法を提案する。計算コストの削減とパーソナライゼーションの向上を目的として,低次元およびクライアント固有の埋め込みを持つオートエンコーダを組み込む入力手術を提案する。
論文参考訳（メタデータ） (2023-10-08T12:26:13Z)
Efficient Federated Prompt Tuning for Black-box Large Pre-trained Models [62.838689691468666]
我々は,各ローカルデータセットを最適に活用するためのフェデレートブラックボックス・プロンプト・チューニング(Fed-BBPT)を提案する。 Fed-BBPTは、ローカルユーザーがレギュラーアグリゲーションを通じてプロンプトジェネレータを協調的に訓練するのを支援する中央サーバーに重点を置いている。大規模な微調整とは対照的に、Fed-BBPTは、PTMストレージとローカルマシンの微調整に関連するメモリの課題を、十分にサイドステップで解決している。
論文参考訳（メタデータ） (2023-10-04T19:30:49Z)
SLoRA: Federated Parameter Efficient Fine-Tuning of Language Models [28.764782216513037]
FL(Federated Learning)は、FLエッジクライアントの分散データとプライベートデータの恩恵を受けることができる。異種データシナリオにおけるLoRAの重要な制約を克服するSLoRAという手法を提案する。実験の結果,SLoRAは完全微調整に匹敵する性能を示した。
論文参考訳（メタデータ） (2023-08-12T10:33:57Z)
Dynamic Attention-based Communication-Efficient Federated Learning [85.18941440826309]
フェデレートラーニング(FL)は、グローバル機械学習モデルをトレーニングするためのソリューションを提供する。 FLは、クライアントデータの分散が非IIDであるときに性能劣化に悩まされる。本稿では,この劣化に対処するために,新しい適応トレーニングアルゴリズムであるtextttAdaFL$を提案する。
論文参考訳（メタデータ） (2021-08-12T14:18:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。