論文の概要: FedDTPT: Federated Discrete and Transferable Prompt Tuning for Black-Box Large Language Models
- arxiv url: http://arxiv.org/abs/2411.00985v1
- Date: Fri, 01 Nov 2024 19:19:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-05 14:48:11.284614
- Title: FedDTPT: Federated Discrete and Transferable Prompt Tuning for Black-Box Large Language Models
- Title（参考訳）: FedDTPT: ブラックボックス大言語モデルのためのフェデレートと転送可能なプロンプトチューニング
- Authors: Jiaqi Wu, Simin Chen, Yuzhe Yang, Yijiang Li, Shiyue Hou, Rui Jing, Zehua Wang, Wei Chen, Zijian Tian,
- Abstract要約: 特定のシナリオからのデータを調整した大きな言語モデル(LLM)は、プライバシリークのリスクを引き起こす。
ブラックボックス大言語モデルに対して,フェデレートされた離散的かつ転送可能なプロンプトチューニングであるFedDTPTを初めて提案する。
提案手法は,ブラックボックス設定における非IDデータに対する高い精度,通信オーバーヘッドの低減,ロバスト性を実現する。
- 参考スコア（独自算出の注目度）: 14.719919025265224
- License:
- Abstract: In recent years, large language models (LLMs) have significantly advanced the field of natural language processing (NLP). By fine-tuning LLMs with data from specific scenarios, these foundation models can better adapt to various downstream tasks. However, the fine-tuning process poses privacy leakage risks, particularly in centralized data processing scenarios. To address user privacy concerns, federated learning (FL) has been introduced to mitigate the risks associated with centralized data collection from multiple sources. Nevertheless, the privacy of LLMs themselves is equally critical, as potential malicious attacks challenge their security, an issue that has received limited attention in current research. Consequently, establishing a trusted multi-party model fine-tuning environment is essential. Additionally, the local deployment of large LLMs incurs significant storage costs and high computational demands. To address these challenges, we propose for the first time a federated discrete and transferable prompt tuning, namely FedDTPT, for black-box large language models. In the client optimization phase, we adopt a token-level discrete prompt optimization method that leverages a feedback loop based on prediction accuracy to drive gradient-free prompt optimization through the MLM API. For server optimization, we employ an attention mechanism based on semantic similarity to filter all local prompt tokens, along with an embedding distance elbow detection and DBSCAN clustering strategy to enhance the filtering process. Experimental results demonstrate that, compared to state-of-the-art methods, our approach achieves higher accuracy, reduced communication overhead, and robustness to non-iid data in a black-box setting. Moreover, the optimized prompts are transferable.
- Abstract（参考訳）: 近年,大規模言語モデル (LLM) は自然言語処理 (NLP) の分野で大きく進歩している。
特定のシナリオからのデータでLSMを微調整することで、これらの基礎モデルは様々な下流タスクに適応できる。
しかし、微調整プロセスは、特に集中的なデータ処理シナリオにおいて、プライバシー漏洩のリスクを引き起こす。
ユーザのプライバシ問題に対処するため、複数のソースから集中的なデータ収集に関連するリスクを軽減するために、フェデレーション学習(FL)が導入されている。
しかし、LLM自体のプライバシーは同様に重要であり、潜在的に悪意のある攻撃が彼らのセキュリティに挑戦する可能性がある。
したがって、信頼できるマルチパーティモデル微調整環境の確立が不可欠である。
さらに、大規模なLLMのローカル展開は、大幅なストレージコストと高い計算要求をもたらす。
これらの課題に対処するために、ブラックボックスの大規模言語モデルに対して、フェデレートされた離散的かつ転送可能なプロンプトチューニングであるFedDTPTを提案する。
クライアント最適化フェーズでは,予測精度に基づいてフィードバックループを利用するトークンレベルの離散的なプロンプト最適化手法を採用し,MLM APIを介して勾配のないプロンプト最適化を行う。
サーバ最適化には,すべての局所的なプロンプトトークンをフィルタリングする意味的類似性に基づくアテンション機構と,フィルタリングプロセスを強化するための埋め込み距離肘検出とDBSCANクラスタリング戦略を用いる。
実験の結果,提案手法は最先端の手法と比較して精度が高く,通信オーバーヘッドが低減し,非IDデータに対するブラックボックス設定の堅牢性も向上することがわかった。
さらに、最適化されたプロンプトは転送可能である。
関連論文リスト
- FedSpaLLM: Federated Pruning of Large Language Models [8.45879077052023]
大規模言語モデル(LLM)は最先端のパフォーマンスを実現するが、高い計算量とストレージ要求のためデプロイは困難である。
我々は,LLMの刈り取り専用に設計された最初のフェデレーション学習フレームワークであるFedSpaLLMを提案する。
論文 参考訳（メタデータ） (2024-10-18T20:33:12Z) - A federated large language model for long-term time series forecasting [4.696083734269233]
長距離時系列予測に適した連合型大言語モデル(LLM)であるFedTimeを提案する。
エッジデバイスやクライアントを別のクラスタに分割するために、K平均クラスタリングを採用しています。
また、チャンネルの独立性やパッチの適用により、ローカルなセマンティック情報をよりよく保存する。
論文 参考訳（メタデータ） (2024-07-30T02:38:27Z) - Robust Utility-Preserving Text Anonymization Based on Large Language Models [80.5266278002083]
テキストの匿名化は、プライバシーを維持しながら機密データを共有するために重要である。
既存の技術は、大規模言語モデルの再識別攻撃能力の新たな課題に直面している。
本稿では,3つのLCMベースコンポーネント – プライバシ評価器,ユーティリティ評価器,最適化コンポーネント – で構成されるフレームワークを提案する。
論文 参考訳（メタデータ） (2024-07-16T14:28:56Z) - Aligning Large Language Models with Self-generated Preference Data [72.99676237703099]
大規模言語モデル(LLM)と人間の嗜好との整合性を高める新しいフレームワークを提案する。
私たちのキーとなるアイデアは、小さな(種)データの中で人間の事前知識を活用することです。
本稿では,ノイズ認識型選好学習アルゴリズムを導入し,生成した選好データにおける品質低下のリスクを軽減する。
論文 参考訳（メタデータ） (2024-06-06T18:01:02Z) - Self-Augmented Preference Optimization: Off-Policy Paradigms for Language Model Alignment [104.18002641195442]
既存のペアデータを必要としない、効果的でスケーラブルなトレーニングパラダイムである自己拡張型優先度最適化(SAPO)を導入する。
負の反応を自律的に生成するセルフプレイの概念に基づいて、我々はさらに、データ探索とエクスプロイトを強化するために、非政治的な学習パイプラインを組み込む。
論文 参考訳（メタデータ） (2024-05-31T14:21:04Z) - Multi-Reference Preference Optimization for Large Language Models [56.84730239046117]
複数の参照モデルを用いた直接選好最適化のための新しいクローズドフォームの定式化を提案する。
得られたアルゴリズムであるMulti-Reference Preference Optimization (MRPO)は、様々な参照モデルからより広範な事前知識を活用する。
MRPOを微調整したLLMは,データ不足や多量性に関わらず,様々な嗜好データにおいてより一般化されていることを示す。
論文 参考訳（メタデータ） (2024-05-26T00:29:04Z) - Federated Full-Parameter Tuning of Billion-Sized Language Models with Communication Cost under 18 Kilobytes [53.4856038354195]
事前訓練された大規模言語モデル(LLM)は、自然言語命令に対する応答性を改善するために微調整が必要である。
FedKSeedは、ランダムシードの有限セットによるゼロ階最適化を採用している。
サーバとクライアント間の通信要求を大幅に減らし、ランダムなシードをわずかに減らします。
論文 参考訳（メタデータ） (2023-12-11T13:03:21Z) - FedBPT: Efficient Federated Black-box Prompt Tuning for Large Language
Models [22.29061931122386]
プレトレーニング言語モデル (PLM) はNLPのランドスケープに革命をもたらし、様々なタスクで星間パフォーマンスを実現している。
本稿では,これらの課題に対処するためのフレームワークであるFederated Black-box Prompt Tuning(FedBPT)を紹介する。
論文 参考訳（メタデータ） (2023-10-02T16:43:14Z) - FederatedScope-LLM: A Comprehensive Package for Fine-tuning Large
Language Models in Federated Learning [70.38817963253034]
本稿では, ファインチューニング LLM のこれらの課題について論じ, 本パッケージ FS-LLM を主な貢献として紹介する。
我々は、FLシナリオにおける将来の拡張のために、包括的フェデレーションパラメータ効率の良い微調整アルゴリズムの実装と汎用プログラミングインタフェースを提供する。
本研究では, FS-LLM の有効性を検証し, FL 設定におけるパラメータ効率の高いパラメータ調整アルゴリズムを用いて, 高度な LLM のベンチマークを行う。
論文 参考訳（メタデータ） (2023-09-01T09:40:36Z) - Mixture of Soft Prompts for Controllable Data Generation [21.84489422361048]
直接予測ではなく,データ拡張のためのツールとして,ソフトプロンプトの混合(MSP)を提案する。
提案手法は, 強いベースラインと比較した場合の3つのベンチマークに対して, 最先端の結果を得る。
論文 参考訳（メタデータ） (2023-03-02T21:13:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。