論文の概要: A Split-and-Privatize Framework for Large Language Model Fine-Tuning

• arxiv url: http://arxiv.org/abs/2312.15603v1
• Date: Mon, 25 Dec 2023 03:53:33 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-27 17:30:24.284163
• Title: A Split-and-Privatize Framework for Large Language Model Fine-Tuning
• Title（参考訳）: 大規模言語モデルファインチューニングのための分割合成フレームワーク
• Authors: Xicong Shen, Yang Liu, Huiqi Liu, Jue Hong, Bing Duan, Zirui Huang, Yunlong Mao, Ye Wu, Di Wu
• Abstract要約: パラメータ効率の良い微調整では、下流のデータセットでトレーニングされるのは、少数のモジュールのみである。 本研究では,既存の分割学習アーキテクチャを適応させることで,プライバシ問題を緩和するSAP(Split-and-Privatize)フレームワークを提案する。 その結果,1%モデルの性能劣化を犠牲にして,経験的プライバシを62%向上させることができることがわかった。
• 参考スコア（独自算出の注目度）: 7.399324195843467
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Fine-tuning is a prominent technique to adapt a pre-trained language model to downstream scenarios. In parameter-efficient fine-tuning, only a small subset of modules are trained over the downstream datasets, while leaving the rest of the pre-trained model frozen to save computation resources. In recent years, a popular productization form arises as Model-as-a-Service (MaaS), in which vendors provide abundant pre-trained language models, server resources and core functions, and customers can fine-tune, deploy and invoke their customized model by accessing the one-stop MaaS with their own private dataset. In this paper, we identify the model and data privacy leakage risks in MaaS fine-tuning, and propose a Split-and-Privatize (SAP) framework, which manage to mitigate the privacy issues by adapting the existing split learning architecture. The proposed SAP framework is sufficiently investigated by experiments, and the results indicate that it can enhance the empirical privacy by 62% at the cost of 1% model performance degradation on the Stanford Sentiment Treebank dataset.
• Abstract（参考訳）: ファインチューニングは、トレーニング済みの言語モデルを下流のシナリオに適応するための重要なテクニックである。 パラメータ効率の細かいチューニングでは、下流のデータセット上で少数のモジュールだけがトレーニングされ、残りのトレーニング済みモデルを凍結して計算リソースを節約する。 近年、MaaS(Model-as-a-Service)として一般的な製品化形式が登場し、ベンダーは豊富なトレーニング済み言語モデル、サーバリソース、コア関数を提供し、顧客は独自のプライベートデータセットでワンストップMaaSにアクセスすることで、カスタマイズされたモデルを微調整、デプロイ、実行することができる。 本稿では、MaaSの微調整におけるモデルとデータプライバシ漏洩リスクを特定し、既存の分割学習アーキテクチャを適用してプライバシー問題を緩和するSplit-and-Privatize(SAP)フレームワークを提案する。 提案するSAPフレームワークは,実験によって十分に検討されており,Stanford Sentiment Treebankデータセットのモデルパフォーマンス劣化の1%を犠牲にして,経験的プライバシを62%向上させることができる。

関連論文リスト

• FedSpaLLM: Federated Pruning of Large Language Models [8.45879077052023]
  大規模言語モデル(LLM)は最先端のパフォーマンスを実現するが、高い計算量とストレージ要求のためデプロイは困難である。 我々は,LLMの刈り取り専用に設計された最初のフェデレーション学習フレームワークであるFedSpaLLMを提案する。
  論文  参考訳（メタデータ） (2024-10-18T20:33:12Z)
• Data Shapley in One Training Run [88.59484417202454]
  Data Shapleyは、機械学習コンテキストにおけるデータのコントリビューションに寄与するための、原則化されたフレームワークを提供する。 既存のアプローチでは、計算集約的な異なるデータサブセット上の再学習モデルが必要である。 本稿では、対象とするデータモデルに対するスケーラブルなデータ属性を提供することにより、これらの制限に対処するIn-Run Data Shapleyを紹介する。
  論文  参考訳（メタデータ） (2024-06-16T17:09:24Z)
• OpenELM: An Efficient Language Model Family with Open Training and Inference Framework [26.741510071520658]
  私たちは最先端のオープン言語モデルであるOpenELMをリリースします。 パラメータ予算は約10億のパラメータで、OpenELMはOLMoに比べて精度が2.36%向上している。
  論文  参考訳（メタデータ） (2024-04-22T23:12:03Z)
• Adapting Large Language Models for Content Moderation: Pitfalls in Data Engineering and Supervised Fine-tuning [79.53130089003986]
  大規模言語モデル(LLM)は、様々なドメインでタスクを処理するための実現可能なソリューションとなっている。 本稿では、コンテンツモデレーションのためにプライベートにデプロイ可能なLLMモデルを微調整する方法を紹介する。
  論文  参考訳（メタデータ） (2023-10-05T09:09:44Z)
• "Medium" LMs of Code in the Era of LLMs: Lessons From StackOverflow [5.036273913335737]
  SOBertBase、109Mパラメータを持つSOBertBaseと、762Mパラメータを持つSOBertLargeの2つのモデルを、それぞれ$187$と$800$の予算でトレーニングします。 その結果、ドメイン内データを広範囲かつ適切に事前学習することで、クローズドソース汎用モデルを活用するための、強力で安価な代替手段が得られることが示された。
  論文  参考訳（メタデータ） (2023-06-05T21:38:30Z)
• Selective Pre-training for Private Fine-tuning [33.55628974557588]
  パブリックデータセットでの注意深い事前トレーニングは、小さな言語モデルを異なるプライバシでトレーニングするために不可欠であることを示す。 その結果、より小さなモデルでは、注意深い事前トレーニングとプライベートな微調整によって、プライベートデータにアクセスできないはるかに大きなモデルの性能にマッチすることを示した。
  論文  参考訳（メタデータ） (2023-05-23T09:36:58Z)
• Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
  微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。 これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。 パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
  論文  参考訳（メタデータ） (2022-12-19T20:46:43Z)
• DSEE: Dually Sparsity-embedded Efficient Tuning of Pre-trained Language Models [152.29364079385635]
  事前訓練されたモデルが大きくなればなるほど、微調整のプロセスは時間がかかり、計算コストがかかる可能性がある。 本稿では,重み更新と最終モデルの重み付けに先立って,疎度を活用することで,資源・パラメータ効率の微調整を行うフレームワークを提案する。 提案するフレームワークは,Dually Sparsity-Embeded Efficient Tuning (DSEE)と呼ばれ,パラメータ効率のよい微調整とリソース効率の推論という2つの重要な目標を達成することを目的としている。
  論文  参考訳（メタデータ） (2021-10-30T03:29:47Z)
• bert2BERT: Towards Reusable Pretrained Language Models [51.078081486422896]
  本稿では,既存のより小さな事前学習モデルの知識を大規模モデルに効果的に伝達できるbert2BERTを提案する。 bert2BERTは、ほぼ半分の大きさのモデルを再利用することで、BERT_BASEとGPT_BASEの事前トレーニングに約45%と47%の計算コストを節約する。
  論文  参考訳（メタデータ） (2021-10-14T04:05:25Z)
• Data Summarization via Bilevel Optimization [48.89977988203108]
  シンプルだが強力なアプローチは、小さなサブセットのデータを操作することだ。 本研究では,コアセット選択を基数制約付き双レベル最適化問題として定式化する汎用コアセットフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-26T09:08:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。