論文の概要: Privacy-Preserving Prompt Tuning for Large Language Model Services

• arxiv url: http://arxiv.org/abs/2305.06212v1
• Date: Wed, 10 May 2023 14:41:51 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-11 12:31:52.673883
• Title: Privacy-Preserving Prompt Tuning for Large Language Model Services
• Title（参考訳）: 大規模言語モデルサービスのためのプライバシ保護プロンプトチューニング
• Authors: Yansong Li, Zhixing Tan and Yang Liu
• Abstract要約: 本稿では,LLM(Large Language Models)サービスのプライバシ保証を提供するフレームワークを提案する。 textscraptはローカルのプライバシー設定を採用しており、ユーザーはローカルの差分プライバシーでデータを民営化することができる。 フレームワークの単純さにもかかわらず、RAPTは敵に対するプライバシー保証を提供しながら、タスク間での競合的なパフォーマンスを実現している。
• 参考スコア（独自算出の注目度）: 16.589104544849743
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Prompt tuning provides an efficient way for users to customize Large Language Models (LLMs) with their private data in the emerging LLM service scenario. However, the sensitive nature of private data brings the need for privacy preservation in LLM service customization. Based on prompt tuning, we propose Privacy-Preserving Prompt Tuning (RAPT), a framework that provides privacy guarantees for LLM services. \textsc{rapt} adopts a local privacy setting, allowing users to privatize their data locally with local differential privacy. As prompt tuning performs poorly when directly trained on privatized data, we introduce a novel privatized token reconstruction task that is trained jointly with the downstream task, allowing LLMs to learn better task-dependent representations. Despite the simplicity of our framework, experiments show that RAPT achieves competitive performance across tasks while providing privacy guarantees against adversaries.
• Abstract（参考訳）: プロンプトチューニングは、ユーザが新たなLLMサービスシナリオでプライベートデータでLLM(Large Language Models)をカスタマイズする効率的な方法を提供する。 しかし、プライベートデータの繊細な性質は、LLMサービスのカスタマイズにおけるプライバシー保護の必要性をもたらす。 即時チューニングに基づいて,LLMサービスのプライバシ保証を提供するフレームワークであるプライバシ保護プロンプトチューニング(RAPT)を提案する。 \textsc{rapt}はローカルのプライバシー設定を採用しており、ユーザーはローカルの差分プライバシーでデータをプライベートにすることができる。 民営化データを直接訓練すると、プロンプトチューニングが不十分になるため、下流タスクと共同で訓練された新しい民営化トークン再構築タスクを導入し、LCMがタスク依存表現をより良く学習できるようにする。 フレームワークの単純さにもかかわらず、RAPTは敵に対するプライバシー保証を提供しながら、タスク間での競合性能を実現する。

関連論文リスト

• KnowledgeSG: Privacy-Preserving Synthetic Text Generation with Knowledge Distillation from Server [48.04903443425111]
  大規模言語モデル (LLM) は、多くの当事者が自身のプライベートデータでLPMを微調整できるようにする。 置換のために合成データを利用するような既存のソリューションは、同時にパフォーマンスを改善し、プライバシを保存するのに苦労している。 我々は、合成データ品質を高め、プライバシを確保しつつモデル性能を向上させる新しいクライアントサーバフレームワークであるKnowledgeSGを提案する。
  論文  参考訳（メタデータ） (2024-10-08T06:42:28Z)
• Mind the Privacy Unit! User-Level Differential Privacy for Language Model Fine-Tuning [62.224804688233]
  差分プライバシ(DP)は、モデルが特定のプライバシユニットで「ほとんど区別できない」ことを保証することで、有望なソリューションを提供する。 ユーザ間でのプライバシー保護の確保に必要なアプリケーションによって動機づけられたユーザレベルのDPについて検討する。
  論文  参考訳（メタデータ） (2024-06-20T13:54:32Z)
• PFID: Privacy First Inference Delegation Framework for LLMs [34.59282305562392]
  本稿では,LPMのためのPFIDという新しいプライバシ保護フレームワークを提案する。 モデルのシャーディングと特異値分解を通じてユーザデータをローカライズすることで、重要なプライバシー上の懸念に対処する。
  論文  参考訳（メタデータ） (2024-06-18T03:27:09Z)
• Privacy-Enhanced Database Synthesis for Benchmark Publishing [16.807486872855534]
  差分プライバシーは、データ共有時のプライバシ保護の鍵となる方法となっているが、主に集約クエリや分類タスクにおけるエラーの最小化に焦点が当てられている。 本稿では,特にベンチマークのためのプライバシ保護データベースの作成について述べる。 PrivBenchは、データ分割とサンプリングにSPN(Sum-product Network)を使用して、プライバシを確保しながらデータ表現を強化する。
  論文  参考訳（メタデータ） (2024-05-02T14:20:24Z)
• DP-OPT: Make Large Language Model Your Privacy-Preserving Prompt Engineer [57.04801796205638]
  大きな言語モデル(LLM)は、様々なタスクのための支配的なツールとして現れています。 しかし、データプライバシに関する懸念は、調整されたプロンプトが機密情報に依存しているため、障害となる。 本稿では,DP-OPT(Dis Differentially-Private Offsite Prompt Tuning)を提案する。
  論文  参考訳（メタデータ） (2023-11-27T02:01:10Z)
• PrivacyMind: Large Language Models Can Be Contextual Privacy Protection Learners [81.571305826793]
  コンテキストプライバシ保護言語モデル(PrivacyMind)を紹介する。 我々の研究はモデル設計に関する理論的分析を提供し、様々な手法をベンチマークする。 特に、肯定的な例と否定的な例の両方による命令チューニングは、有望な方法である。
  論文  参考訳（メタデータ） (2023-10-03T22:37:01Z)
• Hide and Seek (HaS): A Lightweight Framework for Prompt Privacy Protection [6.201275002179716]
  本稿では,H(ide)" と "S(eek)" の2つのコアプロセスとして,匿名化のためのプライベートエンティティの隠蔽と非匿名化のためのプライベートエンティティの検索を行うHaSフレームワークを紹介する。 本研究では,HaSのプライバシー保護性能を定量的に評価するために,ブラックボックスモデルとホワイトボックスモデルの両方を提案する。
  論文  参考訳（メタデータ） (2023-09-06T14:54:11Z)
• Private Reinforcement Learning with PAC and Regret Guarantees [69.4202374491817]
  エピソード強化学習(RL)のためのプライバシー保護探索ポリシーを設計する。 まず、共同微分プライバシー(JDP)の概念を用いた有意義なプライバシー定式化を提供する。 そこで我々は,強いPACと後悔境界を同時に達成し,JDP保証を享受する,プライベートな楽観主義に基づく学習アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2020-09-18T20:18:35Z)
• PGLP: Customizable and Rigorous Location Privacy through Policy Graph [68.3736286350014]
  我々はPGLPと呼ばれる新しい位置プライバシーの概念を提案し、カスタマイズ可能で厳格なプライバシー保証を備えたプライベートロケーションをリリースするためのリッチなインターフェースを提供する。 具体的には,ユーザの位置プライバシー要件を,表現的かつカスタマイズ可能なテキスト配置ポリシーグラフを用いて形式化する。 第3に、位置露光の検出、ポリシーグラフの修復、およびカスタマイズ可能な厳格な位置プライバシーを備えたプライベートな軌跡リリースをパイプライン化する、プライベートな位置トレースリリースフレームワークを設計する。
  論文  参考訳（メタデータ） (2020-05-04T04:25:59Z)
• PrivEdge: From Local to Distributed Private Training and Prediction [43.02041269239928]
  PrivEdgeはプライバシ保護機械学習(ML)のためのテクニック PrivEdgeは、トレーニングのためにデータを提供するユーザのプライバシと、予測サービスを使用するユーザのプライバシを保護する。 PrivEdgeは、プライバシの保存や、プライベートイメージと非プライベートイメージの区別において、高い精度とリコールを持っていることを示す。
  論文  参考訳（メタデータ） (2020-04-12T09:26:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。