論文の概要: DP-OPT: Make Large Language Model Your Privacy-Preserving Prompt Engineer

• arxiv url: http://arxiv.org/abs/2312.03724v1
• Date: Mon, 27 Nov 2023 02:01:10 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-11 03:06:19.386001
• Title: DP-OPT: Make Large Language Model Your Privacy-Preserving Prompt Engineer
• Title（参考訳）: DP-OPT:大きな言語モデルをプライバシ保護のプロンプトエンジニアに
• Authors: Junyuan Hong, Jiachen T. Wang, Chenhui Zhang, Zhangheng Li, Bo Li, Zhangyang Wang
• Abstract要約: 大きな言語モデル(LLM)は、様々なタスクのための支配的なツールとして現れています。 しかし、データプライバシに関する懸念は、調整されたプロンプトが機密情報に依存しているため、障害となる。 本稿では,DP-OPT(Dis Differentially-Private Offsite Prompt Tuning)を提案する。
• 参考スコア（独自算出の注目度）: 60.44898240755332
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) have emerged as dominant tools for various tasks, particularly when tailored for a specific target by prompt tuning. Nevertheless, concerns surrounding data privacy present obstacles due to the tuned prompts' dependency on sensitive private information. A practical solution is to host a local LLM and optimize a soft prompt privately using data. Yet, hosting a local model becomes problematic when model ownership is protected. Alternative methods, like sending data to the model's provider for training, intensify these privacy issues facing an untrusted provider. In this paper, we present a novel solution called Differentially-Private Offsite Prompt Tuning (DP-OPT) to address this challenge. Our approach involves tuning a discrete prompt on the client side and then applying it to the desired cloud models. We demonstrate that prompts suggested by LLMs themselves can be transferred without compromising performance significantly. To ensure that the prompts do not leak private information, we introduce the first private prompt generation mechanism, by a differentially-private (DP) ensemble of in-context learning with private demonstrations. With DP-OPT, generating privacy-preserving prompts by Vicuna-7b can yield competitive performance compared to non-private in-context learning on GPT3.5 or local private prompt tuning. Codes are available at https://github.com/VITA-Group/DP-OPT .
• Abstract（参考訳）: 大規模言語モデル(LLM)は、特に迅速なチューニングによって特定のターゲットに合わせて調整された場合、様々なタスクの主要なツールとして登場した。 それにもかかわらず、データプライバシに関する懸念は、調整されたプロンプトが機密情報に依存することによる障害をもたらす。 実用的な解決策は、ローカルllmをホストし、データをプライベートに使用するソフトプロンプトを最適化することだ。 しかし、モデルオーナシップが保護されると、ローカルモデルのホスティングが問題となる。 トレーニングのためにモデルのプロバイダにデータを送信するような代替手段は、信頼できないプロバイダが直面するこれらのプライバシの問題を強化する。 本稿では,DP-OPT(differially-Private Offsite Prompt Tuning)と呼ばれる新しい手法を提案する。 私たちのアプローチでは、クライアント側で個別のプロンプトをチューニングし、望ましいクラウドモデルに適用します。 LLM自体が提案するプロンプトは性能を著しく損なうことなく転送可能であることを示す。 プロンプトが個人情報を漏らさないことを保証するため,プライベートデモによるコンテキスト内学習の差分プライベート(dp)アンサンブルによる,最初のプライベートプロンプト生成機構を導入する。 DP-OPTでは、Vicuna-7bによるプライバシ保護プロンプトの生成は、GPT3.5やローカルプライベートプロンプトチューニングの非プライベートなインコンテキスト学習と比較して、競合的なパフォーマンスが得られる。 コードはhttps://github.com/VITA-Group/DP-OPT で公開されている。

関連論文リスト

• Masked Differential Privacy [64.32494202656801]
  本稿では,差分プライバシーを適用した機密領域を制御できる「マスク型差分プライバシー(DP)」という効果的なアプローチを提案する。 提案手法はデータに基づいて選択的に動作し,DPアプリケーションや差分プライバシーをデータサンプル内の他のプライバシー技術と組み合わせることなく,非感性時間領域を定義できる。
  論文  参考訳（メタデータ） (2024-10-22T15:22:53Z)
• Mind the Privacy Unit! User-Level Differential Privacy for Language Model Fine-Tuning [62.224804688233]
  差分プライバシ(DP)は、モデルが特定のプライバシユニットで「ほとんど区別できない」ことを保証することで、有望なソリューションを提供する。 ユーザ間でのプライバシー保護の確保に必要なアプリケーションによって動機づけられたユーザレベルのDPについて検討する。
  論文  参考訳（メタデータ） (2024-06-20T13:54:32Z)
• ConfusionPrompt: Practical Private Inference for Online Large Language Models [3.8134804426693094]
  最先端の大規模言語モデル(LLM)は一般的にオンラインサービスとしてデプロイされ、ユーザーはクラウドサーバーに詳細なプロンプトを送信する必要がある。 我々は,従来のプロンプトを小さなサブプロンプトに分解することで,ユーザのプライバシを保護する,プライベートLLM推論のための新しいフレームワークであるConfusionPromptを紹介する。 コンフュージョンプロンプトは,オープンソースモデルと摂動に基づく手法を用いて,局所的推論手法よりもはるかに高い実用性を実現することを示す。
  論文  参考訳（メタデータ） (2023-12-30T01:26:42Z)
• PrivacyMind: Large Language Models Can Be Contextual Privacy Protection Learners [81.571305826793]
  コンテキストプライバシ保護言語モデル(PrivacyMind)を紹介する。 我々の研究はモデル設計に関する理論的分析を提供し、様々な手法をベンチマークする。 特に、肯定的な例と否定的な例の両方による命令チューニングは、有望な方法である。
  論文  参考訳（メタデータ） (2023-10-03T22:37:01Z)
• Can Language Models be Instructed to Protect Personal Information? [30.187731765653428]
  シミュレーションシナリオにおいて、モデルが特定の個人情報のカテゴリを保護するように指示されたとき、プライバシ/ユーティリティトレードオフを評価するためのベンチマークであるPrivQAを紹介します。 我々は,テキストや画像入力による単純なジェイルブレイク手法により,敵が容易にこれらの保護を回避できることを見出した。 PrivQAは、プライバシー保護を改善した新しいモデルの開発と、これらの保護の敵意的な堅牢性をサポートする可能性があると考えています。
  論文  参考訳（メタデータ） (2023-10-03T17:30:33Z)
• Privacy-Preserving Prompt Tuning for Large Language Model Services [16.589104544849743]
  本稿では,LLM(Large Language Models)サービスのプライバシ保証を提供するフレームワークを提案する。 textscraptはローカルのプライバシー設定を採用しており、ユーザーはローカルの差分プライバシーでデータを民営化することができる。 フレームワークの単純さにもかかわらず、RAPTは敵に対するプライバシー保証を提供しながら、タスク間での競合的なパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2023-05-10T14:41:51Z)
• Just Fine-tune Twice: Selective Differential Privacy for Large Language Models [69.66654761324702]
  本稿では,大規模なトランスフォーマーベース言語モデルのためのSDPを実現するための,シンプルで効果的なジャストファイントゥンツースプライバシ機構を提案する。 実験により, カナリア挿入攻撃に対して頑健でありながら, 高い性能が得られた。
  論文  参考訳（メタデータ） (2022-04-15T22:36:55Z)
• Don't Generate Me: Training Differentially Private Generative Models with Sinkhorn Divergence [73.14373832423156]
  そこで我々はDP-Sinkhornを提案する。DP-Sinkhornは個人データからデータ分布を差分プライバシで学習するための新しいトランスポートベース生成手法である。 差分的にプライベートな生成モデルを訓練するための既存のアプローチとは異なり、我々は敵の目的に頼らない。
  論文  参考訳（メタデータ） (2021-11-01T18:10:21Z)
• Selective Differential Privacy for Language Modeling [36.64464956102432]
  これまでの研究は、RNNベースの言語モデルを異なるプライバシ保証でトレーニングすることで、この問題に対処しようとしてきた。 我々は、データの機密部分に対して厳密なプライバシー保証を提供するために、新しいプライバシー概念、選択的差分プライバシーを提案する。 言語モデリングとダイアログシステム構築の実験は、提案したプライバシー保護機構がより良いユーティリティを実現することを示す。
  論文  参考訳（メタデータ） (2021-08-30T01:11:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。