論文の概要: Flocks of Stochastic Parrots: Differentially Private Prompt Learning for Large Language Models

• arxiv url: http://arxiv.org/abs/2305.15594v1
• Date: Wed, 24 May 2023 22:06:08 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-26 18:21:46.398895
• Title: Flocks of Stochastic Parrots: Differentially Private Prompt Learning for Large Language Models
• Title（参考訳）: 確率的オウムの群れ:大規模言語モデルのための微分プライベート・プロンプト学習
• Authors: Haonan Duan, Adam Dziedzic, Nicolas Papernot, Franziska Boenisch
• Abstract要約: 我々は、大規模言語モデルを促進するために使用されるデータに対して、単純だが非常に効果的なメンバーシップ推論攻撃をインスタンス化する。 当社のプロンプトベースのアプローチは,既存の商用APIで容易にデプロイ可能であることを示す。
• 参考スコア（独自算出の注目度）: 26.969641494649267
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) are excellent in-context learners. However, the sensitivity of data contained in prompts raises privacy concerns. Our work first shows that these concerns are valid: we instantiate a simple but highly effective membership inference attack against the data used to prompt LLMs. To address this vulnerability, one could forego prompting and resort to fine-tuning LLMs with known algorithms for private gradient descent. However, this comes at the expense of the practicality and efficiency offered by prompting. Therefore, we propose to privately learn to prompt. We first show that soft prompts can be obtained privately through gradient descent on downstream data. However, this is not the case for discrete prompts. Thus, we orchestrate a noisy vote among an ensemble of LLMs presented with different prompts, i.e., a flock of stochastic parrots. The vote privately transfers the flock's knowledge into a single public prompt. We show that LLMs prompted with our private algorithms closely match the non-private baselines. For example, using GPT3 as the base model, we achieve a downstream accuracy of 92.7% on the sst2 dataset with ($\epsilon=0.147, \delta=10^{-6}$)-differential privacy vs. 95.2% for the non-private baseline. Through our experiments, we also show that our prompt-based approach is easily deployed with existing commercial APIs.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、文脈内での学習に優れる。 しかし、プロンプトに含まれるデータの感度はプライバシーの懸念を引き起こす。 我々は、llmを促すために使用されるデータに対して、単純だが非常に効果的なメンバーシップ推論攻撃をインスタンス化する。 この脆弱性に対処するために、プライベート勾配降下のための既知のアルゴリズムによる微調整 LLM の推進と活用を先導することができる。 しかし、これはプロンプトによって提供される実用性と効率を犠牲にしている。 そこで我々は,私的にプロンプトを学ぶことを提案する。 まず,下流データへの勾配降下により,ソフトプロンプトをプライベートに得ることを示す。 しかし、これは離散的なプロンプトには当てはまらない。 そこで我々は,異なるプロンプト,すなわち確率的オウムの群れを提示するllmのアンサンブルの中で,ノイズの多い投票を編成する。 この投票は私的に群れの知識を1つの公的なプロンプトに移す。 LLMが私たちのプライベートアルゴリズムによって引き起こされたことは、プライベートでないベースラインと密接に一致している。 例えば、GPT3をベースモデルとして使用すると、sst2データセットのダウンストリーム精度は92.7%に達し(\epsilon=0.147, \delta=10^{-6}$)、非プライベートベースラインでは95.2%である。 実験を通じて、我々のプロンプトベースのアプローチは、既存の商用APIで容易にデプロイできることを示す。

関連論文リスト

• Differentially Private Knowledge Distillation via Synthetic Text Generation [5.201318326501886]
  本研究では,差分プライベートな知識蒸留アルゴリズムであるDistilDPを提案する。 DistilDPは、差分的にプライベートなLLMによって生成された合成データを利用する。 実験の結果, DistilDPは既存のベースラインよりも実用性を大幅に向上できることがわかった。
  論文  参考訳（メタデータ） (2024-03-01T19:22:24Z)
• ConfusionPrompt: Practical Private Inference for Online Large Language Models [3.8134804426693094]
  最先端の大規模言語モデル(LLM)は一般的にオンラインサービスとしてデプロイされ、ユーザーはクラウドサーバーに詳細なプロンプトを送信する必要がある。 我々は,従来のプロンプトを小さなサブプロンプトに分解することで,ユーザのプライバシを保護する,プライベートLLM推論のための新しいフレームワークであるConfusionPromptを紹介する。 コンフュージョンプロンプトは,オープンソースモデルと摂動に基づく手法を用いて,局所的推論手法よりもはるかに高い実用性を実現することを示す。
  論文  参考訳（メタデータ） (2023-12-30T01:26:42Z)
• DP-OPT: Make Large Language Model Your Privacy-Preserving Prompt Engineer [57.04801796205638]
  大きな言語モデル(LLM)は、様々なタスクのための支配的なツールとして現れています。 しかし、データプライバシに関する懸念は、調整されたプロンプトが機密情報に依存しているため、障害となる。 本稿では,DP-OPT(Dis Differentially-Private Offsite Prompt Tuning)を提案する。
  論文  参考訳（メタデータ） (2023-11-27T02:01:10Z)
• Can LLMs Keep a Secret? Testing Privacy Implications of Language Models via Contextual Integrity Theory [82.7042006247124]
  私たちは、最も有能なAIモデルでさえ、人間がそれぞれ39%と57%の確率で、プライベートな情報を公開していることを示しています。 我々の研究は、推論と心の理論に基づいて、新しい推論時プライバシー保護アプローチを即時に探求する必要性を浮き彫りにしている。
  論文  参考訳（メタデータ） (2023-10-27T04:15:30Z)
• Privacy Implications of Retrieval-Based Language Models [26.87950501433784]
  本稿では,検索に基づくLM,特に$k$NN-LMにおけるプライバシリスクに関する最初の研究について述べる。 パラメトリックモデルよりも、$k$NN-LMsの方がプライベートデータストアから個人情報をリークする可能性が高いことがわかりました。
  論文  参考訳（メタデータ） (2023-05-24T08:37:27Z)
• Guiding Large Language Models via Directional Stimulus Prompting [114.84930073977672]
  我々は,特定の所望の出力に対して,ブラックボックス大言語モデル(LLM)を導くための新しいフレームワークであるDirectional Stimulus Promptingを紹介する。 LLMを直接調整するのではなく、小さな調整可能なポリシーモデルを用いて各入力インスタンスに対して補助的な指向性刺激プロンプトを生成する。
  論文  参考訳（メタデータ） (2023-02-22T17:44:15Z)
• Toward Human Readable Prompt Tuning: Kubrick's The Shining is a good movie, and a good prompt too? [84.91689960190054]
  大規模言語モデルは、自然言語のプロンプトが与えられた場合、ゼロショットで新しいタスクを実行することができる。 特にプロンプトが自然言語である場合、どの要因がプロンプトを効果的にするかは明らかにされていない。
  論文  参考訳（メタデータ） (2022-12-20T18:47:13Z)
• Self-Prompting Large Language Models for Zero-Shot Open-Domain QA [67.08732962244301]
  Open-Domain Question Answering (ODQA)は、背景文書を明示的に提供せずに質問に答えることを目的としている。 このタスクは、調整済みの検索リーダーモデルをトレーニングするデータがないゼロショット設定で顕著に困難になる。 本稿では,大規模言語モデルのパラメータに符号化された膨大な知識を明示的に活用するセルフプロンプトフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-12-16T18:23:43Z)
• Individual Privacy Accounting for Differentially Private Stochastic Gradient Descent [69.14164921515949]
  DP-SGDで訓練されたモデルをリリースする際の個々の事例に対するプライバシー保証を特徴付ける。 ほとんどの例では、最悪のケースよりも強力なプライバシー保証を享受しています。 これは、モデルユーティリティの観点からは守られないグループが同時に、より弱いプライバシー保証を経験することを意味する。
  論文  参考訳（メタデータ） (2022-06-06T13:49:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。