論文の概要: ProPILE: Probing Privacy Leakage in Large Language Models
- arxiv url: http://arxiv.org/abs/2307.01881v1
- Date: Tue, 4 Jul 2023 18:53:47 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-06 16:02:15.428661
- Title: ProPILE: Probing Privacy Leakage in Large Language Models
- Title(参考訳): propile: 大規模言語モデルにおけるプライバシリークの調査
- Authors: Siwon Kim, Sangdoo Yun, Hwaran Lee, Martin Gubri, Sungroh Yoon, Seong
Joon Oh
- Abstract要約: 大規模言語モデル(LLM)は、しばしば大量のWebコンパイルデータに基づいて訓練される。
本稿では,PII リークの可能性を意識して,データ被写体や PII の所有者を支援する新しい探索ツールである ProPILE について述べる。
- 参考スコア(独自算出の注目度): 38.92840523665835
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: The rapid advancement and widespread use of large language models (LLMs) have
raised significant concerns regarding the potential leakage of personally
identifiable information (PII). These models are often trained on vast
quantities of web-collected data, which may inadvertently include sensitive
personal data. This paper presents ProPILE, a novel probing tool designed to
empower data subjects, or the owners of the PII, with awareness of potential
PII leakage in LLM-based services. ProPILE lets data subjects formulate prompts
based on their own PII to evaluate the level of privacy intrusion in LLMs. We
demonstrate its application on the OPT-1.3B model trained on the publicly
available Pile dataset. We show how hypothetical data subjects may assess the
likelihood of their PII being included in the Pile dataset being revealed.
ProPILE can also be leveraged by LLM service providers to effectively evaluate
their own levels of PII leakage with more powerful prompts specifically tuned
for their in-house models. This tool represents a pioneering step towards
empowering the data subjects for their awareness and control over their own
data on the web.
- Abstract(参考訳): 大規模言語モデル(llm)の急速な発展と普及は、個人識別情報(pii)の漏洩の可能性に関する重大な懸念を提起した。
これらのモデルは、大量のWeb収集データに基づいてトレーニングされることが多い。
本稿では,PLM ベースのサービスにおける PII リークの可能性を意識した,データ主体,あるいは PII の所有者を支援するための新しい探索ツールである ProPILE を提案する。
ProPILEは、データ被験者が自身のPIIに基づいてプロンプトを定式化し、LSMのプライバシー侵害のレベルを評価する。
公開されているPileデータセットに基づいてトレーニングされたOPT-1.3Bモデルにその応用を実演する。
そこで本研究では,Pileデータセットに含まれるPIIの可能性を仮説データで評価する。
ProPILEはLLMサービスプロバイダによって、社内モデル用に特別に調整されたより強力なプロンプトで、自身のPIIリークレベルを効果的に評価するために利用することもできる。
このツールは、Web上の自分のデータに対する認識とコントロールのために、データ主体に力を与えるための先駆的なステップである。
関連論文リスト
- P-Bench: A Multi-level Privacy Evaluation Benchmark for Language Models [41.86590537265852]
言語モデル(LM)のプライバシー漏洩を経験的かつ直感的に定量化するベンチマークであるP-Benchを提案する。
DPパラメータで保護されたデータのプライバシを保護し、測定する代わりに、P-Benchは実際の使用中に無視された推論データのプライバシに光を当てる。
P-Benchは、実証的な評価結果として、予め定義されたプライバシー目標を持つLMに対する既存のプライバシ攻撃を実行する。
論文 参考訳(メタデータ) (2023-11-07T14:55:52Z) - The Janus Interface: How Fine-Tuning in Large Language Models Amplifies
the Privacy Risks [18.04249592281006]
本稿では,この問題に対する最初の解決策,特にJanus 攻撃と呼ばれる新たな LLM 攻撃経路の発見について報告する。
以上の結果より, GPT-3.5 などの LLM が不透過性からPII 抽出に移行できることが示唆された。
本研究は,LLMユーティリティとプライバシ保護との間の複雑な相互作用をナビゲートする上での必須事項であることを示す。
論文 参考訳(メタデータ) (2023-10-24T02:48:19Z) - Assessing Privacy Risks in Language Models: A Case Study on
Summarization Tasks [65.21536453075275]
我々は要約作業に焦点をあて、会員推測(MI)攻撃について調査する。
テキストの類似性や文書修正に対するモデルの抵抗をMI信号として活用する。
我々は、MI攻撃から保護するための要約モデルの訓練と、プライバシとユーティリティの本質的にのトレードオフについて議論する。
論文 参考訳(メタデータ) (2023-10-20T05:44:39Z) - Large Language Models Can Be Good Privacy Protection Learners [53.07930843882592]
本稿では,プライバシ保護言語モデル(PPLM)を紹介する。
本研究は, コーパスキュレーション, ペナルティに基づくトレーニング損失の相違, 命令に基づくチューニングなど, モデル設計の理論的解析を行う。
特に、肯定的な例と否定的な例の両方による命令チューニングは、モデルの知識を高めながら、個人データを効果的に保護する、有望な方法として際立っている。
論文 参考訳(メタデータ) (2023-10-03T22:37:01Z) - WASA: WAtermark-based Source Attribution for Large Language
Model-Generated Data [60.759755177369364]
大言語モデル(LLM)は、ソースに関する情報を含む埋め込み透かしを持つ合成テキストを生成する。
本稿では,我々のアルゴリズム設計により鍵特性を満たすWAtermarking for Source Attribution (WASA)フレームワークを提案する。
我々のフレームワークは、効果的な情報源の属性とデータの出所を達成します。
論文 参考訳(メタデータ) (2023-10-01T12:02:57Z) - Quantifying Association Capabilities of Large Language Models and Its
Implications on Privacy Leakage [28.385083741414213]
本稿では,言語モデルの関連性を考察し,その能力に影響を及ぼす要因を明らかにすることを目的とする。
我々の研究は、モデルがスケールアップするにつれて、エンティティ/インフォメーションを関連付ける能力が強化されることを明らかにし、特にターゲットペアがより短い共起距離またはより高い共起周波数を示す場合である。
正確に予測されたPIIの割合は比較的小さいが、LLMは適切なプロンプトが提供されると、メールアドレスや電話番号の特定のインスタンスを予測する能力を示している。
論文 参考訳(メタデータ) (2023-05-22T04:30:35Z) - DP2-Pub: Differentially Private High-Dimensional Data Publication with
Invariant Post Randomization [58.155151571362914]
本稿では,2つのフェーズで動作する差分プライベートな高次元データパブリッシング機構(DP2-Pub)を提案する。
属性をクラスタ内凝集度の高い低次元クラスタに分割し、クラスタ間の結合度を低くすることで、適切なプライバシ予算を得ることができる。
また、DP2-Pubメカニズムを、ローカルの差分プライバシーを満たす半正直なサーバでシナリオに拡張します。
論文 参考訳(メタデータ) (2022-08-24T17:52:43Z) - Automated PII Extraction from Social Media for Raising Privacy
Awareness: A Deep Transfer Learning Approach [6.806025738284367]
インターネット利用者は、ソーシャルメディア上でPII(Personally Identible Information)の量を増やしている。
本研究では,これらの2つの制約に対処するために,PII抽出のためのDeep Transfer Learning(DTL-PIIE)フレームワークを提案する。
我々のフレームワークは、PII誤用予測やプライバシーリスク評価など、様々なアプリケーションを容易にすることができる。
論文 参考訳(メタデータ) (2021-11-11T19:32:05Z) - Survey: Leakage and Privacy at Inference Time [59.957056214792665]
公開されている機械学習(ML)モデルからのデータの漏洩は、ますます重要になっている分野である。
公開モデルの最も可能性の高いシナリオとして、推論時のリークに注目します。
本稿では,不随意・不随意の漏洩,防御,そして現在利用可能な評価指標と応用にまたがる分類法を提案する。
論文 参考訳(メタデータ) (2021-07-04T12:59:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。