論文の概要: Are Large Pre-Trained Language Models Leaking Your Personal Information?
- arxiv url: http://arxiv.org/abs/2205.12628v1
- Date: Wed, 25 May 2022 10:08:45 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-26 13:44:02.350628
- Title: Are Large Pre-Trained Language Models Leaking Your Personal Information?
- Title(参考訳): 大規模事前学習型言語モデルはあなたの個人情報を漏洩しているか?
- Authors: Jie Huang, Hanyin Shao, Kevin Chen-Chuan Chang
- Abstract要約: PLMが個人情報を漏洩しやすいかを測定することを提案する。
PLMは暗記により個人情報を漏洩させる。
しかし,攻撃者が特定個人情報を抽出する危険性は低い。
- 参考スコア(独自算出の注目度): 9.607977873589043
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large Pre-Trained Language Models (PLMs) have facilitated and dominated many
NLP tasks in recent years. However, despite the great success of PLMs, there
are also privacy concerns brought with PLMs. For example, recent studies show
that PLMs memorize a lot of training data, including sensitive information,
while the information may be leaked unintentionally and be utilized by
malicious attackers.
In this paper, we propose to measure whether PLMs are prone to leaking
personal information. Specifically, we attempt to query PLMs for email
addresses with contexts of the email address or prompts containing the owner's
name. We find that PLMs do leak personal information due to memorization.
However, the risk of specific personal information being extracted by attackers
is low because the models are weak at associating the personal information with
its owner. We hope this work could help the community to better understand the
privacy risk of PLMs and bring new insights to make PLMs safe.
- Abstract(参考訳): 大規模事前学習言語モデル(PLM)は近年、多くのNLPタスクを促進・支配している。
しかし、PLMが大きな成功を収めたにもかかわらず、PLMのプライバシーに関する懸念もある。
例えば、plmsは機密情報を含む多くのトレーニングデータを記憶しており、その情報は意図せず漏洩し、悪意のある攻撃者によって利用される可能性がある。
本稿では, PLM が個人情報を漏洩しやすいかを評価することを提案する。
具体的には、メールアドレスや所有者の名前を含むプロンプトのコンテキストで、メールアドレスのplmをクエリしようとする。
PLMは暗記により個人情報を漏洩させる。
しかし、攻撃者が特定の個人情報を抽出するリスクは、モデルが所有者と個人情報を関連付けることに弱いため低い。
この取り組みが、PLMのプライバシーリスクをよりよく理解し、PLMを安全にするための新たな洞察をもたらすことを期待しています。
関連論文リスト
- Unmemorization in Large Language Models via Self-Distillation and
Deliberate Imagination [58.36408867180233]
大規模言語モデル(LLM)は、プライバシー侵害や機密データの不要な露出といった重要な問題に苦慮している。
我々は、LLMアンラーニングの文脈において、意図的な想像力という新しいアプローチを導入する。
本研究は,異なるモデルとサイズにまたがるこのアプローチの有用性を示し,パラメータ効率の良い微調整を行った。
論文 参考訳(メタデータ) (2024-02-15T16:21:14Z) - Combating Misinformation in the Age of LLMs: Opportunities and
Challenges [21.712051537924136]
LLM(Large Language Models)の出現は、誤情報と戦う環境を再構築する大きな可能性を秘めている。
一方、LLMは、その深い世界知識と強力な推論能力のために、誤情報と戦うための有望な機会をもたらす。
一方,LLMは大規模に誤情報を生成するために容易に活用できるという点が重要な課題である。
論文 参考訳(メタデータ) (2023-11-09T00:05:27Z) - Can LLMs Keep a Secret? Testing Privacy Implications of Language Models
via Contextual Integrity Theory [86.8514623654506]
私たちは、最も有能なAIモデルでさえ、人間がそれぞれ39%と57%の確率で、プライベートな情報を公開していることを示しています。
我々の研究は、推論と心の理論に基づいて、新しい推論時プライバシー保護アプローチを即時に探求する必要性を浮き彫りにしている。
論文 参考訳(メタデータ) (2023-10-27T04:15:30Z) - Beyond Memorization: Violating Privacy Via Inference with Large Language
Models [13.900633576526863]
本稿では,テキストから個人属性を推測する事前学習言語モデルの能力に関する,最初の総合的研究について述べる。
以上の結果から,現在のLCMでは,従来は達成不可能な規模で個人データを推測することが可能であることが示唆された。
論文 参考訳(メタデータ) (2023-10-11T08:32:46Z) - Large Language Models Can Be Good Privacy Protection Learners [53.07930843882592]
本稿では,プライバシ保護言語モデル(PPLM)を紹介する。
本研究は, コーパスキュレーション, ペナルティに基づくトレーニング損失の相違, 命令に基づくチューニングなど, モデル設計の理論的解析を行う。
特に、肯定的な例と否定的な例の両方による命令チューニングは、モデルの知識を高めながら、個人データを効果的に保護する、有望な方法として際立っている。
論文 参考訳(メタデータ) (2023-10-03T22:37:01Z) - What can we learn from Data Leakage and Unlearning for Law? [0.0]
大規模言語モデル(LLM)は、トレーニングデータ(電子メールや電話番号などの個人識別可能な情報(PII)を含む)を記憶し、推論中にそれを漏洩させるため、プライバシー上の懸念がある。
忘れられる権利(right to be forget)”のようなプライバシー法に従うために、抽出に最も脆弱なユーザのデータポイントを削除することができる。
また, トレーニング前段階で記憶したトレーニング前データ(およびPII)を漏洩させる。
論文 参考訳(メタデータ) (2023-07-19T22:14:58Z) - Augmented Large Language Models with Parametric Knowledge Guiding [72.71468058502228]
大規模言語モデル(LLM)は、言語理解と生成能力に優れた自然言語処理(NLP)を備えています。
それらのパフォーマンスは、関連するデータへの限られた露出のために専門的な知識を必要とするドメイン固有のタスクに最適であるかもしれない。
本稿では,LLMに関連知識にアクセスするための知識誘導モジュールを組み込んだ新しいPKGフレームワークを提案する。
論文 参考訳(メタデータ) (2023-05-08T15:05:16Z) - Multi-step Jailbreaking Privacy Attacks on ChatGPT [47.10284364632862]
我々は,OpenAI の ChatGPT と ChatGPT によって強化された New Bing のプライバシー上の脅威について検討した。
我々は、当社の主張を裏付ける広範な実験を行い、LLMのプライバシーへの影響について論じる。
論文 参考訳(メタデータ) (2023-04-11T13:05:04Z) - Quantifying Privacy Risks of Masked Language Models Using Membership
Inference Attacks [34.17535942437515]
我々は、確率比仮説テストに基づいて、より強力なメンバーシップ推論攻撃を考案する。
我々の攻撃は、事前の会員推測攻撃の記憶を0.66から0.90レベルへと改善することを示します。
論文 参考訳(メタデータ) (2022-03-08T08:50:34Z) - Knowledge Inheritance for Pre-trained Language Models [57.51305807391381]
我々は「知識継承(KI)」という新しい事前学習フレームワークを導入する。
KIは、自己学習と教師指導の両方を組み合わせて、より大きなPLMを効率的に訓練する。
KIは生涯学習と知識伝達を十分に支援できることを示す。
論文 参考訳(メタデータ) (2021-05-28T14:43:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。