論文の概要: Beyond Memorization: Violating Privacy Via Inference with Large Language
Models
- arxiv url: http://arxiv.org/abs/2310.07298v1
- Date: Wed, 11 Oct 2023 08:32:46 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-12 23:44:48.515442
- Title: Beyond Memorization: Violating Privacy Via Inference with Large Language
Models
- Title(参考訳): beyond memorization: 大きな言語モデルによる推論によるプライバシの侵害
- Authors: Robin Staab, Mark Vero, Mislav Balunovi\'c, Martin Vechev
- Abstract要約: 本稿では,テキストから個人属性を推測する事前学習言語モデルの能力に関する,最初の総合的研究について述べる。
以上の結果から,現在のLCMでは,従来は達成不可能な規模で個人データを推測することが可能であることが示唆された。
- 参考スコア(独自算出の注目度): 13.900633576526863
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Current privacy research on large language models (LLMs) primarily focuses on
the issue of extracting memorized training data. At the same time, models'
inference capabilities have increased drastically. This raises the key question
of whether current LLMs could violate individuals' privacy by inferring
personal attributes from text given at inference time. In this work, we present
the first comprehensive study on the capabilities of pretrained LLMs to infer
personal attributes from text. We construct a dataset consisting of real Reddit
profiles, and show that current LLMs can infer a wide range of personal
attributes (e.g., location, income, sex), achieving up to $85\%$ top-1 and
$95.8\%$ top-3 accuracy at a fraction of the cost ($100\times$) and time
($240\times$) required by humans. As people increasingly interact with
LLM-powered chatbots across all aspects of life, we also explore the emerging
threat of privacy-invasive chatbots trying to extract personal information
through seemingly benign questions. Finally, we show that common mitigations,
i.e., text anonymization and model alignment, are currently ineffective at
protecting user privacy against LLM inference. Our findings highlight that
current LLMs can infer personal data at a previously unattainable scale. In the
absence of working defenses, we advocate for a broader discussion around LLM
privacy implications beyond memorization, striving for a wider privacy
protection.
- Abstract(参考訳): 大規模言語モデル(LLM)に関する現在のプライバシー研究は、主に記憶されたトレーニングデータを抽出する問題に焦点を当てている。
同時に、モデルの推論能力も大幅に向上した。
このことは、現在のLLMが推論時に与えられたテキストから個人属性を推測することで個人のプライバシーを侵害するかどうかという重要な疑問を提起する。
本研究は,テキストから個人属性を推測する事前学習 LLM の能力に関する,最初の総合的研究である。
私たちは、実際のredditプロファイルからなるデータセットを構築し、現在のllmが、人間の要求するコスト(100\times$)と時間(240\times$)のごく一部で、最大85\%$ top-1と95.8\%$ top-3の正確さで、幅広い個人属性(例えば、位置情報、収入、セックス)を推測できることを示します。
人々が生活のあらゆる面でllmを利用したチャットボットと対話するにつれて、プライバシーを侵害するチャットボットが、一見良質な質問を通じて個人情報を抽出しようとする、新たな脅威も探っている。
最後に、テキスト匿名化やモデルアライメントといった一般的な軽減策が、LLM推論に対するユーザのプライバシ保護に効果がないことを示す。
以上の結果から,現在のLCMでは,従来は達成不可能なスケールで個人データを推測できることがわかった。
ワーキングディフェンスが欠如しているため,我々は,LLMのプライバシー保護に関するより広範な議論を提唱する。
関連論文リスト
- Unmemorization in Large Language Models via Self-Distillation and
Deliberate Imagination [58.36408867180233]
大規模言語モデル(LLM)は、プライバシー侵害や機密データの不要な露出といった重要な問題に苦慮している。
我々は、LLMアンラーニングの文脈において、意図的な想像力という新しいアプローチを導入する。
本研究は,異なるモデルとサイズにまたがるこのアプローチの有用性を示し,パラメータ効率の良い微調整を行った。
論文 参考訳(メタデータ) (2024-02-15T16:21:14Z) - Large Language Models: A Survey [69.72787936480394]
大規模言語モデル(LLM)は、広範囲の自然言語タスクにおける強力なパフォーマンスのために、多くの注目を集めている。
LLMの汎用言語理解と生成能力は、膨大なテキストデータに基づいて数十億のモデルのパラメータを訓練することで得られる。
論文 参考訳(メタデータ) (2024-02-09T05:37:09Z) - Teach Large Language Models to Forget Privacy [14.959123531802582]
大きな言語モデル(LLM)は強力であることが証明されているが、プライバシリークのリスクは依然として重大な懸念である。
差別化プライバシやホモモルフィック暗号化といった従来のプライバシ保護手法は、ブラックボックスAPIのみの設定では不十分である。
本稿では,LLMのローカルプライバシ問題に対処するための最初のフレームワークであるPrompt2Forgetを提案する。
論文 参考訳(メタデータ) (2023-12-30T01:26:42Z) - Can LLMs Keep a Secret? Testing Privacy Implications of Language Models
via Contextual Integrity Theory [86.8514623654506]
私たちは、最も有能なAIモデルでさえ、人間がそれぞれ39%と57%の確率で、プライベートな情報を公開していることを示しています。
我々の研究は、推論と心の理論に基づいて、新しい推論時プライバシー保護アプローチを即時に探求する必要性を浮き彫りにしている。
論文 参考訳(メタデータ) (2023-10-27T04:15:30Z) - Privacy in Large Language Models: Attacks, Defenses and Future
Directions [46.30861174408193]
大規模言語モデル(LLM)を対象とした現在のプライバシ攻撃を分析し、敵の想定能力に応じて分類する。
本稿では、これらのプライバシー攻撃に対抗するために開発された防衛戦略について概説する。
論文 参考訳(メタデータ) (2023-10-16T13:23:54Z) - Large Language Models Can Be Good Privacy Protection Learners [53.07930843882592]
本稿では,プライバシ保護言語モデル(PPLM)を紹介する。
本研究は, コーパスキュレーション, ペナルティに基づくトレーニング損失の相違, 命令に基づくチューニングなど, モデル設計の理論的解析を行う。
特に、肯定的な例と否定的な例の両方による命令チューニングは、モデルの知識を高めながら、個人データを効果的に保護する、有望な方法として際立っている。
論文 参考訳(メタデータ) (2023-10-03T22:37:01Z) - Privacy Implications of Retrieval-Based Language Models [26.87950501433784]
本稿では,検索に基づくLM,特に$k$NN-LMにおけるプライバシリスクに関する最初の研究について述べる。
パラメトリックモデルよりも、$k$NN-LMsの方がプライベートデータストアから個人情報をリークする可能性が高いことがわかりました。
論文 参考訳(メタデータ) (2023-05-24T08:37:27Z) - Multi-step Jailbreaking Privacy Attacks on ChatGPT [47.10284364632862]
我々は,OpenAI の ChatGPT と ChatGPT によって強化された New Bing のプライバシー上の脅威について検討した。
我々は、当社の主張を裏付ける広範な実験を行い、LLMのプライバシーへの影響について論じる。
論文 参考訳(メタデータ) (2023-04-11T13:05:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。