論文の概要: Beyond Memorization: Violating Privacy Via Inference with Large Language Models

• arxiv url: http://arxiv.org/abs/2310.07298v2
• Date: Mon, 6 May 2024 15:52:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-08 00:45:15.114134
• Title: Beyond Memorization: Violating Privacy Via Inference with Large Language Models
• Title（参考訳）: メモリ化を超えて - 大規模な言語モデルによるプライバシ推論に違反する
• Authors: Robin Staab, Mark Vero, Mislav Balunović, Martin Vechev,
• Abstract要約: 本稿では,テキストから個人属性を推測する事前学習言語モデルの能力に関する,最初の総合的研究について述べる。 以上の結果から,現在のLCMでは,従来は達成不可能な規模で個人データを推測することが可能であることが示唆された。
• 参考スコア（独自算出の注目度）: 2.9373912230684565
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Current privacy research on large language models (LLMs) primarily focuses on the issue of extracting memorized training data. At the same time, models' inference capabilities have increased drastically. This raises the key question of whether current LLMs could violate individuals' privacy by inferring personal attributes from text given at inference time. In this work, we present the first comprehensive study on the capabilities of pretrained LLMs to infer personal attributes from text. We construct a dataset consisting of real Reddit profiles, and show that current LLMs can infer a wide range of personal attributes (e.g., location, income, sex), achieving up to $85\%$ top-1 and $95\%$ top-3 accuracy at a fraction of the cost ($100\times$) and time ($240\times$) required by humans. As people increasingly interact with LLM-powered chatbots across all aspects of life, we also explore the emerging threat of privacy-invasive chatbots trying to extract personal information through seemingly benign questions. Finally, we show that common mitigations, i.e., text anonymization and model alignment, are currently ineffective at protecting user privacy against LLM inference. Our findings highlight that current LLMs can infer personal data at a previously unattainable scale. In the absence of working defenses, we advocate for a broader discussion around LLM privacy implications beyond memorization, striving for a wider privacy protection.
• Abstract（参考訳）: 大規模言語モデル(LLM)に関する現在のプライバシー研究は、主に記憶されたトレーニングデータを抽出する問題に焦点を当てている。 同時に、モデルの推論能力は劇的に向上した。 このことは、現在のLLMが推論時に与えられたテキストから個人属性を推測することで個人のプライバシーに反する可能性があるかどうかという重要な疑問を提起する。 本研究は,テキストから個人属性を推測する事前学習 LLM の能力に関する,最初の総合的研究である。 実際のRedditプロファイルで構成されたデータセットを構築し、現在のLCMが、人間の要求する時間(100ドル)と時間(240ドル)のごく一部で、最大8,5\%$ top-1と9,5\%$ top-3の精度で、幅広い個人属性(例えば、場所、収入、性別)を推測できることを示します。 生活のあらゆる面においてLLMで動くチャットボットと対話する人が増えている中、プライバシーを侵害するチャットボットが、一見見知らぬ質問を通じて個人情報を抽出しようとする、という新たな脅威も探求している。 最後に、テキスト匿名化やモデルアライメントといった一般的な軽減策が、LLM推論に対するユーザのプライバシ保護に効果がないことを示す。 以上の結果から,現在のLCMでは,従来は達成不可能な規模で個人データを推測することが可能であることが示唆された。 ワーキングディフェンスが欠如しているため,我々は,LLMのプライバシに関するより広範な議論を,記憶以上のものにし,より広範なプライバシ保護を目指すことを提唱する。

関連論文リスト

• PrivacyLens: Evaluating Privacy Norm Awareness of Language Models in Action [54.11479432110771]
  PrivacyLensは、プライバシに敏感な種子を表現的なヴィグネットに拡張し、さらにエージェントの軌跡に拡張するために設計された新しいフレームワークである。 プライバシの文献とクラウドソーシングされたシードに基づいて、プライバシの規範のコレクションをインスタンス化する。 GPT-4やLlama-3-70Bのような最先端のLMは、プライバシー強化の指示が出されたとしても、機密情報を25.68%、38.69%のケースでリークしている。
  論文  参考訳（メタデータ） (2024-08-29T17:58:38Z)
• LLM-PBE: Assessing Data Privacy in Large Language Models [111.58198436835036]
  大規模言語モデル(LLM)は多くのドメインに不可欠なものとなり、データ管理、マイニング、分析におけるアプリケーションを大幅に進歩させた。 この問題の批判的な性質にもかかわらず、LLMにおけるデータプライバシのリスクを総合的に評価する文献は存在しない。 本稿では,LLMにおけるデータプライバシリスクの体系的評価を目的としたツールキットであるLLM-PBEを紹介する。
  論文  参考訳（メタデータ） (2024-08-23T01:37:29Z)
• No Free Lunch Theorem for Privacy-Preserving LLM Inference [30.554456047738295]
  本研究では,プライバシ保護型大規模言語モデル(LLM)を推定するためのフレームワークを開発する。 プライバシー保護とユーティリティの相互作用を調べるための、しっかりとした理論的基盤を築いている。
  論文  参考訳（メタデータ） (2024-05-31T08:22:53Z)
• On Protecting the Data Privacy of Large Language Models (LLMs): A Survey [35.48984524483533]
  LLM(Large Language Model)は、人間の言語を理解し、生成し、翻訳できる複雑な人工知能システムである。 LLMは大量のデータを処理して生成し、データプライバシを脅かす可能性がある。
  論文  参考訳（メタデータ） (2024-03-08T08:47:48Z)
• PrivLM-Bench: A Multi-level Privacy Evaluation Benchmark for Language Models [42.20437015301152]
  言語モデル(LM)のプライバシー漏洩を評価するベンチマークであるPrivLM-Benchを提案する。 DPパラメータのみを報告するのではなく、PrivLM-Benchは実際の使用中に無視された推論データのプライバシに光を当てる。 メインストリームLMのためのGLUEの3つのデータセットについて広範な実験を行った。
  論文  参考訳（メタデータ） (2023-11-07T14:55:52Z)
• Can LLMs Keep a Secret? Testing Privacy Implications of Language Models via Contextual Integrity Theory [82.7042006247124]
  私たちは、最も有能なAIモデルでさえ、人間がそれぞれ39%と57%の確率で、プライベートな情報を公開していることを示しています。 我々の研究は、推論と心の理論に基づいて、新しい推論時プライバシー保護アプローチを即時に探求する必要性を浮き彫りにしている。
  論文  参考訳（メタデータ） (2023-10-27T04:15:30Z)
• Privacy in Large Language Models: Attacks, Defenses and Future Directions [84.73301039987128]
  大規模言語モデル(LLM)を対象とした現在のプライバシ攻撃を分析し、敵の想定能力に応じて分類する。 本稿では、これらのプライバシー攻撃に対抗するために開発された防衛戦略について概説する。
  論文  参考訳（メタデータ） (2023-10-16T13:23:54Z)
• PrivacyMind: Large Language Models Can Be Contextual Privacy Protection Learners [81.571305826793]
  コンテキストプライバシ保護言語モデル(PrivacyMind)を紹介する。 我々の研究はモデル設計に関する理論的分析を提供し、様々な手法をベンチマークする。 特に、肯定的な例と否定的な例の両方による命令チューニングは、有望な方法である。
  論文  参考訳（メタデータ） (2023-10-03T22:37:01Z)
• Multi-step Jailbreaking Privacy Attacks on ChatGPT [47.10284364632862]
  我々は,OpenAI の ChatGPT と ChatGPT によって強化された New Bing のプライバシー上の脅威について検討した。 我々は、当社の主張を裏付ける広範な実験を行い、LLMのプライバシーへの影響について論じる。
  論文  参考訳（メタデータ） (2023-04-11T13:05:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。