論文の概要: Can LLMs Keep a Secret? Testing Privacy Implications of Language Models
via Contextual Integrity Theory
- arxiv url: http://arxiv.org/abs/2310.17884v1
- Date: Fri, 27 Oct 2023 04:15:30 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-30 15:00:21.995908
- Title: Can LLMs Keep a Secret? Testing Privacy Implications of Language Models
via Contextual Integrity Theory
- Title(参考訳): llmsは秘密を守れるか?
文脈積分理論による言語モデルのプライバシー影響の検証
- Authors: Niloofar Mireshghallah, Hyunwoo Kim, Xuhui Zhou, Yulia Tsvetkov,
Maarten Sap, Reza Shokri, Yejin Choi
- Abstract要約: 私たちは、最も有能なAIモデルでさえ、人間がそれぞれ39%と57%の確率で、プライベートな情報を公開していることを示しています。
我々の研究は、推論と心の理論に基づいて、新しい推論時プライバシー保護アプローチを即時に探求する必要性を浮き彫りにしている。
- 参考スコア(独自算出の注目度): 86.8514623654506
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The interactive use of large language models (LLMs) in AI assistants (at
work, home, etc.) introduces a new set of inference-time privacy risks: LLMs
are fed different types of information from multiple sources in their inputs
and are expected to reason about what to share in their outputs, for what
purpose and with whom, within a given context. In this work, we draw attention
to the highly critical yet overlooked notion of contextual privacy by proposing
ConfAIde, a benchmark designed to identify critical weaknesses in the privacy
reasoning capabilities of instruction-tuned LLMs. Our experiments show that
even the most capable models such as GPT-4 and ChatGPT reveal private
information in contexts that humans would not, 39% and 57% of the time,
respectively. This leakage persists even when we employ privacy-inducing
prompts or chain-of-thought reasoning. Our work underscores the immediate need
to explore novel inference-time privacy-preserving approaches, based on
reasoning and theory of mind.
- Abstract(参考訳): AIアシスタント(職場、自宅など)における大規模言語モデル(LLM)のインタラクティブな使用は、新しい一連の推論時プライバシーリスクを導入している。
本研究は,LLMのプライバシ推論能力の重大な弱点を特定するためのベンチマークであるConfAIdeを提案することによって,極めて批判的で見過ごされたコンテキストプライバシの概念に注目する。
実験の結果,GPT-4 や ChatGPT のような最も有能なモデルでさえ,それぞれ39% と 57% の確率で個人情報が得られた。
このリークは、プライバシを誘導するプロンプトや、思考の連鎖的推論を採用しても継続する。
私たちの研究は、推論と心の理論に基づいて、新しい推論時間プライバシー保存アプローチを直ちに探究する必要性を強調しています。
関連論文リスト
- Unmemorization in Large Language Models via Self-Distillation and
Deliberate Imagination [58.36408867180233]
大規模言語モデル(LLM)は、プライバシー侵害や機密データの不要な露出といった重要な問題に苦慮している。
我々は、LLMアンラーニングの文脈において、意図的な想像力という新しいアプローチを導入する。
本研究は,異なるモデルとサイズにまたがるこのアプローチの有用性を示し,パラメータ効率の良い微調整を行った。
論文 参考訳(メタデータ) (2024-02-15T16:21:14Z) - RECALL: A Benchmark for LLMs Robustness against External Counterfactual
Knowledge [69.79676144482792]
本研究の目的は,LLMが外部知識から信頼できる情報を識別する能力を評価することである。
本ベンチマークは,質問応答とテキスト生成という2つのタスクから構成される。
論文 参考訳(メタデータ) (2023-11-14T13:24:19Z) - Beyond Memorization: Violating Privacy Via Inference with Large Language
Models [13.900633576526863]
本稿では,テキストから個人属性を推測する事前学習言語モデルの能力に関する,最初の総合的研究について述べる。
以上の結果から,現在のLCMでは,従来は達成不可能な規模で個人データを推測することが可能であることが示唆された。
論文 参考訳(メタデータ) (2023-10-11T08:32:46Z) - Large Language Models Can Be Good Privacy Protection Learners [53.07930843882592]
本稿では,プライバシ保護言語モデル(PPLM)を紹介する。
本研究は, コーパスキュレーション, ペナルティに基づくトレーニング損失の相違, 命令に基づくチューニングなど, モデル設計の理論的解析を行う。
特に、肯定的な例と否定的な例の両方による命令チューニングは、モデルの知識を高めながら、個人データを効果的に保護する、有望な方法として際立っている。
論文 参考訳(メタデータ) (2023-10-03T22:37:01Z) - Can Language Models be Instructed to Protect Personal Information? [30.187731765653428]
シミュレーションシナリオにおいて、モデルが特定の個人情報のカテゴリを保護するように指示されたとき、プライバシ/ユーティリティトレードオフを評価するためのベンチマークであるPrivQAを紹介します。
我々は,テキストや画像入力による単純なジェイルブレイク手法により,敵が容易にこれらの保護を回避できることを見出した。
PrivQAは、プライバシー保護を改善した新しいモデルの開発と、これらの保護の敵意的な堅牢性をサポートする可能性があると考えています。
論文 参考訳(メタデータ) (2023-10-03T17:30:33Z) - Privacy Implications of Retrieval-Based Language Models [26.87950501433784]
本稿では,検索に基づくLM,特に$k$NN-LMにおけるプライバシリスクに関する最初の研究について述べる。
パラメトリックモデルよりも、$k$NN-LMsの方がプライベートデータストアから個人情報をリークする可能性が高いことがわかりました。
論文 参考訳(メタデータ) (2023-05-24T08:37:27Z) - Multi-step Jailbreaking Privacy Attacks on ChatGPT [47.10284364632862]
我々は,OpenAI の ChatGPT と ChatGPT によって強化された New Bing のプライバシー上の脅威について検討した。
我々は、当社の主張を裏付ける広範な実験を行い、LLMのプライバシーへの影響について論じる。
論文 参考訳(メタデータ) (2023-04-11T13:05:04Z) - Context-Aware Differential Privacy for Language Modeling [41.54238543400462]
本稿では,CADP-LM(Context-Aware Differentially Private Language Model)を紹介する。
CADP-LMは、潜在的にセンシティブな情報を定義し、監査するために、エンフコンテクスの概念に依存している。
CADP-LMのユニークな特徴は、センシティブな文や文脈のみの保護を目標とする能力である。
論文 参考訳(メタデータ) (2023-01-28T20:06:16Z) - PLUE: Language Understanding Evaluation Benchmark for Privacy Policies
in English [77.79102359580702]
プライバシポリシ言語理解評価ベンチマークは,プライバシポリシ言語理解を評価するマルチタスクベンチマークである。
また、プライバシポリシの大規模なコーパスを収集し、プライバシポリシドメイン固有の言語モデル事前トレーニングを可能にします。
ドメイン固有の連続的な事前トレーニングは、すべてのタスクでパフォーマンスを改善することを実証します。
論文 参考訳(メタデータ) (2022-12-20T05:58:32Z) - On Privacy and Confidentiality of Communications in Organizational
Graphs [3.5270468102327004]
この研究は、企業コンテキストにおける機密性とプライバシの区別方法を示している。
それは、機密性を維持するためのアプローチを定式化し、差分プライバシーの原則を活用することを目的としている。
論文 参考訳(メタデータ) (2021-05-27T19:45:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。