論文の概要: Analyzing Leakage of Personally Identifiable Information in Language Models

• arxiv url: http://arxiv.org/abs/2302.00539v2
• Date: Tue, 4 Apr 2023 15:07:57 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-05 17:58:05.246169
• Title: Analyzing Leakage of Personally Identifiable Information in Language Models
• Title（参考訳）: 言語モデルにおける個人識別情報漏洩の分析
• Authors: Nils Lukas, Ahmed Salem, Robert Sim, Shruti Tople, Lukas Wutschitz and Santiago Zanella-B\'eguelin
• Abstract要約: 言語モデル (LM) は, 文レベルのメンバシップ推論と再構築攻撃を通じて, トレーニングデータに関する情報を漏らすことが示されている。 スクレイビング技術は減少するが、PII漏れのリスクを防止しない。 文やユーザレベルのプライバシーを保証するために設計された差分プライバシーなどのアルゴリズムによる防御が、PIIの開示を防いでいるかは不明だ。
• 参考スコア（独自算出の注目度）: 13.467340359030855
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Language Models (LMs) have been shown to leak information about training data through sentence-level membership inference and reconstruction attacks. Understanding the risk of LMs leaking Personally Identifiable Information (PII) has received less attention, which can be attributed to the false assumption that dataset curation techniques such as scrubbing are sufficient to prevent PII leakage. Scrubbing techniques reduce but do not prevent the risk of PII leakage: in practice scrubbing is imperfect and must balance the trade-off between minimizing disclosure and preserving the utility of the dataset. On the other hand, it is unclear to which extent algorithmic defenses such as differential privacy, designed to guarantee sentence- or user-level privacy, prevent PII disclosure. In this work, we introduce rigorous game-based definitions for three types of PII leakage via black-box extraction, inference, and reconstruction attacks with only API access to an LM. We empirically evaluate the attacks against GPT-2 models fine-tuned with and without defenses on three domains: case law, health care, and e-mails. Our main contributions are (i) novel attacks that can extract up to 10$\times$ more PII sequences than existing attacks, (ii) showing that sentence-level differential privacy reduces the risk of PII disclosure but still leaks about 3% of PII sequences, and (iii) a subtle connection between record-level membership inference and PII reconstruction.
• Abstract（参考訳）: 言語モデル (LM) は、文レベルメンバーシップ推論と再構築攻撃を通じて、トレーニングデータに関する情報を漏洩させる。 PII(Personally Identible Information)に漏洩するLMのリスクを理解することは、PIIの漏洩を防ぐためにスクラブなどのデータセットキュレーション技術が十分であるという誤った仮定によるものである。 スクレイビング技術は、PII漏洩のリスクを防止しない: 実際には、スレービングは不完全であり、開示の最小化とデータセットの有用性の維持の間のトレードオフをバランスさせなければならない。 一方,PIIの開示を防止するために,文レベルのプライバシーやユーザレベルのプライバシーを保証するために設計された差分プライバシーなどのアルゴリズムによる防御がどの程度かは明らかでない。 本研究では,LMへのAPIアクセスのみによるブラックボックス抽出,推論,再構成攻撃による3種類のPIIリークに対する厳密なゲームベース定義を提案する。 事例法,医療,電子メールの3分野について,GPT-2モデルに対する攻撃を詳細に検討した。 私たちの主な貢献は (i)既存の攻撃よりも最大10$\times$のpiiシーケンスを抽出することができる新規な攻撃。 (ii) 文レベルの差分プライバシーはPII開示のリスクを低減させるが、PIIシークエンスの約3%は漏洩し、 (iii)記録レベルのメンバーシップ推論とpii再構成との微妙な関係

関連論文リスト

• Pseudo-Probability Unlearning: Towards Efficient and Privacy-Preserving Machine Unlearning [59.29849532966454]
  本稿では,PseudoProbability Unlearning (PPU)を提案する。 提案手法は,最先端の手法に比べて20%以上の誤りを忘れる改善を実現している。
  論文  参考訳（メタデータ） (2024-11-04T21:27:06Z)
• Evaluating Large Language Model based Personal Information Extraction and Countermeasures [63.91918057570824]
  大規模言語モデル(LLM)は、攻撃者が個人プロファイルから様々な個人情報を正確に抽出するために誤用することができる。 LLMはそのような抽出において従来の方法より優れている。 即時注射は、そのようなリスクを広範囲に軽減し、従来の対策より優れている。
  論文  参考訳（メタデータ） (2024-08-14T04:49:30Z)
• Information Leakage from Embedding in Large Language Models [5.475800773759642]
  本研究では,入力再構成攻撃によるプライバシー侵害の可能性を検討することを目的とする。 まず,モデルの隠れ状態からオリジナルテキストを再構築する2つの基本手法を提案する。 次に、トランスフォーマーをベースとしたEmbed Parrotを提案し、深層への埋め込みから入力を再構築する。
  論文  参考訳（メタデータ） (2024-05-20T09:52:31Z)
• InferDPT: Privacy-Preserving Inference for Black-box Large Language Model [66.07752875835506]
  InferDPTは、ブラックボックスLSMのプライバシ保護推論のための最初の実用的なフレームワークである。 RANTEXTはInferDPTの摂動モジュールに組み込まれた新しい微分プライバシー機構である。
  論文  参考訳（メタデータ） (2023-10-18T18:00:11Z)
• Is Vertical Logistic Regression Privacy-Preserving? A Comprehensive Privacy Analysis and Beyond [57.10914865054868]
  垂直ロジスティック回帰(VLR)をミニバッチ降下勾配で訓練した。 我々は、オープンソースのフェデレーション学習フレームワークのクラスにおいて、VLRの包括的で厳密なプライバシー分析を提供する。
  論文  参考訳（メタデータ） (2022-07-19T05:47:30Z)
• Do Gradient Inversion Attacks Make Federated Learning Unsafe? [70.0231254112197]
  フェデレートラーニング(FL)は、生データを共有することなく、AIモデルの協調トレーニングを可能にする。 モデル勾配からのディープニューラルネットワークの反転に関する最近の研究は、トレーニングデータの漏洩を防止するためのFLの安全性に関する懸念を提起した。 本研究では,本論文で提示されたこれらの攻撃が実際のFLユースケースでは実行不可能であることを示し,新たなベースライン攻撃を提供する。
  論文  参考訳（メタデータ） (2022-02-14T18:33:12Z)
• BEAS: Blockchain Enabled Asynchronous & Secure Federated Machine Learning [0.0]
  我々は、N-party Federated Learningのための最初のブロックチェーンベースのフレームワークBEASを紹介する。 グラデーションプルーニングを使用したトレーニングデータの厳格なプライバシー保証を提供する。 異常検出プロトコルは、データ汚染攻撃のリスクを最小限に抑えるために使用される。 また、異種学習環境における早期収束を防止するための新しいプロトコルも定義する。
  論文  参考訳（メタデータ） (2022-02-06T17:11:14Z)
• Federated Deep Learning with Bayesian Privacy [28.99404058773532]
  フェデレートラーニング(FL)は、ユーザ間でプライベートデータを共有せずにモデルを協調的に学習することで、データのプライバシを保護することを目的としている。 ホモモルフィック暗号化(HE)ベースの手法は、セキュアなプライバシ保護を提供するが、非常に高い計算と通信のオーバーヘッドに悩まされる。 差分プライバシ(DP)を用いたディープラーニングは,複雑な管理コストで実践的な学習アルゴリズムとして実装された。
  論文  参考訳（メタデータ） (2021-09-27T12:48:40Z)
• Continuous Doubly Constrained Batch Reinforcement Learning [93.23842221189658]
  環境とのオンラインインタラクションではなく、固定されたオフラインデータセットのみを使用して効果的なポリシーを学ぶバッチRLのアルゴリズムを提案する。 バッチRLにおける制限されたデータは、トレーニングデータに不十分に表現された状態/動作の値推定に固有の不確実性をもたらす。 この分散を減らすための政策制約と、過度に楽観的な見積もりを妨げる価値制約という2つの簡単な罰則によってこの問題を軽減することを提案する。
  論文  参考訳（メタデータ） (2021-02-18T08:54:14Z)
• Rethinking Privacy Preserving Deep Learning: How to Evaluate and Thwart Privacy Attacks [31.34410250008759]
  本稿では、モデル精度と、再構築、追跡、およびメンバーシップ攻撃によるプライバシ損失とのトレードオフを計測する。 実験の結果,モデル精度はベースライン機構と比較して平均5～20%向上した。
  論文  参考訳（メタデータ） (2020-06-20T15:48:57Z)
• Stratified cross-validation for unbiased and privacy-preserving federated learning [0.0]
  本稿では、重複レコードの繰り返し問題に焦点をあて、もし適切に扱わなければ、モデルの性能を過度に最適化的に見積もる可能性がある。 本稿では,階層化手法を活用して,フェデレート学習環境におけるデータ漏洩を防止する検証手法である階層化クロスバリデーションを紹介し,議論する。
  論文  参考訳（メタデータ） (2020-01-22T15:49:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。