論文の概要: Quantifying Privacy Risks of Masked Language Models Using Membership
Inference Attacks
- arxiv url: http://arxiv.org/abs/2203.03929v1
- Date: Tue, 8 Mar 2022 08:50:34 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-09 22:43:02.168675
- Title: Quantifying Privacy Risks of Masked Language Models Using Membership
Inference Attacks
- Title(参考訳): 会員推論攻撃を用いたマスケ言語モデルのプライバシーリスクの定量化
- Authors: Fatemehsadat Mireshghallah, Kartik Goyal, Archit Uniyal, Taylor
Berg-Kirkpatrick, Reza Shokri
- Abstract要約: 我々は、確率比仮説テストに基づいて、より強力なメンバーシップ推論攻撃を考案する。
我々の攻撃は、事前の会員推測攻撃の記憶を0.66から0.90レベルへと改善することを示します。
- 参考スコア(独自算出の注目度): 34.17535942437515
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The wide adoption and application of Masked language models~(MLMs) on
sensitive data (from legal to medical) necessitates a thorough quantitative
investigation into their privacy vulnerabilities -- to what extent do MLMs leak
information about their training data? Prior attempts at measuring leakage of
MLMs via membership inference attacks have been inconclusive, implying the
potential robustness of MLMs to privacy attacks. In this work, we posit that
prior attempts were inconclusive because they based their attack solely on the
MLM's model score. We devise a stronger membership inference attack based on
likelihood ratio hypothesis testing that involves an additional reference MLM
to more accurately quantify the privacy risks of memorization in MLMs. We show
that masked language models are extremely susceptible to likelihood ratio
membership inference attacks: Our empirical results, on models trained on
medical notes, show that our attack improves the AUC of prior membership
inference attacks from 0.66 to an alarmingly high 0.90 level, with a
significant improvement in the low-error region: at 1% false positive rate, our
attack is 51X more powerful than prior work.
- Abstract(参考訳): Masked Language Model~(MLM)の機密データ(法律から医療まで)への広範な採用と適用は、プライバシーの脆弱性に関する徹底的な定量的調査を必要とします。
メンバーシップ推論攻撃によるMLMの漏洩を測定する以前の試みは決定的ではなく、プライバシー攻撃に対するMLMの潜在的堅牢性を示している。
本研究は,MLMのモデルスコアにのみ基づいているため,以前の試みが不確定であったことを示唆する。
我々は、MLMにおける記憶のプライバシーリスクをより正確に定量化するために、追加参照MLMを含む確率比仮説テストに基づいて、より強力なメンバーシップ推論攻撃を考案する。
我々の実験結果は、医療用ノートでトレーニングされたモデルに基づいて、我々の攻撃が以前のメンバーシップ推論攻撃のaucを0.66から驚くほど高い0.90レベルに改善し、低エラー領域を大幅に改善したことを示している:1%の偽陽性率で、我々の攻撃は以前の仕事よりも51倍強力である。
関連論文リスト
- Do Membership Inference Attacks Work on Large Language Models? [145.90022632726883]
メンバーシップ推論攻撃(MIA)は、特定のデータポイントがターゲットモデルのトレーニングデータのメンバーであるかどうかを予測しようとする。
我々は、Pileで訓練された言語モデルに対して、MIAの大規模評価を行い、そのパラメータは160Mから12Bまでである。
様々な LLM サイズや領域にまたがるほとんどの設定において,MIA はランダムな推測よりもほとんど優れていないことがわかった。
論文 参考訳(メタデータ) (2024-02-12T17:52:05Z) - MIA-BAD: An Approach for Enhancing Membership Inference Attack and its
Mitigation with Federated Learning [6.510488168434277]
メンバシップ推論攻撃(MIA)は、機械学習(ML)モデルのプライバシを妥協するための一般的なパラダイムである。
バッチ・ワイズ・アサート・データセット(MIA-BAD)を用いた強化されたメンバーシップ推論攻撃を提案する。
FLを用いたMLモデルのトレーニング方法を示すとともに,提案したMIA-BADアプローチによる脅威をFLアプローチで緩和する方法について検討する。
論文 参考訳(メタデータ) (2023-11-28T06:51:26Z) - Practical Membership Inference Attacks against Fine-tuned Large Language
Models via Self-prompt Calibration [33.77030569632993]
メンバーシップ推論攻撃(MIA)は、対象のデータレコードがモデルトレーニングに使用されたかどうかを推測することを目的としている。
自己校正確率変動(SPV-MIA)に基づくメンバーシップ推論攻撃を提案する。
具体的には、LLMの記憶はトレーニングプロセス中に必然的に必要であり、オーバーフィッティング前に発生するので、より信頼性の高いメンバーシップ信号を導入する。
論文 参考訳(メタデータ) (2023-11-10T13:55:05Z) - Beyond Memorization: Violating Privacy Via Inference with Large Language
Models [13.900633576526863]
本稿では,テキストから個人属性を推測する事前学習言語モデルの能力に関する,最初の総合的研究について述べる。
以上の結果から,現在のLCMでは,従来は達成不可能な規模で個人データを推測することが可能であることが示唆された。
論文 参考訳(メタデータ) (2023-10-11T08:32:46Z) - Chameleon: Increasing Label-Only Membership Leakage with Adaptive
Poisoning [8.084254242380057]
メンバーシップ推論(MI)攻撃は、特定のデータサンプルがモデルのトレーニングデータセットに含まれているかどうかを判断する。
既存のラベルのみのMI攻撃は、偽陽性率の低い体制での加入を推測するには効果がないことを示す。
本稿では,新たなアダプティブなデータ中毒戦略と効率的なクエリ選択手法を活用する新たな攻撃型Chameleonを提案する。
論文 参考訳(メタデータ) (2023-10-05T18:46:27Z) - SmoothLLM: Defending Large Language Models Against Jailbreaking Attacks [99.23352758320945]
SmoothLLMは,大規模言語モデル(LLM)に対するジェイルブレーキング攻撃を軽減するために設計された,最初のアルゴリズムである。
敵が生成したプロンプトが文字レベルの変化に対して脆弱であることから、我々の防衛はまず、与えられた入力プロンプトの複数のコピーをランダムに摂動し、対応する予測を集約し、敵の入力を検出する。
論文 参考訳(メタデータ) (2023-10-05T17:01:53Z) - Defending Pre-trained Language Models as Few-shot Learners against
Backdoor Attacks [72.03945355787776]
軽快でプラガブルで効果的な PLM 防御である MDP を,少人数の学習者として提唱する。
我々は,MDPが攻撃の有効性と回避性の両方を選択できる興味深いジレンマを発生させることを解析的に示す。
論文 参考訳(メタデータ) (2023-09-23T04:41:55Z) - On Evaluating Adversarial Robustness of Large Vision-Language Models [64.66104342002882]
大規模視覚言語モデル(VLM)のロバスト性を,最も現実的で高リスクな環境で評価する。
特に,CLIP や BLIP などの事前学習モデルに対して,まず攻撃対象のサンプルを作成する。
これらのVLM上のブラックボックスクエリは、ターゲットの回避の効果をさらに向上させることができる。
論文 参考訳(メタデータ) (2023-05-26T13:49:44Z) - Membership Inference Attacks Against Self-supervised Speech Models [62.73937175625953]
連続音声における自己教師付き学習(SSL)が注目されている。
ブラックボックスアクセス下でのMIA(Commanship Inference Attacks)を用いたSSL音声モデルに対する最初のプライバシ分析を行う。
論文 参考訳(メタデータ) (2021-11-09T13:00:24Z) - Membership Inference Attack Susceptibility of Clinical Language Models [9.823833005444493]
BERTやGPT2といったモデルアーキテクチャにおける経験的プライバシリークを推定するために,メンバシップ推論攻撃を設計し,採用する。
以上の結果から,小型モデルは大規模モデルよりも経験的プライバシリークが低く,マスクされたLMは自己回帰型LMよりもリークが低いことがわかった。
論文 参考訳(メタデータ) (2021-04-16T18:29:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。