論文の概要: On the Discredibility of Membership Inference Attacks

• arxiv url: http://arxiv.org/abs/2212.02701v2
• Date: Fri, 28 Apr 2023 16:49:01 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-01 17:20:11.388020
• Title: On the Discredibility of Membership Inference Attacks
• Title（参考訳）: 会員推論攻撃の識別性について
• Authors: Shahbaz Rezaei and Xin Liu
• Abstract要約: サンプルがトレーニングセットの一部であったかどうかを判断するために、メンバシップ推論攻撃が提案されている。 MIモデルは、メンバーサンプルの隣り合う非メンバーサンプルをメンバーとして誤分類することも多い。 本研究は,現在のメンバーシップ推論攻撃は記憶されたサブ集団を識別できるが,トレーニング中にどのサブ集団が使用されたのかを確実に特定できない。
• 参考スコア（独自算出の注目度）: 11.172550334631921
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the wide-spread application of machine learning models, it has become critical to study the potential data leakage of models trained on sensitive data. Recently, various membership inference (MI) attacks are proposed to determine if a sample was part of the training set or not. The question is whether these attacks can be reliably used in practice. We show that MI models frequently misclassify neighboring nonmember samples of a member sample as members. In other words, they have a high false positive rate on the subpopulations of the exact member samples that they can identify. We then showcase a practical application of MI attacks where this issue has a real-world repercussion. Here, MI attacks are used by an external auditor (investigator) to show to a judge/jury that an auditee unlawfully used sensitive data. Due to the high false positive rate of MI attacks on member's subpopulations, auditee challenges the credibility of the auditor by revealing the performance of the MI attacks on these subpopulations. We argue that current membership inference attacks can identify memorized subpopulations, but they cannot reliably identify which exact sample in the subpopulation was used during the training.
• Abstract（参考訳）: 機械学習モデルの広範な適用により、センシティブなデータでトレーニングされたモデルの潜在的なデータ漏洩を研究することが重要になっている。 近年、サンプルがトレーニングセットの一部であるか否かを判断するために、様々なメンバーシップ推論(MI)攻撃が提案されている。 問題は、これらの攻撃が実際に確実に使用できるかどうかだ。 MIモデルは、メンバーサンプルの隣り合う非メンバーサンプルをメンバーとして誤分類することも多い。 言い換えれば、それらは識別できる正確なメンバーサンプルのサブポピュレーションに対して高い偽陽性率を持つ。 次に、この問題が現実の反感を持つMI攻撃の実践的応用を示す。 ここで、MI攻撃は外部監査官(調査員)によって、審査員が不正に機密データを使用したことを裁判官/陪審に示すために使用される。 参加者のサブポピュレーションに対するMI攻撃の偽陽性率が高いため、監査人はこれらのサブポピュレーションに対するMI攻撃のパフォーマンスを明らかにすることで監査人の信頼性に挑戦する。 本研究は,現在のメンバーシップ推論攻撃は記憶されたサブ集団を識別できるが,トレーニング中にどのサブ集団が使用されたかを確実に特定できない。

関連論文リスト

• Blind Baselines Beat Membership Inference Attacks for Foundation Models [24.010279957557252]
  メンバーシップ推論(MI)攻撃は、データサンプルが機械学習モデルのトレーニングに使用されたかどうかを判断しようとする。 未知のWebデータに基づいてトレーニングされた基礎モデルに対して、MI攻撃は著作権のあるトレーニング材料の検出、テストセットの汚染の測定、あるいは監査マシンのアンラーニングに使用できる。 基礎モデルに対するMI攻撃の評価は, 異なる分布からメンバーや非メンバーをサンプリングするため, 欠陥があることが示されている。
  論文  参考訳（メタデータ） (2024-06-23T19:40:11Z)
• Do Membership Inference Attacks Work on Large Language Models? [141.2019867466968]
  メンバーシップ推論攻撃(MIA)は、特定のデータポイントがターゲットモデルのトレーニングデータのメンバーであるかどうかを予測しようとする。 我々は、Pileで訓練された言語モデルに対して、MIAの大規模評価を行い、そのパラメータは160Mから12Bまでである。 様々な LLM サイズや領域にまたがるほとんどの設定において,MIA はランダムな推測よりもほとんど優れていないことがわかった。
  論文  参考訳（メタデータ） (2024-02-12T17:52:05Z)
• Assessing Privacy Risks in Language Models: A Case Study on Summarization Tasks [65.21536453075275]
  我々は要約作業に焦点をあて、会員推測(MI)攻撃について調査する。 テキストの類似性や文書修正に対するモデルの抵抗をMI信号として活用する。 我々は、MI攻撃から保護するための要約モデルの訓練と、プライバシとユーティリティの本質的にのトレードオフについて議論する。
  論文  参考訳（メタデータ） (2023-10-20T05:44:39Z)
• Defending Pre-trained Language Models as Few-shot Learners against Backdoor Attacks [72.03945355787776]
  軽快でプラガブルで効果的な PLM 防御である MDP を,少人数の学習者として提唱する。 我々は,MDPが攻撃の有効性と回避性の両方を選択できる興味深いジレンマを発生させることを解析的に示す。
  論文  参考訳（メタデータ） (2023-09-23T04:41:55Z)
• Membership Inference Attacks against Synthetic Data through Overfitting Detection [84.02632160692995]
  我々は、攻撃者が基礎となるデータ分布についてある程度の知識を持っていると仮定する現実的なMIA設定について論じる。 生成モデルの局所的なオーバーフィッティングをターゲットとして,メンバシップを推論することを目的とした密度ベースMIAモデルであるDOMIASを提案する。
  論文  参考訳（メタデータ） (2023-02-24T11:27:39Z)
• Canary in a Coalmine: Better Membership Inference with Ensembled Adversarial Queries [53.222218035435006]
  私たちは、差別的で多様なクエリを最適化するために、逆ツールを使用します。 我々の改善は既存の方法よりもはるかに正確な会員推定を実現している。
  論文  参考訳（メタデータ） (2022-10-19T17:46:50Z)
• User-Level Membership Inference Attack against Metric Embedding Learning [8.414720636874106]
  メンバーシップ推論(MI)は、サンプルが犠牲者モデルのトレーニングセットの一部であるかどうかを決定する。 本稿では,対象ユーザからのサンプルがトレーニング中に使用されたかどうかを目標とするユーザレベルMI攻撃を開発する。
  論文  参考訳（メタデータ） (2022-03-04T00:49:42Z)
• Investigating Membership Inference Attacks under Data Dependencies [26.70764798408236]
  プライバシーに敏感なデータに基づく機械学習モデルのトレーニングが、プライバシーに深刻な影響を及ぼす可能性のある新たな攻撃の扉を開いた。 そのような攻撃の1つは、メンバーシップ推論攻撃 (MIA) であり、特定のデータポイントがモデルをトレーニングするために使用されたかどうかを公開する。 我々は、訓練セットのすべてのメンバーと非メンバーが独立して同一に分散しているという制限的な仮定の下で、防衛を評価した。
  論文  参考訳（メタデータ） (2020-10-23T00:16:46Z)
• Sampling Attacks: Amplification of Membership Inference Attacks by Repeated Queries [74.59376038272661]
  本手法は,他の標準メンバーシップ相手と異なり,被害者モデルのスコアにアクセスできないような厳格な制限の下で動作可能な,新しいメンバーシップ推論手法であるサンプリングアタックを導入する。 ラベルのみを公開している被害者モデルでは,攻撃のサンプリングが引き続き可能であり,攻撃者はその性能の最大100%を回復できることを示す。 防衛においては,被害者モデルのトレーニング中の勾配摂動と予測時の出力摂動の形式で差分プライバシーを選択する。
  論文  参考訳（メタデータ） (2020-09-01T12:54:54Z)
• On the Difficulty of Membership Inference Attacks [11.172550334631921]
  近年の研究では,深層モデルに対するMI攻撃が提案されている。 明らかな成功にもかかわらず、これらの研究は正のクラス(メンバークラス)の正確さ、正確さ、リコールのみを報告している。 報告されていない偽陽性率や誤警報率(FAR)に悩まされているため,MI攻撃の報告方法が誤解を招くことが多い。
  論文  参考訳（メタデータ） (2020-05-27T23:09:17Z)
• Membership Inference Attacks and Defenses in Classification Models [19.498313593713043]
  分類器に対するMI攻撃について検討する。 我々は、MI攻撃に対するモデルの脆弱性が一般化ギャップと密接に関連していることを発見した。 トレーニング精度を意図的に低減し,ギャップを埋めることを目的としたMI攻撃に対する防御手法を提案する。
  論文  参考訳（メタデータ） (2020-02-27T12:35:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。