論文の概要: Investigating Membership Inference Attacks under Data Dependencies

• arxiv url: http://arxiv.org/abs/2010.12112v4
• Date: Wed, 14 Jun 2023 14:01:11 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-17 04:40:41.711059
• Title: Investigating Membership Inference Attacks under Data Dependencies
• Title（参考訳）: データ依存による会員推測攻撃の調査
• Authors: Thomas Humphries, Simon Oya, Lindsey Tulloch, Matthew Rafuse, Ian Goldberg, Urs Hengartner, Florian Kerschbaum
• Abstract要約: プライバシーに敏感なデータに基づく機械学習モデルのトレーニングが、プライバシーに深刻な影響を及ぼす可能性のある新たな攻撃の扉を開いた。 そのような攻撃の1つは、メンバーシップ推論攻撃 (MIA) であり、特定のデータポイントがモデルをトレーニングするために使用されたかどうかを公開する。 我々は、訓練セットのすべてのメンバーと非メンバーが独立して同一に分散しているという制限的な仮定の下で、防衛を評価した。
• 参考スコア（独自算出の注目度）: 26.70764798408236
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Training machine learning models on privacy-sensitive data has become a popular practice, driving innovation in ever-expanding fields. This has opened the door to new attacks that can have serious privacy implications. One such attack, the Membership Inference Attack (MIA), exposes whether or not a particular data point was used to train a model. A growing body of literature uses Differentially Private (DP) training algorithms as a defence against such attacks. However, these works evaluate the defence under the restrictive assumption that all members of the training set, as well as non-members, are independent and identically distributed. This assumption does not hold for many real-world use cases in the literature. Motivated by this, we evaluate membership inference with statistical dependencies among samples and explain why DP does not provide meaningful protection (the privacy parameter $\epsilon$ scales with the training set size $n$) in this more general case. We conduct a series of empirical evaluations with off-the-shelf MIAs using training sets built from real-world data showing different types of dependencies among samples. Our results reveal that training set dependencies can severely increase the performance of MIAs, and therefore assuming that data samples are statistically independent can significantly underestimate the performance of MIAs.
• Abstract（参考訳）: プライバシに敏感なデータに基づく機械学習モデルのトレーニングが一般的なプラクティスとなり、拡大する分野におけるイノベーションを推進している。 これにより、プライバシーに深刻な影響をもたらす新たな攻撃への扉が開いた。 そのような攻撃の一つ、メンバーシップ推論攻撃(mia)は、特定のデータポイントがモデルのトレーニングに使われたかどうかを暴露する。 増大する文学は、そのような攻撃に対する防御として差分プライベート(dp)訓練アルゴリズムを使用する。 しかしながら、これらの研究は、訓練セットのすべてのメンバーと非メンバーが独立して同一に分散しているという制限的な仮定の下で、防衛を評価する。 この仮定は文学における現実世界のユースケースの多くに当てはまらない。 このことから,サンプル間の統計的依存関係による会員推定を評価し,DPが意味のある保護を提供していない理由(プライバシーパラメータ $\epsilon$ scales with the training set size $n$)を説明する。 実世界のデータから構築したサンプル間の依存関係の異なるトレーニングセットを用いて,市販miasを用いた経験的評価を行う。 以上の結果から,MIA の性能が大幅に向上し,データサンプルが統計的に独立であることはMIA の性能を著しく過小評価できることがわかった。

関連論文リスト

• Inexact Unlearning Needs More Careful Evaluations to Avoid a False Sense of Privacy [45.413801663923564]
  会員推論攻撃(MIA)の未学習環境への適応について論じる。 未学習文学において一般的に用いられるU-MIAは、既存の未学習技術が視覚モデルと言語モデルの両方で持つプライバシー保護を過大評価していることを示す。
  論文  参考訳（メタデータ） (2024-03-02T14:22:40Z)
• Do Membership Inference Attacks Work on Large Language Models? [145.90022632726883]
  メンバーシップ推論攻撃(MIA)は、特定のデータポイントがターゲットモデルのトレーニングデータのメンバーであるかどうかを予測しようとする。 我々は、Pileで訓練された言語モデルに対して、MIAの大規模評価を行い、そのパラメータは160Mから12Bまでである。 様々な LLM サイズや領域にまたがるほとんどの設定において,MIA はランダムな推測よりもほとんど優れていないことがわかった。
  論文  参考訳（メタデータ） (2024-02-12T17:52:05Z)
• Assessing Privacy Risks in Language Models: A Case Study on Summarization Tasks [65.21536453075275]
  我々は要約作業に焦点をあて、会員推測(MI)攻撃について調査する。 テキストの類似性や文書修正に対するモデルの抵抗をMI信号として活用する。 我々は、MI攻撃から保護するための要約モデルの訓練と、プライバシとユーティリティの本質的にのトレードオフについて議論する。
  論文  参考訳（メタデータ） (2023-10-20T05:44:39Z)
• Membership Inference Attacks against Synthetic Data through Overfitting Detection [84.02632160692995]
  我々は、攻撃者が基礎となるデータ分布についてある程度の知識を持っていると仮定する現実的なMIA設定について論じる。 生成モデルの局所的なオーバーフィッティングをターゲットとして,メンバシップを推論することを目的とした密度ベースMIAモデルであるDOMIASを提案する。
  論文  参考訳（メタデータ） (2023-02-24T11:27:39Z)
• RelaxLoss: Defending Membership Inference Attacks without Losing Utility [68.48117818874155]
  より達成可能な学習目標を持つ緩和された損失に基づく新しい学習フレームワークを提案する。 RelaxLossは、簡単な実装と無視可能なオーバーヘッドのメリットを加えた任意の分類モデルに適用できる。 当社のアプローチはMIAに対するレジリエンスの観点から,常に最先端の防御機構より優れています。
  論文  参考訳（メタデータ） (2022-07-12T19:34:47Z)
• Lessons Learned: Defending Against Property Inference Attacks [0.0]
  本研究は,資産推測攻撃(PIA)に対する複数の防衛戦略について検討し,評価する。 PIAは、基礎となるトレーニングデータの統計的特性、例えば、医療訓練データセットにおける男女比を明らかにすることを目的としている。 プロパティアンラーニングによる実験は、プロパティアンラーニングが一般化できないこと、すなわち、PIAのクラス全体に対する保護が示される。
  論文  参考訳（メタデータ） (2022-05-18T09:38:37Z)
• Enhanced Membership Inference Attacks against Machine Learning Models [9.26208227402571]
  メンバーシップ推論攻撃は、モデルがトレーニングセット内の個々のデータポイントについてリークする個人情報の定量化に使用される。 我々は,AUCスコアを高い精度で達成できる新たな攻撃アルゴリズムを導き,その性能に影響を及ぼすさまざまな要因を強調した。 我々のアルゴリズムは、モデルにおけるプライバシ損失の極めて正確な近似を捉え、機械学習モデルにおけるプライバシリスクの正確かつ詳細な推定を行うためのツールとして使用することができる。
  論文  参考訳（メタデータ） (2021-11-18T13:31:22Z)
• Do Not Trust Prediction Scores for Membership Inference Attacks [15.567057178736402]
  メンバーシップ推論攻撃(MIA)は、特定のサンプルが予測モデルのトレーニングに使用されたかどうかを判断することを目的としている。 これは、多くの現代のディープネットワークアーキテクチャにとって誤りである、と我々は主張する。 トレーニングデータの一部として誤って分類された、潜在的に無限のサンプルを生成できるのです。
  論文  参考訳（メタデータ） (2021-11-17T12:39:04Z)
• Knowledge-Enriched Distributional Model Inversion Attacks [49.43828150561947]
  モデルインバージョン(MI)攻撃は、モデルパラメータからトレーニングデータを再構成することを目的としている。 本稿では,パブリックデータからプライベートモデルに対する攻撃を行うのに役立つ知識を抽出する,新しい反転型GANを提案する。 実験の結果,これらの手法を組み合わせることで,最先端MI攻撃の成功率を150%向上させることができることがわかった。
  論文  参考訳（メタデータ） (2020-10-08T16:20:48Z)
• Sampling Attacks: Amplification of Membership Inference Attacks by Repeated Queries [74.59376038272661]
  本手法は,他の標準メンバーシップ相手と異なり,被害者モデルのスコアにアクセスできないような厳格な制限の下で動作可能な,新しいメンバーシップ推論手法であるサンプリングアタックを導入する。 ラベルのみを公開している被害者モデルでは,攻撃のサンプリングが引き続き可能であり,攻撃者はその性能の最大100%を回復できることを示す。 防衛においては,被害者モデルのトレーニング中の勾配摂動と予測時の出力摂動の形式で差分プライバシーを選択する。
  論文  参考訳（メタデータ） (2020-09-01T12:54:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。