論文の概要: Lost in the Averages: A New Specific Setup to Evaluate Membership Inference Attacks Against Machine Learning Models

• arxiv url: http://arxiv.org/abs/2405.15423v1
• Date: Fri, 24 May 2024 10:37:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-27 14:52:03.855282
• Title: Lost in the Averages: A New Specific Setup to Evaluate Membership Inference Attacks Against Machine Learning Models
• Title（参考訳）: 平均損失:機械学習モデルに対するメンバーシップ推論攻撃を評価するための新しい具体的セットアップ
• Authors: Florent Guépin, Nataša Krčo, Matthieu Meeus, Yves-Alexandre de Montjoye,
• Abstract要約: メンバーシップ推論攻撃(MIAs)は、機械学習(ML)モデルの妥当性を評価するために使用され、個々のレコードを記憶する。 MLモデルに対するMIAの評価設定を新たに提案する。 現在設定されているリスク見積は、多くのレコードが低いリスクとして誤って分類されていることを示しています。
• 参考スコア（独自算出の注目度）: 6.343040313814916
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Membership Inference Attacks (MIAs) are widely used to evaluate the propensity of a machine learning (ML) model to memorize an individual record and the privacy risk releasing the model poses. MIAs are commonly evaluated similarly to ML models: the MIA is performed on a test set of models trained on datasets unseen during training, which are sampled from a larger pool, $D_{eval}$. The MIA is evaluated across all datasets in this test set, and is thus evaluated across the distribution of samples from $D_{eval}$. While this was a natural extension of ML evaluation to MIAs, recent work has shown that a record's risk heavily depends on its specific dataset. For example, outliers are particularly vulnerable, yet an outlier in one dataset may not be one in another. The sources of randomness currently used to evaluate MIAs may thus lead to inaccurate individual privacy risk estimates. We propose a new, specific evaluation setup for MIAs against ML models, using weight initialization as the sole source of randomness. This allows us to accurately evaluate the risk associated with the release of a model trained on a specific dataset. Using SOTA MIAs, we empirically show that the risk estimates given by the current setup lead to many records being misclassified as low risk. We derive theoretical results which, combined with empirical evidence, suggest that the risk calculated in the current setup is an average of the risks specific to each sampled dataset, validating our use of weight initialization as the only source of randomness. Finally, we consider an MIA with a stronger adversary leveraging information about the target dataset to infer membership. Taken together, our results show that current MIA evaluation is averaging the risk across datasets leading to inaccurate risk estimates, and the risk posed by attacks leveraging information about the target dataset to be potentially underestimated.
• Abstract（参考訳）: メンバーシップ推論攻撃(MIA)は、個々のレコードを記憶するための機械学習(ML)モデルの妥当性と、モデルを公開するプライバシーリスクを評価するために広く使用されている。 MIAはトレーニング中に見つからないデータセットでトレーニングされたモデルのテストセット上で実行され、より大きなプールである$D_{eval}$からサンプルされる。 MIAは、このテストセットの全データセットで評価され、$D_{eval}$のサンプルの分布で評価される。 これはML評価のMIAへの自然な拡張であるが、最近の研究によると、レコードのリスクは特定のデータセットに大きく依存している。 例えば、outlierは特に脆弱性があるが、一方のデータセットのoutlierは他方のデータセットではないかもしれない。 現在MIAを評価するのに使われているランダムな情報源は、個人のプライバシーリスクの推定を不正確なものにする可能性がある。 そこで本研究では,MLモデルに対するMIAの新しい具体的な評価設定を提案し,重み初期化をランダム性の唯一の源として用いた。 これにより、特定のデータセットでトレーニングされたモデルのリリースに伴うリスクを正確に評価することができます。 SOTA MIAを用いて、現在の設定によるリスク見積の結果、多くのレコードが低いリスクとして誤分類されていることを実証的に示す。 実験的な証拠と組み合わせた理論的結果から、現在の設定で算出されたリスクは、各サンプルデータセットに特有のリスクの平均であり、無作為性の唯一の源としてウェイト初期化の使用が有効であることが示唆された。 最後に、より強力な敵を持つMIAが、ターゲットデータセットに関する情報を利用してメンバーシップを推測する。 その結果、現在のMIA評価は、不正確なリスク推定につながるデータセット間のリスクを平均化し、ターゲットデータセットに関する情報を活用する攻撃によるリスクが過小評価される可能性が示唆された。

関連論文リスト

• Geometry-Aware Instrumental Variable Regression [56.16884466478886]
  本稿では,データ導出情報によるデータ多様体の幾何を考慮した移動型IV推定器を提案する。 本手法のプラグイン・アンド・プレイ実装は,標準設定で関連する推定器と同等に動作する。
  論文  参考訳（メタデータ） (2024-05-19T17:49:33Z)
• Uncertainty, Calibration, and Membership Inference Attacks: An Information-Theoretic Perspective [46.08491133624608]
  我々は,情報理論の枠組みを用いて,最先端の確率比攻撃(LiRA)の性能を解析する。 我々は、MIAの有効性に対する不確実性と校正の影響についての洞察を提供することを目的として、MIA敵の利点に基づいて境界を導出する。
  論文  参考訳（メタデータ） (2024-02-16T13:41:18Z)
• Low-Cost High-Power Membership Inference Attacks [15.240271537329534]
  メンバーシップ推論攻撃は、特定のデータポイントがモデルのトレーニングに使用されたかどうかを検出することを目的としている。 我々は,計算オーバーヘッドの少ない,堅牢なメンバシップ推論攻撃を行うための新しい統計的試験を設計する。 RMIAは、機械学習における実用的かつ正確なデータプライバシーリスク評価の基礎を成している。
  論文  参考訳（メタデータ） (2023-12-06T03:18:49Z)
• Assessing Privacy Risks in Language Models: A Case Study on Summarization Tasks [65.21536453075275]
  我々は要約作業に焦点をあて、会員推測(MI)攻撃について調査する。 テキストの類似性や文書修正に対するモデルの抵抗をMI信号として活用する。 我々は、MI攻撃から保護するための要約モデルの訓練と、プライバシとユーティリティの本質的にのトレードオフについて議論する。
  論文  参考訳（メタデータ） (2023-10-20T05:44:39Z)
• Bring Your Own Data! Self-Supervised Evaluation for Large Language Models [52.15056231665816]
  大規模言語モデル(LLM)の自己教師型評価のためのフレームワークを提案する。 閉書知識,毒性,長期文脈依存性を測定するための自己指導型評価戦略を実証する。 自己監督評価と人監督評価との間には強い相関関係が認められた。
  論文  参考訳（メタデータ） (2023-06-23T17:59:09Z)
• An Effective Meaningful Way to Evaluate Survival Models [34.21432603301076]
  実際には、テストセットには検閲された個人が含まれています。 本稿では,現実的な半合成サバイバルデータセットを生成するための,新しい効果的なアプローチを提案する。 提案手法では,モデルの性能に基づいて精度の高いランク付けが可能であり,しばしば真のMAEと密接に一致している。
  論文  参考訳（メタデータ） (2023-06-01T23:22:46Z)
• Membership Inference Attacks against Synthetic Data through Overfitting Detection [84.02632160692995]
  我々は、攻撃者が基礎となるデータ分布についてある程度の知識を持っていると仮定する現実的なMIA設定について論じる。 生成モデルの局所的なオーバーフィッティングをターゲットとして,メンバシップを推論することを目的とした密度ベースMIAモデルであるDOMIASを提案する。
  論文  参考訳（メタデータ） (2023-02-24T11:27:39Z)
• Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
  実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。 本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。 本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
  論文  参考訳（メタデータ） (2022-01-11T23:01:12Z)
• SHAPr: An Efficient and Versatile Membership Privacy Risk Metric for Machine Learning [13.952586561595473]
  機械学習(ML)モデルのトレーニングに使用されるデータは、センシティブである。 メンバーシップ推論攻撃(MIA)は、特定のデータレコードがMLモデルのトレーニングに使用されたかどうかを判断し、メンバーシップのプライバシを侵害するリスクを負う。 本稿では,Shapley値を用いて個別のトレーニングデータ記録の記憶を定量化するSHAPrを提案する。
  論文  参考訳（メタデータ） (2021-12-04T03:45:49Z)
• RIFLE: Imputation and Robust Inference from Low Order Marginals [10.082738539201804]
  我々は,不備なデータの存在下での回帰と分類のための統計的推論フレームワークを開発する。 我々のフレームワークであるRIFLEは、基礎となるデータ分布の低次モーメントを対応する信頼区間で推定し、分布的に堅牢なモデルを学ぶ。 実験の結果,RIFLEは,欠落値の割合が高い場合や,データポイント数が比較的小さい場合には,他のベンチマークアルゴリズムよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2021-09-01T23:17:30Z)
• Performance metrics for intervention-triggering prediction models do not reflect an expected reduction in outcomes from using the model [71.9860741092209]
  臨床研究者はしばしばリスク予測モデルの中から選択し評価する。 振り返りデータから算出される標準メトリクスは、特定の仮定の下でのみモデルユーティリティに関係します。 予測が時間を通して繰り返し配信される場合、標準メトリクスとユーティリティの関係はさらに複雑になる。
  論文  参考訳（メタデータ） (2020-06-02T16:26:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。