論文の概要: Lost in the Averages: A New Specific Setup to Evaluate Membership Inference Attacks Against Machine Learning Models

• arxiv url: http://arxiv.org/abs/2405.15423v1
• Date: Fri, 24 May 2024 10:37:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-05-27 14:52:03.855282
• Title: Lost in the Averages: A New Specific Setup to Evaluate Membership Inference Attacks Against Machine Learning Models
• Title（参考訳）: 平均損失:機械学習モデルに対するメンバーシップ推論攻撃を評価するための新しい具体的セットアップ
• Authors: Florent Guépin, Nataša Krčo, Matthieu Meeus, Yves-Alexandre de Montjoye,
• Abstract要約: メンバーシップ推論攻撃(MIAs)は、機械学習(ML)モデルの妥当性を評価するために使用され、個々のレコードを記憶する。 MLモデルに対するMIAの評価設定を新たに提案する。 現在設定されているリスク見積は、多くのレコードが低いリスクとして誤って分類されていることを示しています。
• 参考スコア（独自算出の注目度）: 6.343040313814916
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Membership Inference Attacks (MIAs) are widely used to evaluate the propensity of a machine learning (ML) model to memorize an individual record and the privacy risk releasing the model poses. MIAs are commonly evaluated similarly to ML models: the MIA is performed on a test set of models trained on datasets unseen during training, which are sampled from a larger pool, $D_{eval}$. The MIA is evaluated across all datasets in this test set, and is thus evaluated across the distribution of samples from $D_{eval}$. While this was a natural extension of ML evaluation to MIAs, recent work has shown that a record's risk heavily depends on its specific dataset. For example, outliers are particularly vulnerable, yet an outlier in one dataset may not be one in another. The sources of randomness currently used to evaluate MIAs may thus lead to inaccurate individual privacy risk estimates. We propose a new, specific evaluation setup for MIAs against ML models, using weight initialization as the sole source of randomness. This allows us to accurately evaluate the risk associated with the release of a model trained on a specific dataset. Using SOTA MIAs, we empirically show that the risk estimates given by the current setup lead to many records being misclassified as low risk. We derive theoretical results which, combined with empirical evidence, suggest that the risk calculated in the current setup is an average of the risks specific to each sampled dataset, validating our use of weight initialization as the only source of randomness. Finally, we consider an MIA with a stronger adversary leveraging information about the target dataset to infer membership. Taken together, our results show that current MIA evaluation is averaging the risk across datasets leading to inaccurate risk estimates, and the risk posed by attacks leveraging information about the target dataset to be potentially underestimated.
• Abstract（参考訳）: メンバーシップ推論攻撃(MIA)は、個々のレコードを記憶するための機械学習(ML)モデルの妥当性と、モデルを公開するプライバシーリスクを評価するために広く使用されている。 MIAはトレーニング中に見つからないデータセットでトレーニングされたモデルのテストセット上で実行され、より大きなプールである$D_{eval}$からサンプルされる。 MIAは、このテストセットの全データセットで評価され、$D_{eval}$のサンプルの分布で評価される。 これはML評価のMIAへの自然な拡張であるが、最近の研究によると、レコードのリスクは特定のデータセットに大きく依存している。 例えば、outlierは特に脆弱性があるが、一方のデータセットのoutlierは他方のデータセットではないかもしれない。 現在MIAを評価するのに使われているランダムな情報源は、個人のプライバシーリスクの推定を不正確なものにする可能性がある。 そこで本研究では,MLモデルに対するMIAの新しい具体的な評価設定を提案し,重み初期化をランダム性の唯一の源として用いた。 これにより、特定のデータセットでトレーニングされたモデルのリリースに伴うリスクを正確に評価することができます。 SOTA MIAを用いて、現在の設定によるリスク見積の結果、多くのレコードが低いリスクとして誤分類されていることを実証的に示す。 実験的な証拠と組み合わせた理論的結果から、現在の設定で算出されたリスクは、各サンプルデータセットに特有のリスクの平均であり、無作為性の唯一の源としてウェイト初期化の使用が有効であることが示唆された。 最後に、より強力な敵を持つMIAが、ターゲットデータセットに関する情報を利用してメンバーシップを推測する。 その結果、現在のMIA評価は、不正確なリスク推定につながるデータセット間のリスクを平均化し、ターゲットデータセットに関する情報を活用する攻撃によるリスクが過小評価される可能性が示唆された。

関連論文リスト

• Rethinking Anonymity Claims in Synthetic Data Generation: A Model-Centric Privacy Attack Perspective [18.404146545866812]
  合成データを生成するための生成機械学習モデルを訓練することは、データ共有におけるプライバシーを高めるための一般的なアプローチとなっている。 これは一般的に機密性の高い個人情報を処理するため、トレーニングされたモデルまたは生成された合成匿名性は、プライバシー上のリスクを生じさせる可能性がある。 有意義な評価は、基礎となる生成モデルの能力と特性を考慮し、最先端のプライバシ攻撃に基礎を置く必要がある、と我々は主張する。
  論文  参考訳（メタデータ） (2026-01-30T00:57:41Z)
• Synth-MIA: A Testbed for Auditing Privacy Leakage in Tabular Data Synthesis [8.4361320391543]
  タブラル生成モデルは、トレーニングデータに似た合成データセットを作成することによって、プライバシを保護するとしばしば主張される。 会員推論攻撃(MIA)は、最近、合成データのプライバシー漏洩を評価する方法として登場した。 合成データセットの最大プライバシー漏洩を推定するために、攻撃の集合をデプロイする統一的モデルに依存しない脅威フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-09-22T16:53:38Z)
• On the MIA Vulnerability Gap Between Private GANs and Diffusion Models [51.53790101362898]
  GAN(Generative Adversarial Networks)と拡散モデルが高品質な画像合成のための主要なアプローチとして登場している。 差分自己生成モデルが直面するプライバシーリスクの統一的および実証的分析について述べる。
  論文  参考訳（メタデータ） (2025-09-03T14:18:22Z)
• Privacy Auditing Synthetic Data Release through Local Likelihood Attacks [7.780592134085148]
  遺伝子様比攻撃(Gen-LRA) Gen-LRAは、サロゲートモデルによる合成データに対する局所確率比の推定において、テスト観測が与える影響を評価して攻撃を定式化する。 その結果、Gen-LRAは、合成データのリリースのためのプライバシ監査ツールとしての有効性を裏付けている。
  論文  参考訳（メタデータ） (2025-08-28T18:27:40Z)
• Learning from M-Tuple Dominant Positive and Unlabeled Data [9.568395664931504]
  本稿では,実世界のアプリケーションシナリオに適合する汎用学習フレームワークであるemphMDPUを提案する。 経験的リスク最小化 (ERM) 法に基づいて, リスク一貫性を満足する未バイアスリスク推定器を導出する。 トレーニング中に必然的に過適合する問題を緩和するため、リスク補正手法を導入し、修正されたリスク推定器の開発に繋がる。
  論文  参考訳（メタデータ） (2025-05-25T13:20:11Z)
• Mapping AI Benchmark Data to Quantitative Risk Estimates Through Expert Elicitation [0.7889270818022226]
  我々は、リスク見積の作成を容易にするために、既存のAIベンチマークをどのように利用できるかを示す。 本稿では、AIベンチマークであるCybenchからの情報を用いて確率推定を生成するパイロット研究の結果について述べる。
  論文  参考訳（メタデータ） (2025-03-06T10:39:47Z)
• DUPRE: Data Utility Prediction for Efficient Data Valuation [49.60564885180563]
  Data Shapleyのような協調ゲーム理論に基づくデータ評価では、データユーティリティを評価し、複数のデータサブセットに対してMLモデルを再トレーニングする必要がある。 我々のフレームワークである textttDUPRE は、モデル再学習による評価ではなく、データユーティリティを予測することによって、サブセット評価当たりのコストを削減できる代替手法を採用しています。 具体的には、いくつかのデータサブセットのデータユーティリティを評価すると、textttDUPREは、他のすべてのデータサブセットの有用性を予測するために、emphGaussianプロセス(GP)回帰モデルに適合する。
  論文  参考訳（メタデータ） (2025-02-22T08:53:39Z)
• Quantifying the Prediction Uncertainty of Machine Learning Models for Individual Data [2.1248439796866228]
  本研究では,線形回帰とニューラルネットワークに対するpNMLの学習可能性について検討する。 pNMLは様々なタスクにおけるこれらのモデルの性能と堅牢性を向上させることができることを示す。
  論文  参考訳（メタデータ） (2024-12-10T13:58:19Z)
• Free Record-Level Privacy Risk Evaluation Through Artifact-Based Methods [6.902279764206365]
  本稿では,トレーニング中に利用可能な人工物のみを用いて,リスクの高いサンプルを識別する新しい手法を提案する。 本手法は, サンプルごとの損失トレースを分析し, 脆弱なデータサンプルを同定する。
  論文  参考訳（メタデータ） (2024-11-08T18:04:41Z)
• Detecting Training Data of Large Language Models via Expectation Maximization [62.28028046993391]
  メンバーシップ推論攻撃(MIA)は、特定のインスタンスがターゲットモデルのトレーニングデータの一部であるかどうかを判断することを目的としている。 大規模言語モデル(LLM)にMIAを適用することは、事前学習データの大規模化と、会員シップのあいまいさによって、ユニークな課題をもたらす。 EM-MIAは,予測最大化アルゴリズムを用いて,メンバーシップスコアとプレフィックススコアを反復的に洗練するLLMの新しいMIA手法である。
  論文  参考訳（メタデータ） (2024-10-10T03:31:16Z)
• Nob-MIAs: Non-biased Membership Inference Attacks Assessment on Large Language Models with Ex-Post Dataset Construction [37.69303106863453]
  メンバーシップ推論攻撃 (MIA) は、特定の文書が与えられたLarge Language Models (LLM) プリトレーニングで使用されたかどうかを検出することを目的としている。 本稿では,LLMにおけるMIAの評価について述べる。 我々は、より公平なMIA評価のために、非バイアス'と非分類'のデータセットを作成するアルゴリズムを提案し、検証する。
  論文  参考訳（メタデータ） (2024-08-12T07:49:28Z)
• Geometry-Aware Instrumental Variable Regression [56.16884466478886]
  本稿では,データ導出情報によるデータ多様体の幾何を考慮した移動型IV推定器を提案する。 本手法のプラグイン・アンド・プレイ実装は,標準設定で関連する推定器と同等に動作する。
  論文  参考訳（メタデータ） (2024-05-19T17:49:33Z)
• Privacy Backdoors: Enhancing Membership Inference through Poisoning Pre-trained Models [112.48136829374741]
  本稿では、プライバシーバックドア攻撃という新たな脆弱性を明らかにします。 被害者がバックドアモデルに微調整を行った場合、トレーニングデータは通常のモデルに微調整された場合よりも大幅に高い速度でリークされる。 我々の発見は、機械学習コミュニティにおける重要なプライバシー上の懸念を浮き彫りにし、オープンソースの事前訓練モデルの使用における安全性プロトコルの再評価を求めている。
  論文  参考訳（メタデータ） (2024-04-01T16:50:54Z)
• From Mean to Extreme: Formal Differential Privacy Bounds on the Success of Real-World Data Reconstruction Attacks [54.25638567385662]
  機械学習における微分プライバシーは、しばしばメンバーシップ推論に対する保証として解釈される。 DP予算を定量的な保護に翻訳することで、データ再構築の脅威を悪化させることは、依然として困難な課題である。 本稿では、実証された"ゼロスクラッチ"攻撃のメカニズムに合わせた、最初の公式なプライバシー境界を導出することで、臨界ギャップを埋める。
  論文  参考訳（メタデータ） (2024-02-20T09:52:30Z)
• On the Impact of Uncertainty and Calibration on Likelihood-Ratio Membership Inference Attacks [42.18575921329484]
  我々は,情報理論の枠組みを用いて,最先端の確率比攻撃(LiRA)の性能を解析する。 我々は、MIAの有効性に対する不確実性と校正の影響についての洞察を提供することを目的として、MIA敵の利点に基づいて境界を導出する。
  論文  参考訳（メタデータ） (2024-02-16T13:41:18Z)
• Practical Membership Inference Attacks against Fine-tuned Large Language Models via Self-prompt Calibration [32.15773300068426]
  メンバーシップ推論攻撃は、対象のデータレコードがモデルトレーニングに使用されたかどうかを推測することを目的としている。 自己校正確率変動(SPV-MIA)に基づくメンバーシップ推論攻撃を提案する。
  論文  参考訳（メタデータ） (2023-11-10T13:55:05Z)
• $\alpha$-Mutual Information: A Tunable Privacy Measure for Privacy Protection in Data Sharing [4.475091558538915]
  本稿では, 有基の$alpha$-Mutual Informationを調整可能なプライバシ尺度として採用する。 我々は、プライバシ保護を提供するためにオリジナルのデータを操作するための一般的な歪みに基づくメカニズムを定式化する。
  論文  参考訳（メタデータ） (2023-10-27T16:26:14Z)
• Assessing Privacy Risks in Language Models: A Case Study on Summarization Tasks [65.21536453075275]
  我々は要約作業に焦点をあて、会員推測(MI)攻撃について調査する。 テキストの類似性や文書修正に対するモデルの抵抗をMI信号として活用する。 我々は、MI攻撃から保護するための要約モデルの訓練と、プライバシとユーティリティの本質的にのトレードオフについて議論する。
  論文  参考訳（メタデータ） (2023-10-20T05:44:39Z)
• PrivacyMind: Large Language Models Can Be Contextual Privacy Protection Learners [81.571305826793]
  コンテキストプライバシ保護言語モデル(PrivacyMind)を紹介する。 我々の研究はモデル設計に関する理論的分析を提供し、様々な手法をベンチマークする。 特に、肯定的な例と否定的な例の両方による命令チューニングは、有望な方法である。
  論文  参考訳（メタデータ） (2023-10-03T22:37:01Z)
• Bring Your Own Data! Self-Supervised Evaluation for Large Language Models [52.15056231665816]
  大規模言語モデル(LLM)の自己教師型評価のためのフレームワークを提案する。 閉書知識,毒性,長期文脈依存性を測定するための自己指導型評価戦略を実証する。 自己監督評価と人監督評価との間には強い相関関係が認められた。
  論文  参考訳（メタデータ） (2023-06-23T17:59:09Z)
• Membership Inference Attacks against Synthetic Data through Overfitting Detection [84.02632160692995]
  我々は、攻撃者が基礎となるデータ分布についてある程度の知識を持っていると仮定する現実的なMIA設定について論じる。 生成モデルの局所的なオーバーフィッティングをターゲットとして,メンバシップを推論することを目的とした密度ベースMIAモデルであるDOMIASを提案する。
  論文  参考訳（メタデータ） (2023-02-24T11:27:39Z)
• Defending against Reconstruction Attacks with R\'enyi Differential Privacy [72.1188520352079]
  レコンストラクション攻撃により、敵は訓練されたモデルのみにアクセスすることで、トレーニングセットのデータサンプルを再生することができる。 差別化プライバシはこのような攻撃に対する既知の解決策であるが、比較的大きなプライバシ予算で使用されることが多い。 また、同機構により、従来の文献よりも優れた復元攻撃に対するプライバシー保証を導出できることを示す。
  論文  参考訳（メタデータ） (2022-02-15T18:09:30Z)
• SHAPr: An Efficient and Versatile Membership Privacy Risk Metric for Machine Learning [13.952586561595473]
  機械学習(ML)モデルのトレーニングに使用されるデータは、センシティブである。 メンバーシップ推論攻撃(MIA)は、特定のデータレコードがMLモデルのトレーニングに使用されたかどうかを判断し、メンバーシップのプライバシを侵害するリスクを負う。 本稿では,Shapley値を用いて個別のトレーニングデータ記録の記憶を定量化するSHAPrを提案する。
  論文  参考訳（メタデータ） (2021-12-04T03:45:49Z)
• Performance metrics for intervention-triggering prediction models do not reflect an expected reduction in outcomes from using the model [71.9860741092209]
  臨床研究者はしばしばリスク予測モデルの中から選択し評価する。 振り返りデータから算出される標準メトリクスは、特定の仮定の下でのみモデルユーティリティに関係します。 予測が時間を通して繰り返し配信される場合、標準メトリクスとユーティリティの関係はさらに複雑になる。
  論文  参考訳（メタデータ） (2020-06-02T16:26:49Z)
• Systematic Evaluation of Privacy Risks of Machine Learning Models [41.017707772150835]
  メンバーシップ推論攻撃に対する事前の取り組みは、プライバシーリスクを著しく過小評価する可能性があることを示す。 まず、既存の非ニューラルネットワークベースの推論攻撃を改善することで、メンバーシップ推論のプライバシリスクをベンチマークする。 次に、プライバシリスクスコアと呼ばれる新しい指標を定式化し、導出することで、詳細なプライバシ分析のための新しいアプローチを導入する。
  論文  参考訳（メタデータ） (2020-03-24T00:53:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。