論文の概要: Lost in the Averages: A New Specific Setup to Evaluate Membership Inference Attacks Against Machine Learning Models

• arxiv url: http://arxiv.org/abs/2405.15423v2
• Date: Thu, 16 Oct 2025 11:17:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-17 21:15:14.411533
• Title: Lost in the Averages: A New Specific Setup to Evaluate Membership Inference Attacks Against Machine Learning Models
• Title（参考訳）: 平均損失:機械学習モデルに対するメンバーシップ推論攻撃を評価するための新しい具体的セットアップ
• Authors: Nataša Krčo, Florent Guépin, Matthieu Meeus, Bogdan Kulynych, Yves-Alexandre de Montjoye,
• Abstract要約: メンバーシップ推論攻撃(MIA)は、合成データジェネレータと機械学習モデルのプライバシーリスクを推定する標準的な方法である。 我々は、現実的な仮定の下で攻撃者を評価するのによく使われる、記録固有のプライバシーゲームを分析した。 これは、レコードの一部であるデータセットがレコードのリスクに影響を与えないことを暗黙的に仮定していることを示している。 本稿では,既存の作業において差分プライバシ保証の監査にのみ使用される「取り外しゲーム」の新たな利用法を提案し,これを「テキスト・モデル・シードゲーム」と呼ぶ。
• 参考スコア（独自算出の注目度）: 10.943721733035707
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Synthetic data generators and machine learning models can memorize their training data, posing privacy concerns. Membership inference attacks (MIAs) are a standard method of estimating the privacy risk of these systems. The risk of individual records is typically computed by evaluating MIAs in a record-specific privacy game. We analyze the record-specific privacy game commonly used for evaluating attackers under realistic assumptions (the \textit{traditional} game) -- particularly for synthetic tabular data -- and show that it averages a record's privacy risk across datasets. We show this implicitly assumes the dataset a record is part of has no impact on the record's risk, providing a misleading risk estimate when a specific model or synthetic dataset is released. Instead, we propose a novel use of the leave-one-out game, used in existing work exclusively to audit differential privacy guarantees, and call this the \textit{model-seeded} game. We formalize it and show that it provides an accurate estimate of the privacy risk posed by a given adversary for a record in its specific dataset. We instantiate and evaluate the state-of-the-art MIA for synthetic data generators in the traditional and model-seeded privacy games, and show across multiple datasets and models that the two privacy games indeed result in different risk scores, with up to 94\% of high-risk records being overlooked by the traditional game. We further show that records in smaller datasets and models not protected by strong differential privacy guarantees tend to have a larger gap between risk estimates. Taken together, our results show that the model-seeded setup yields a risk estimate specific to a certain model or synthetic dataset released and in line with the standard notion of privacy leakage from prior work, meaningfully different from the dataset-averaged risk provided by the traditional privacy game.
• Abstract（参考訳）: 合成データジェネレータと機械学習モデルは、トレーニングデータを記憶し、プライバシの懸念を呈する。 メンバーシップ推論攻撃(MIA)は、これらのシステムのプライバシーリスクを推定する標準的な方法である。 個々のレコードのリスクは通常、レコード固有のプライバシゲームでMIAを評価することで計算される。 我々は、現実的な仮定(特に合成表データ)の下で攻撃者を評価するのに一般的に使用される、レコード固有のプライバシゲームを分析し、データセット間でのレコードのプライバシリスクを平均化していることを示す。 このことは、レコードの一部であるデータセットがレコードのリスクに影響を与えないことを暗黙的に仮定していることを示し、特定のモデルや合成データセットがリリースされたときに誤解を招くリスク推定を提供する。 そこで我々は,従来の作業において,差分プライバシー保証の監査にのみ使用される「一発一発ゲーム」の新たな利用法を提案し,これを「textit{model-seeded} Game」と呼ぶ。 我々はそれを形式化し、特定のデータセットのレコードに対して与えられた相手が提示するプライバシーリスクを正確に見積もっていることを示す。 従来のプライバシゲームとモデルシードのプライバシゲームにおいて、合成データジェネレータの最先端MIAをインスタンス化し、評価し、2つのプライバシゲームが実際に異なるリスクスコアをもたらす複数のデータセットとモデルを示します。 さらに、より小さなデータセットと強力な差分プライバシー保証によって保護されていないモデルにおけるレコードは、リスク見積の間に大きなギャップを持つ傾向があることを示す。 その結果,従来のプライバシゲームで提供されるデータセット平均リスクとは有意に異なる,特定のモデルや合成データセットに固有のリスク推定結果が得られた。

関連論文リスト

• Learning from M-Tuple Dominant Positive and Unlabeled Data [9.568395664931504]
  本稿では,実世界のアプリケーションシナリオに適合する汎用学習フレームワークであるemphMDPUを提案する。 経験的リスク最小化 (ERM) 法に基づいて, リスク一貫性を満足する未バイアスリスク推定器を導出する。 トレーニング中に必然的に過適合する問題を緩和するため、リスク補正手法を導入し、修正されたリスク推定器の開発に繋がる。
  論文  参考訳（メタデータ） (2025-05-25T13:20:11Z)
• Mapping AI Benchmark Data to Quantitative Risk Estimates Through Expert Elicitation [0.7889270818022226]
  我々は、リスク見積の作成を容易にするために、既存のAIベンチマークをどのように利用できるかを示す。 本稿では、AIベンチマークであるCybenchからの情報を用いて確率推定を生成するパイロット研究の結果について述べる。
  論文  参考訳（メタデータ） (2025-03-06T10:39:47Z)
• DUPRE: Data Utility Prediction for Efficient Data Valuation [49.60564885180563]
  Data Shapleyのような協調ゲーム理論に基づくデータ評価では、データユーティリティを評価し、複数のデータサブセットに対してMLモデルを再トレーニングする必要がある。 我々のフレームワークである textttDUPRE は、モデル再学習による評価ではなく、データユーティリティを予測することによって、サブセット評価当たりのコストを削減できる代替手法を採用しています。 具体的には、いくつかのデータサブセットのデータユーティリティを評価すると、textttDUPREは、他のすべてのデータサブセットの有用性を予測するために、emphGaussianプロセス(GP)回帰モデルに適合する。
  論文  参考訳（メタデータ） (2025-02-22T08:53:39Z)
• Quantifying the Prediction Uncertainty of Machine Learning Models for Individual Data [2.1248439796866228]
  本研究では,線形回帰とニューラルネットワークに対するpNMLの学習可能性について検討する。 pNMLは様々なタスクにおけるこれらのモデルの性能と堅牢性を向上させることができることを示す。
  論文  参考訳（メタデータ） (2024-12-10T13:58:19Z)
• Free Record-Level Privacy Risk Evaluation Through Artifact-Based Methods [6.902279764206365]
  本稿では,トレーニング中に利用可能な人工物のみを用いて,リスクの高いサンプルを識別する新しい手法を提案する。 本手法は, サンプルごとの損失トレースを分析し, 脆弱なデータサンプルを同定する。
  論文  参考訳（メタデータ） (2024-11-08T18:04:41Z)
• Detecting Training Data of Large Language Models via Expectation Maximization [62.28028046993391]
  メンバーシップ推論攻撃(MIA)は、特定のインスタンスがターゲットモデルのトレーニングデータの一部であるかどうかを判断することを目的としている。 大規模言語モデル(LLM)にMIAを適用することは、事前学習データの大規模化と、会員シップのあいまいさによって、ユニークな課題をもたらす。 EM-MIAは,予測最大化アルゴリズムを用いて,メンバーシップスコアとプレフィックススコアを反復的に洗練するLLMの新しいMIA手法である。
  論文  参考訳（メタデータ） (2024-10-10T03:31:16Z)
• Nob-MIAs: Non-biased Membership Inference Attacks Assessment on Large Language Models with Ex-Post Dataset Construction [37.69303106863453]
  メンバーシップ推論攻撃 (MIA) は、特定の文書が与えられたLarge Language Models (LLM) プリトレーニングで使用されたかどうかを検出することを目的としている。 本稿では,LLMにおけるMIAの評価について述べる。 我々は、より公平なMIA評価のために、非バイアス'と非分類'のデータセットを作成するアルゴリズムを提案し、検証する。
  論文  参考訳（メタデータ） (2024-08-12T07:49:28Z)
• Geometry-Aware Instrumental Variable Regression [56.16884466478886]
  本稿では,データ導出情報によるデータ多様体の幾何を考慮した移動型IV推定器を提案する。 本手法のプラグイン・アンド・プレイ実装は,標準設定で関連する推定器と同等に動作する。
  論文  参考訳（メタデータ） (2024-05-19T17:49:33Z)
• On the Impact of Uncertainty and Calibration on Likelihood-Ratio Membership Inference Attacks [42.18575921329484]
  我々は,情報理論の枠組みを用いて,最先端の確率比攻撃(LiRA)の性能を解析する。 我々は、MIAの有効性に対する不確実性と校正の影響についての洞察を提供することを目的として、MIA敵の利点に基づいて境界を導出する。
  論文  参考訳（メタデータ） (2024-02-16T13:41:18Z)
• Practical Membership Inference Attacks against Fine-tuned Large Language Models via Self-prompt Calibration [32.15773300068426]
  メンバーシップ推論攻撃は、対象のデータレコードがモデルトレーニングに使用されたかどうかを推測することを目的としている。 自己校正確率変動(SPV-MIA)に基づくメンバーシップ推論攻撃を提案する。
  論文  参考訳（メタデータ） (2023-11-10T13:55:05Z)
• Assessing Privacy Risks in Language Models: A Case Study on Summarization Tasks [65.21536453075275]
  我々は要約作業に焦点をあて、会員推測(MI)攻撃について調査する。 テキストの類似性や文書修正に対するモデルの抵抗をMI信号として活用する。 我々は、MI攻撃から保護するための要約モデルの訓練と、プライバシとユーティリティの本質的にのトレードオフについて議論する。
  論文  参考訳（メタデータ） (2023-10-20T05:44:39Z)
• Bring Your Own Data! Self-Supervised Evaluation for Large Language Models [52.15056231665816]
  大規模言語モデル(LLM)の自己教師型評価のためのフレームワークを提案する。 閉書知識,毒性,長期文脈依存性を測定するための自己指導型評価戦略を実証する。 自己監督評価と人監督評価との間には強い相関関係が認められた。
  論文  参考訳（メタデータ） (2023-06-23T17:59:09Z)
• Membership Inference Attacks against Synthetic Data through Overfitting Detection [84.02632160692995]
  我々は、攻撃者が基礎となるデータ分布についてある程度の知識を持っていると仮定する現実的なMIA設定について論じる。 生成モデルの局所的なオーバーフィッティングをターゲットとして,メンバシップを推論することを目的とした密度ベースMIAモデルであるDOMIASを提案する。
  論文  参考訳（メタデータ） (2023-02-24T11:27:39Z)
• SHAPr: An Efficient and Versatile Membership Privacy Risk Metric for Machine Learning [13.952586561595473]
  機械学習(ML)モデルのトレーニングに使用されるデータは、センシティブである。 メンバーシップ推論攻撃(MIA)は、特定のデータレコードがMLモデルのトレーニングに使用されたかどうかを判断し、メンバーシップのプライバシを侵害するリスクを負う。 本稿では,Shapley値を用いて個別のトレーニングデータ記録の記憶を定量化するSHAPrを提案する。
  論文  参考訳（メタデータ） (2021-12-04T03:45:49Z)
• Performance metrics for intervention-triggering prediction models do not reflect an expected reduction in outcomes from using the model [71.9860741092209]
  臨床研究者はしばしばリスク予測モデルの中から選択し評価する。 振り返りデータから算出される標準メトリクスは、特定の仮定の下でのみモデルユーティリティに関係します。 予測が時間を通して繰り返し配信される場合、標準メトリクスとユーティリティの関係はさらに複雑になる。
  論文  参考訳（メタデータ） (2020-06-02T16:26:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。