論文の概要: On Reliability of Efficient Membership Inference Vulnerability Evaluation

• arxiv url: http://arxiv.org/abs/2605.25819v1
• Date: Mon, 25 May 2026 13:16:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-26 19:50:20.129382
• Title: On Reliability of Efficient Membership Inference Vulnerability Evaluation
• Title（参考訳）: 効率的なメンバーシップ推論脆弱性評価の信頼性について
• Authors: Joonas Jälkö, Gauri Pradhan, Ossi Räisä, Antti Honkela,
• Abstract要約: メンバーシップ推論攻撃(MIA)は、トレーニングデータ中の機密情報の漏洩を経験的に評価するための一般的な手法である。 MIAスコアに基づくTPRの評価は、複数の個人と複数のターゲットモデルに対して平均化されることが多いことを示す。 異なるサンプル間でFPRを効果的に校正するための後処理手法を提案する。
• 参考スコア（独自算出の注目度）: 7.327728640900649
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Membership inference attacks (MIAs) are popular methods for empirically assessing the leakage of sensitive information in the training data through models or statistics learned from the data. The MIA vulnerability is often evaluated through false positive rate (FPR) and true positive rate (TPR) of a binary classifier that tries to predict whether a particular sample was in the training data. However, in order to reliably estimate the TPR especially for low FPR values, a lot of observations are needed, which in case of MIA translates to many target models, leading to large computational cost. To avoid excessive compute requirements, the MIA scores are often averaged over multiple individuals and multiple targeted models. We demonstrate two key weaknesses in this efficient MIA evaluation pipeline. First, we show that evaluating the TPR based on MIA scores concatenated across multiple individuals, commonly used to study vulnerabilities in the very low FPR regime, is not calibrated across the per-sample FPRs. This makes it unreliable as a tool for auditing differential privacy. To solve this, we propose a post-processing method to effectively calibrate the FPR across different samples. Second, we identify a finite population bias in the commonly used efficient likelihood-ratio attack (LiRA) implementation proposed by Carlini et al. 2022, leading to a positive bias in the per-sample vulnerability.
• Abstract（参考訳）: メンバーシップ推論攻撃(MIA)は、トレーニングデータから得られたモデルや統計を通じて、トレーニングデータの機密情報の漏洩を経験的に評価する一般的な方法である。 MIA脆弱性は、トレーニングデータに含まれる特定のサンプルを予測しようとするバイナリ分類器の偽陽性率(FPR)と真陽性率(TPR)によって評価されることが多い。 しかし、特に低いFPR値に対してTPRを確実に推定するには、多くの観測が必要であり、MIAの場合、多くのターゲットモデルに変換され、計算コストが大きくなる。 過剰な計算要求を避けるため、MIAスコアは複数の個人と複数のターゲットモデルで平均化されることが多い。 この効率的なMIA評価パイプラインでは,2つの重要な弱点が示される。 まず、非常に低いFPR体制の脆弱性を研究するために一般的に使用されるMIAスコアに基づいてTPRを評価することは、サンプルごとのFPRに対して校正されないことを示す。 これにより、差分プライバシーを監査するツールとして信頼性が低い。 そこで本研究では,異なるサンプル間でFPRを効果的に校正するための後処理手法を提案する。 第2に、Carliiniらによって提案されたLiRA実装における有限集団バイアスを同定し、サンプル当たりの脆弱性に正のバイアスを与える。

関連論文リスト

• Pairwise or Pointwise? Evaluating Feedback Protocols for Bias in LLM-Based Evaluation [57.380464382910375]
  評価のためのフィードバックプロトコルの選択は,評価信頼性に大きく影響し,系統的なバイアスを生じさせることを示す。 ジェネレータモデルは、気を散らす機能を埋め込むことで好みをひっくり返すことができる。 我々は,データセットの特徴と評価目標に基づくフィードバックプロトコルの選択を推奨する。
  論文  参考訳（メタデータ） (2025-04-20T19:05:59Z)
• Learning-Based Difficulty Calibration for Enhanced Membership Inference Attacks [3.470379197911889]
  メンバーシップ推論攻撃(MIA)は、特定のデータポイントがモデルのトレーニングデータセットの一部であるかどうかを敵が判断することを可能にする。 低偽陽性率(FPR)におけるTPRの大幅な改善を目的としたMIAの新しいアプローチを提案する。 実験の結果,LCD-MIAは,他の困難キャリブレーションに基づくMIAと比較して,低FPRでのTPRを最大4倍改善できることがわかった。
  論文  参考訳（メタデータ） (2024-01-10T04:58:17Z)
• Low-Cost High-Power Membership Inference Attacks [15.240271537329534]
  メンバーシップ推論攻撃は、特定のデータポイントがモデルのトレーニングに使用されたかどうかを検出することを目的としている。 我々は,計算オーバーヘッドの少ない,堅牢なメンバシップ推論攻撃を行うための新しい統計的試験を設計する。 RMIAは、機械学習における実用的かつ正確なデータプライバシーリスク評価の基礎を成している。
  論文  参考訳（メタデータ） (2023-12-06T03:18:49Z)
• GREAT Score: Global Robustness Evaluation of Adversarial Perturbation using Generative Models [60.48306899271866]
  GREATスコア(GREAT Score)と呼ばれる新しいフレームワークを提案する。 我々は,ロバストベンチにおける攻撃ベースモデルと比較し,高い相関性を示し,GREATスコアのコストを大幅に削減した。 GREAT Scoreは、プライバシーに敏感なブラックボックスモデルのリモート監査に使用することができる。
  論文  参考訳（メタデータ） (2023-04-19T14:58:27Z)
• Out-of-Distribution Detection with Hilbert-Schmidt Independence Optimization [114.43504951058796]
  異常検出タスクはAIの安全性において重要な役割を担っている。 ディープニューラルネットワーク分類器は通常、アウト・オブ・ディストリビューション(OOD)の入力を、信頼性の高いイン・ディストリビューション・クラスに誤って分類する傾向がある。 我々は,OOD検出タスクにおいて実用的かつ理論的に有効な代替確率論的パラダイムを提案する。
  論文  参考訳（メタデータ） (2022-09-26T15:59:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。