Fugu-MT 論文翻訳(概要): On Reliability of Efficient Membership Inference Vulnerability Evaluation

論文の概要: On Reliability of Efficient Membership Inference Vulnerability Evaluation

arxiv url: http://arxiv.org/abs/2605.25819v1
Date: Mon, 25 May 2026 13:16:39 GMT
ステータス: 翻訳完了
システム内更新日: 2026-05-26 19:50:20.129382
Title: On Reliability of Efficient Membership Inference Vulnerability Evaluation
Title（参考訳）: 効率的なメンバーシップ推論脆弱性評価の信頼性について
Abstract要約: メンバーシップ推論攻撃(MIA)は、トレーニングデータ中の機密情報の漏洩を経験的に評価するための一般的な手法である。 MIAスコアに基づくTPRの評価は、複数の個人と複数のターゲットモデルに対して平均化されることが多いことを示す。異なるサンプル間でFPRを効果的に校正するための後処理手法を提案する。
参考スコア（独自算出の注目度）: 7.327728640900649
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Membership inference attacks (MIAs) are popular methods for empirically assessing the leakage of sensitive information in the training data through models or statistics learned from the data. The MIA vulnerability is often evaluated through false positive rate (FPR) and true positive rate (TPR) of a binary classifier that tries to predict whether a particular sample was in the training data. However, in order to reliably estimate the TPR especially for low FPR values, a lot of observations are needed, which in case of MIA translates to many target models, leading to large computational cost. To avoid excessive compute requirements, the MIA scores are often averaged over multiple individuals and multiple targeted models. We demonstrate two key weaknesses in this efficient MIA evaluation pipeline. First, we show that evaluating the TPR based on MIA scores concatenated across multiple individuals, commonly used to study vulnerabilities in the very low FPR regime, is not calibrated across the per-sample FPRs. This makes it unreliable as a tool for auditing differential privacy. To solve this, we propose a post-processing method to effectively calibrate the FPR across different samples. Second, we identify a finite population bias in the commonly used efficient likelihood-ratio attack (LiRA) implementation proposed by Carlini et al. 2022, leading to a positive bias in the per-sample vulnerability.
Abstract（参考訳）: メンバーシップ推論攻撃(MIA)は、トレーニングデータから得られたモデルや統計を通じて、トレーニングデータの機密情報の漏洩を経験的に評価する一般的な方法である。 MIA脆弱性は、トレーニングデータに含まれる特定のサンプルを予測しようとするバイナリ分類器の偽陽性率(FPR)と真陽性率(TPR)によって評価されることが多い。しかし、特に低いFPR値に対してTPRを確実に推定するには、多くの観測が必要であり、MIAの場合、多くのターゲットモデルに変換され、計算コストが大きくなる。過剰な計算要求を避けるため、MIAスコアは複数の個人と複数のターゲットモデルで平均化されることが多い。この効率的なMIA評価パイプラインでは,2つの重要な弱点が示される。まず、非常に低いFPR体制の脆弱性を研究するために一般的に使用されるMIAスコアに基づいてTPRを評価することは、サンプルごとのFPRに対して校正されないことを示す。これにより、差分プライバシーを監査するツールとして信頼性が低い。そこで本研究では,異なるサンプル間でFPRを効果的に校正するための後処理手法を提案する。第2に、Carliiniらによって提案されたLiRA実装における有限集団バイアスを同定し、サンプル当たりの脆弱性に正のバイアスを与える。

関連論文リスト

Membership Inference via Pairwise Likelihood Ratios [3.0593723329631075]
メンバーシップ推論攻撃(MIA)は、機械学習モデルのプライバシーリスクを監査するための標準ツールである。 Pairwise Likelihood MIA (PL-MIA) はガウス確率比統計学と人口校正とコーシー結合試験を組み合わせた統一手法である。トレーニングに使用されていないクエリポイントと参照ポイントのペア比較から$p$-valueを取得し、Cauchyコンビネーションテストを用いてこれらの連続信号を集約する。
論文参考訳（メタデータ） (2026-09-11T02:38:07Z)
LLM Essay Scoring Under Holistic and Analytic Rubrics: Prompt Effects and Bias [3.9562034587217187]
我々は、人間のコンセンサススコア、方向性バイアス、バイアス推定の安定性との一致を分析した。我々は,グラマーやコンベンションなどの低次懸念(LOC)特性に対して,大規模かつ安定な負の方向性バイアスを観察する。この分析は、LOCバイアスが極めて小さな検証セットでしばしば検出可能であることを示している。
論文参考訳（メタデータ） (2026-03-31T21:40:36Z)
Reference-Free Rating of LLM Responses via Latent Information [53.463883683503106]
本研究では,判断モデルに対して,自由テキスト応答にQuattスケールのスコアを割り当てるよう依頼する一般的な実践について検討する。次に、内部モデル信号からスカラー評価を導出する潜在裁判官を提案し、評価する。ペアとシングルレーティングのベンチマークの幅広いスイートの中で、潜在メソッドは標準のプロンプトにマッチするか、超えている。
論文参考訳（メタデータ） (2025-09-29T12:15:52Z)
Pairwise or Pointwise? Evaluating Feedback Protocols for Bias in LLM-Based Evaluation [57.380464382910375]
評価のためのフィードバックプロトコルの選択は,評価信頼性に大きく影響し,系統的なバイアスを生じさせることを示す。ジェネレータモデルは、気を散らす機能を埋め込むことで好みをひっくり返すことができる。我々は,データセットの特徴と評価目標に基づくフィードバックプロトコルの選択を推奨する。
論文参考訳（メタデータ） (2025-04-20T19:05:59Z)
Towards a Trustworthy Anomaly Detection for Critical Applications through Approximated Partial AUC Loss [2.09942566943801]
2値分類器は、偽陽性率(FPR)を最小化しつつ、真陽性率(TPR)が100%に達するのを防ぐAUC ROC曲線の特定の範囲を最適化するために訓練される。その結果、TPRは6つのデータセットで平均20.43%のFPRで92.52%向上し、他の最先端の方法と比較して12.2%のFPRコストで4.3%改善した。
論文参考訳（メタデータ） (2025-02-17T08:59:59Z)
Learning-Based Difficulty Calibration for Enhanced Membership Inference Attacks [3.470379197911889]
メンバーシップ推論攻撃(MIA)は、特定のデータポイントがモデルのトレーニングデータセットの一部であるかどうかを敵が判断することを可能にする。低偽陽性率(FPR)におけるTPRの大幅な改善を目的としたMIAの新しいアプローチを提案する。実験の結果,LCD-MIAは,他の困難キャリブレーションに基づくMIAと比較して,低FPRでのTPRを最大4倍改善できることがわかった。
論文参考訳（メタデータ） (2024-01-10T04:58:17Z)
Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
論文参考訳（メタデータ） (2023-12-27T09:03:43Z)
Low-Cost High-Power Membership Inference Attacks [15.240271537329534]
メンバーシップ推論攻撃は、特定のデータポイントがモデルのトレーニングに使用されたかどうかを検出することを目的としている。我々は,計算オーバーヘッドの少ない,堅牢なメンバシップ推論攻撃を行うための新しい統計的試験を設計する。 RMIAは、機械学習における実用的かつ正確なデータプライバシーリスク評価の基礎を成している。
論文参考訳（メタデータ） (2023-12-06T03:18:49Z)
Conservative Prediction via Data-Driven Confidence Minimization [70.93946578046003]
機械学習の安全性クリティカルな応用においては、モデルが保守的であることが望ましいことが多い。本研究では,不確実性データセットに対する信頼性を最小化するデータ駆動信頼性最小化フレームワークを提案する。
論文参考訳（メタデータ） (2023-06-08T07:05:36Z)
GREAT Score: Global Robustness Evaluation of Adversarial Perturbation using Generative Models [60.48306899271866]
GREATスコア(GREAT Score)と呼ばれる新しいフレームワークを提案する。我々は,ロバストベンチにおける攻撃ベースモデルと比較し,高い相関性を示し,GREATスコアのコストを大幅に削減した。 GREAT Scoreは、プライバシーに敏感なブラックボックスモデルのリモート監査に使用することができる。
論文参考訳（メタデータ） (2023-04-19T14:58:27Z)
Out-of-Distribution Detection with Hilbert-Schmidt Independence Optimization [114.43504951058796]
異常検出タスクはAIの安全性において重要な役割を担っている。ディープニューラルネットワーク分類器は通常、アウト・オブ・ディストリビューション(OOD)の入力を、信頼性の高いイン・ディストリビューション・クラスに誤って分類する傾向がある。我々は,OOD検出タスクにおいて実用的かつ理論的に有効な代替確率論的パラダイムを提案する。
論文参考訳（メタデータ） (2022-09-26T15:59:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。