論文の概要: Reliable Estimation of Differential Privacy under Selection Bias
- arxiv url: http://arxiv.org/abs/2610.27021v1
- Date: Mon, 19 Oct 2026 13:59:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-21 21:58:47.43194
- Title: Reliable Estimation of Differential Privacy under Selection Bias
- Title（参考訳）: 選択バイアス下における微分プライバシーの信頼性評価
- Abstract要約: この研究は、このバイアスを修正するために統計文献のツールを用いている。
統計的補正がなければ、監査は主張する信頼度よりも最大4倍の確率で理論上界に違反することを示す。
- 参考スコア（独自算出の注目度）: 31.7930600453449
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Statistical privacy audits are essential for verifying the theoretical privacy guarantees of differentially private (DP) mechanisms. Auditors typically use Membership Inference Attacks (MIAs) to estimate a lower bound on the true privacy leakage of DP mechanisms at a specified confidence level, which should not exceed the theoretical privacy upper bound guaranteed by DP. However, we found that many auditing implementations in prior work introduce a selection bias when running MIAs, which leads to statistically invalid and overestimated lower bounds. Because most audits are not tight, this bias has thus far gone unnoticed: the estimated lower bounds remained well below the theoretical upper bounds. Nevertheless, accurately evaluating this lower bound is critical, as a flawed statistical assessment could lead to false alarms on correct mechanisms or an incorrect evaluation of the guarantee's tightness. This work employs tools from the statistical literature to correct this bias. We present an overview of the different correction methods and assess their respective advantages. Furthermore, we perform a comprehensive re-analysis of results returned by prior audit implementations and show that without statistical correction, these audits violate the theoretical upper bounds up to four times more often than their claimed confidence level implies. With correction applied, the resulting lower bounds are statistically valid, and violations occur at no more than the nominal rate.
- Abstract（参考訳）: 統計的プライバシー監査は、微分プライベート(DP)メカニズムの理論的プライバシー保証を検証するために不可欠である。
観客は通常、メンバーシップ推論攻撃(MIA)を使用して、特定の信頼レベルでDPメカニズムの真のプライバシー漏洩の低い境界を推定する。
しかし、先行研究における監査実装の多くは、MIAの実行時に選択バイアスを導入し、統計的に無効で過大評価された下限を導いた。
ほとんどの監査は厳密ではないため、この偏見はこれまでになく、推定下限は理論上限よりかなり低いままであった。
それでも、この下限を正確に評価することは極めて重要であり、欠陥のある統計的評価は、正しいメカニズムの誤報や保証の厳密さの誤った評価につながる可能性がある。
この研究は、このバイアスを修正するために統計文献のツールを用いている。
本稿では, それぞれの補正方法の概要と, それぞれの利点について考察する。
さらに,先行監査実施による結果の総合的再分析を行い,統計的補正がなければ,これらの監査が主張する信頼度よりも最大4倍の確率で理論上界に反することを示す。
修正を加えれば、結果の下位境界は統計的に有効であり、違反は名目率に限らない。
関連論文リスト
- Sequential Fairness Auditing with Limited Output Access [6.933020649563105]
外部評価は、AIシステムのガバナンスの中心になりつつある。
実際には、独立監査人はデプロイされたモデルへのアクセスに制限があり、クエリベースのインタラクションに頼らなければならない。
既存のフェアネス評価手法の多くは、静的データセットと固定サンプル統計検査を前提としている。
モデル出力アクセスの制限下での耐久性を考慮した逐次仮説検定問題としてフェアネス監査を定式化する。
論文 参考訳（メタデータ） (2026-06-29T14:17:33Z) - Optimal Guarantees for Auditing Rényi Differentially Private Machine Learning [15.701798841393668]
我々は、R 'enyi差分プライバシー(RDP)保証を主張する機械学習アルゴリズムのブラックボックス監査について研究する。
仮説テストに基づく監査フレームワークを導入し、Donsker-Varadhan (DV) 変分推定器を用いて、隣接する実行間のレニイ偏差を直接推定する。
本分析では,アルゴリズムのプライバシー漏洩から統計的推定誤差を分離し,クラス限定DV推定器による監査において,明示的かつ非漸近的な信頼区間を導出する。
論文 参考訳（メタデータ） (2026-05-21T03:18:09Z) - Adaptive auditing of AI systems with anytime-valid guarantees [8.752768302067638]
2つの'重複'の観点から仮説テストフレームワークを導入します。
我々は,オーディタを「賭けによる検証」の実行として形式化し,これは重複するヌル仮説をテストするための同時eプロセスに変換する。
提案手法は, 任意の値の型I誤差制御を維持し, 事前特定試験法より優れており, 統計的に厳密な結論に到達でき, 時には20の観測しか得られない。
論文 参考訳（メタデータ） (2026-05-07T22:33:48Z) - Noisy but Valid: Robust Statistical Evaluation of LLMs with Imperfect Judges [14.256638949961063]
これに対応するために、"ノイズだが妥当"な仮説テストフレームワークを導入します。
本フレームワークは,キャリブレーションの不確実性にもかかわらず,有限サンプル型Iエラー制御(正当性)を理論的に保証する。
論文 参考訳（メタデータ） (2026-01-28T18:05:06Z) - LEC: Linear Expectation Constraints for False-Discovery Control in Selective Prediction and Routing Systems [95.35293543918762]
大規模言語モデル(LLM)はしばしば信頼できない答えを生成するが、不確実性のある手法は誤った予測と完全に区別することができない。
我々は、この問題を、偽発見率(FDR)制御のレンズを通して解決し、全ての許容された予測のうち、エラーの割合が目標のリスクレベルを超えないことを保証する。
本稿では,線形期待制約を強制することで,選択予測を制約付き決定問題として再解釈するLECを提案する。
論文 参考訳（メタデータ） (2025-12-01T11:27:09Z) - COIN: Uncertainty-Guarding Selective Question Answering for Foundation Models with Provable Risk Guarantees [51.5976496056012]
COINは、統計的に有効な閾値を校正し、質問毎に1つの生成された回答をフィルタリングする不確実性保護選択フレームワークである。
COINはキャリブレーションセット上で経験的誤差率を推定し、信頼区間法を適用して真誤差率に高い確率上界を確立する。
リスク管理におけるCOINの堅牢性,許容回答を維持するための強いテストタイムパワー,キャリブレーションデータによる予測効率を実証する。
論文 参考訳（メタデータ） (2025-06-25T07:04:49Z) - Confidential Guardian: Cryptographically Prohibiting the Abuse of Model Abstention [65.47632669243657]
不正直な機関は、不確実性の観点からサービスを差別または不正に否定する機構を利用することができる。
我々は、ミラージュと呼ばれる不確実性誘導攻撃を導入することで、この脅威の実践性を実証する。
本研究では,参照データセット上のキャリブレーションメトリクスを分析し,人工的に抑制された信頼度を検出するフレームワークであるConfidential Guardianを提案する。
論文 参考訳（メタデータ） (2025-05-29T19:47:50Z) - SConU: Selective Conformal Uncertainty in Large Language Models [59.25881667640868]
SconU(Selective Conformal Uncertainity)と呼ばれる新しいアプローチを提案する。
我々は,特定の管理可能なリスクレベルで設定されたキャリブレーションの不確実性分布から,与えられたサンプルが逸脱するかどうかを決定するのに役立つ2つの共形p値を開発する。
我々のアプローチは、単一ドメインと学際的コンテキストの両方にわたる誤発見率の厳密な管理を促進するだけでなく、予測の効率を高める。
論文 参考訳（メタデータ） (2025-04-19T03:01:45Z) - Revisiting Confidence Estimation: Towards Reliable Failure Prediction [53.79160907725975]
多くの信頼度推定法は誤分類誤りを検出するのに有害である。
本稿では, 最先端の故障予測性能を示す平坦な最小値を求めることにより, 信頼性ギャップを拡大することを提案する。
論文 参考訳（メタデータ） (2024-03-05T11:44:14Z) - U-Calibration: Forecasting for an Unknown Agent [29.3181385170725]
単一のスコアリングルールに対する予測を最適化することは、すべてのエージェントに対して低い後悔を保証できないことを示す。
予測列の最大後悔度に匹敵するU校正と呼ばれる予測を評価するための新しい指標を提案する。
論文 参考訳（メタデータ） (2023-06-30T23:05:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。