Fugu-MT 論文翻訳(概要): Is Difficulty Calibration All We Need? Towards More Practical Membership Inference Attacks

論文の概要: Is Difficulty Calibration All We Need? Towards More Practical Membership Inference Attacks

arxiv url: http://arxiv.org/abs/2409.00426v2
Date: Wed, 4 Sep 2024 08:21:48 GMT
ステータス: 処理完了
システム内更新日: 2024-09-06 14:49:38.619669
Title: Is Difficulty Calibration All We Need? Towards More Practical Membership Inference Attacks
Title（参考訳）: 難しい校正は必要か? : より実践的な会員推論攻撃に向けて
Authors: Yu He, Boheng Li, Yao Wang, Mengda Yang, Juan Wang, Hongxin Hu, Xingyu Zhao,
Abstract要約: 我々は,textbfRe-levertextbfA を直接 textbfRe-levertextbfA を用いて mtextbfItigate the error in textbfDifficulty calibration を提案する。
参考スコア（独自算出の注目度）: 16.064233621959538
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The vulnerability of machine learning models to Membership Inference Attacks (MIAs) has garnered considerable attention in recent years. These attacks determine whether a data sample belongs to the model's training set or not. Recent research has focused on reference-based attacks, which leverage difficulty calibration with independently trained reference models. While empirical studies have demonstrated its effectiveness, there is a notable gap in our understanding of the circumstances under which it succeeds or fails. In this paper, we take a further step towards a deeper understanding of the role of difficulty calibration. Our observations reveal inherent limitations in calibration methods, leading to the misclassification of non-members and suboptimal performance, particularly on high-loss samples. We further identify that these errors stem from an imperfect sampling of the potential distribution and a strong dependence of membership scores on the model parameters. By shedding light on these issues, we propose RAPID: a query-efficient and computation-efficient MIA that directly \textbf{R}e-lever\textbf{A}ges the original membershi\textbf{P} scores to m\textbf{I}tigate the errors in \textbf{D}ifficulty calibration. Our experimental results, spanning 9 datasets and 5 model architectures, demonstrate that RAPID outperforms previous state-of-the-art attacks (e.g., LiRA and Canary offline) across different metrics while remaining computationally efficient. Our observations and analysis challenge the current de facto paradigm of difficulty calibration in high-precision inference, encouraging greater attention to the persistent risks posed by MIAs in more practical scenarios.
Abstract（参考訳）: 機械学習モデルのメンバシップ推論攻撃(MIA)に対する脆弱性は、近年かなりの注目を集めている。これらの攻撃は、データサンプルがモデルのトレーニングセットに属しているかどうかを決定する。近年の研究では、個別に訓練された参照モデルによるキャリブレーションの困難さを生かした参照ベースの攻撃に焦点を当てている。実証的研究はその効果を示したが、成功または失敗する状況に対する我々の理解には顕著なギャップがある。本稿では,困難キャリブレーションの役割について,より深く理解するための一歩を踏み出した。本研究は, キャリブレーション法に固有の限界を明らかにし, 非部材の誤分類, 最適性能, 特に高損失試料について検討した。さらに、これらの誤差は、潜在的分布の完全なサンプリングと、モデルパラメータに対するメンバーシップスコアの強い依存から生じるものであることも確認した。これらの問題に光を当てることで、RAPIDを提案する: クエリ効率が高く計算効率のよいMIAで、直接 \textbf{R}e-lever\textbf{A} が元のメンバshi\textbf{P} スコアを m\textbf{I} にゲインし、そのエラーを \textbf{D}ifficulty calibration で緩和する。我々の実験結果は、9つのデータセットと5つのモデルアーキテクチャにまたがるが、RAPIDは計算効率を保ちながら、過去の最先端攻撃(例えば、LiRAとCaaryのオフライン)より優れていたことを実証している。我々の観察と分析は、高精度推論における難易度校正の現在のデファクトパラダイムに挑戦し、より現実的なシナリオにおいてMIAが引き起こす持続的リスクにより多くの注意を払っている。

関連論文リスト

Adversarial Robustness Overestimation and Instability in TRADES [4.063518154926961]
TRADES は多クラス分類タスクにおける AutoAttack テストの精度と比較して,PGD の検証精度が極めて高い場合が多い。この矛盾は、勾配マスキングに結びつく可能性のある、これらのインスタンスに対するロバストネスのかなりの過大評価を浮き彫りにする。
論文参考訳（メタデータ） (2024-10-10T07:32:40Z)
Investigating the Impact of Hard Samples on Accuracy Reveals In-class Data Imbalance [4.291589126905706]
AutoMLドメインでは、モデルの有効性を評価するための重要な指標として、テスト精度が宣言される。しかし、主性能指標としての試験精度の信頼性は疑問視されている。トレーニングセットとテストセット間のハードサンプルの分布は、これらのセットの難易度に影響を与える。本稿では,ハードサンプル識別法を比較するためのベンチマーク手法を提案する。
論文参考訳（メタデータ） (2024-09-22T11:38:14Z)
Towards Robust Federated Learning via Logits Calibration on Non-IID Data [49.286558007937856]
Federated Learning(FL)は、エッジネットワークにおける分散デバイスの共同モデルトレーニングに基づく、プライバシ保護のための分散管理フレームワークである。近年の研究では、FLは敵の例に弱いことが示されており、その性能は著しく低下している。本研究では,対戦型訓練(AT)フレームワークを用いて,対戦型実例(AE)攻撃に対するFLモデルの堅牢性を向上させる。
論文参考訳（メタデータ） (2024-03-05T09:18:29Z)
Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
論文参考訳（メタデータ） (2023-12-27T09:03:43Z)
On Task Performance and Model Calibration with Supervised and Self-Ensembled In-Context Learning [71.44986275228747]
In-context Learning (ICL) は、近年の大規模言語モデル(LLM)の進歩により、効率的なアプローチとなっている。しかし、両方のパラダイムは、過信の批判的な問題(すなわち、誤校正)に苦しむ傾向にある。
論文参考訳（メタデータ） (2023-12-21T11:55:10Z)
Delving into Identify-Emphasize Paradigm for Combating Unknown Bias [52.76758938921129]
同定精度を高めるため,有効バイアス強調スコアリング法(ECS)を提案する。また, マイニングされたバイアスアライメントとバイアスコンプリケート試料のコントリビューションのバランスをとるために, 勾配アライメント(GA)を提案する。様々な環境で複数のデータセットで実験を行い、提案されたソリューションが未知のバイアスの影響を軽減することを実証した。
論文参考訳（メタデータ） (2023-02-22T14:50:24Z)
Parameters or Privacy: A Provable Tradeoff Between Overparameterization and Membership Inference [29.743945643424553]
オーバーパラメータ化モデルは、トレーニングデータ(トレーニングデータではゼロエラー)を記憶するように訓練された場合でも、うまく(テストデータでは小さなエラー)一般化する。このことが、パラメータ化されたモデル(例えばディープラーニング)をますます超越する武器競争に繋がった。
論文参考訳（メタデータ） (2022-02-02T19:00:21Z)
Accurate and Robust Feature Importance Estimation under Distribution Shifts [49.58991359544005]
PRoFILEは、新しい特徴重要度推定法である。忠実さと頑健さの両面で、最先端のアプローチよりも大幅に改善されていることを示す。
論文参考訳（メタデータ） (2020-09-30T05:29:01Z)
An Investigation of Why Overparameterization Exacerbates Spurious Correlations [98.3066727301239]
この動作を駆動するトレーニングデータの2つの重要な特性を特定します。モデルの"記憶"に対する帰納的バイアスが,パラメータ化の超過を損なう可能性を示す。
論文参考訳（メタデータ） (2020-05-09T01:59:13Z)
On the Role of Dataset Quality and Heterogeneity in Model Confidence [27.657631193015252]
安全クリティカルなアプリケーションは、正確で校正された確率を出力する機械学習モデルを必要とする。未分類のディープネットワークは、過度に信頼された予測をすることが知られている。本研究では,データセットサイズとラベルノイズがモデルの信頼性に与える影響について検討した。
論文参考訳（メタデータ） (2020-02-23T05:13:12Z)
The Conditional Entropy Bottleneck [8.797368310561058]
我々は、頑健な一般化の失敗を、ホールトアウトセット上の精度や関連するメトリクスの失敗として特徴づける。本稿では,モデルの品質を評価するために,最小限必要情報(MNI)基準を提案する。 MNI基準に関して良好に機能するモデルを訓練するために、新しい目的関数である条件エントロピー・ボトルネック(CEB)を提案する。我々は,CEBモデルと決定論的モデル,および様々なデータセット上での変動情報ボトルネック(VIB)モデルの性能を比較することにより,我々の仮説を実験的に検証した。
論文参考訳（メタデータ） (2020-02-13T07:46:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。