論文の概要: Overconfidence is a Dangerous Thing: Mitigating Membership Inference
Attacks by Enforcing Less Confident Prediction
- arxiv url: http://arxiv.org/abs/2307.01610v1
- Date: Tue, 4 Jul 2023 09:50:33 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-06 17:40:46.659312
- Title: Overconfidence is a Dangerous Thing: Mitigating Membership Inference
Attacks by Enforcing Less Confident Prediction
- Title（参考訳）: 過信は危険なこと:信頼の低い予測によってメンバーシップ推論攻撃を緩和する
- Authors: Zitao Chen, Karthik Pattabiraman
- Abstract要約: 機械学習モデルは、メンバシップ推論攻撃(MIA)に対して脆弱である
この研究は、強力なメンバーシップのプライバシと高い精度の両方を、余分なデータを必要とすることなく達成できる防衛技術であるHAMPを提案する。
- 参考スコア（独自算出の注目度）: 2.2336243882030025
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Machine learning (ML) models are vulnerable to membership inference attacks
(MIAs), which determine whether a given input is used for training the target
model. While there have been many efforts to mitigate MIAs, they often suffer
from limited privacy protection, large accuracy drop, and/or requiring
additional data that may be difficult to acquire. This work proposes a defense
technique, HAMP that can achieve both strong membership privacy and high
accuracy, without requiring extra data. To mitigate MIAs in different forms, we
observe that they can be unified as they all exploit the ML model's
overconfidence in predicting training samples through different proxies. This
motivates our design to enforce less confident prediction by the model, hence
forcing the model to behave similarly on the training and testing samples. HAMP
consists of a novel training framework with high-entropy soft labels and an
entropy-based regularizer to constrain the model's prediction while still
achieving high accuracy. To further reduce privacy risk, HAMP uniformly
modifies all the prediction outputs to become low-confidence outputs while
preserving the accuracy, which effectively obscures the differences between the
prediction on members and non-members. We conduct extensive evaluation on five
benchmark datasets, and show that HAMP provides consistently high accuracy and
strong membership privacy. Our comparison with seven state-of-the-art defenses
shows that HAMP achieves a superior privacy-utility trade off than those
techniques.
- Abstract（参考訳）: 機械学習(ml)モデルはメンバーシップ推論攻撃(mia)に対して脆弱であり、与えられた入力がターゲットモデルのトレーニングに使用されるかどうかを判断する。
MIAを緩和する取り組みは数多くあるが、プライバシ保護の制限、大きな精度低下、および/または取得が困難な追加データを必要とする場合が多い。
本研究は,強力なメンバーシッププライバシと高い精度を,余分なデータを必要とせずに達成できる防衛技術であるhampを提案する。
異なる形式でMIAを緩和するために、異なるプロキシを通してトレーニングサンプルを予測する際に、MLモデルの過信を利用するため、それらが統一可能であることを観察する。
これにより、モデルによる自信のない予測を強制するモチベーションが増し、トレーニングやテストサンプルで同じように振る舞うようになります。
HAMPは、高いエントロピーのソフトラベルを持つ新しいトレーニングフレームワークと、高い精度を保ちながらモデルの予測を制約するエントロピーベースの正規化器で構成されている。
プライバシーリスクをさらに軽減するため、HAMPは全ての予測出力を均一に修正し、精度を維持しながら低信頼の出力となるようにし、メンバーと非メンバーの予測の違いを効果的に曖昧にする。
5つのベンチマークデータセットに対して広範な評価を行い、HAMPが常に高い精度と強力な会員プライバシーを提供することを示す。
最先端の7つの防衛技術と比較すると、HAMPはそれらの技術よりも優れたプライバシーとユーティリティのトレードオフを実現している。
関連論文リスト
- Uncertainty, Calibration, and Membership Inference Attacks: An
Information-Theoretic Perspective [46.08491133624608]
我々は,情報理論の枠組みを用いて,最先端の確率比攻撃(LiRA)の性能を解析する。
我々は、MIAの有効性に対する不確実性と校正の影響についての洞察を提供することを目的として、MIA敵の利点に基づいて境界を導出する。
論文 参考訳（メタデータ） (2024-02-16T13:41:18Z) - Perturbation-Invariant Adversarial Training for Neural Ranking Models:
Improving the Effectiveness-Robustness Trade-Off [107.35833747750446]
正統な文書に不可避な摂動を加えることで 敵の例を作れます
この脆弱性は信頼性に関する重大な懸念を生じさせ、NRMの展開を妨げている。
本研究では,NRMにおける有効・損耗トレードオフに関する理論的保証を確立する。
論文 参考訳（メタデータ） (2023-12-16T05:38:39Z) - Avoid Adversarial Adaption in Federated Learning by Multi-Metric
Investigations [55.2480439325792]
Federated Learning(FL)は、分散機械学習モデルのトレーニング、データのプライバシの保護、通信コストの低減、多様化したデータソースによるモデルパフォーマンスの向上を支援する。
FLは、中毒攻撃、標的外のパフォーマンス劣化とターゲットのバックドア攻撃の両方でモデルの整合性を損なうような脆弱性に直面している。
我々は、複数の目的に同時に適応できる、強い適応的敵の概念を新たに定義する。
MESASは、実際のデータシナリオで有効であり、平均オーバーヘッドは24.37秒である。
論文 参考訳（メタデータ） (2023-06-06T11:44:42Z) - RelaxLoss: Defending Membership Inference Attacks without Losing Utility [68.48117818874155]
より達成可能な学習目標を持つ緩和された損失に基づく新しい学習フレームワークを提案する。
RelaxLossは、簡単な実装と無視可能なオーバーヘッドのメリットを加えた任意の分類モデルに適用できる。
当社のアプローチはMIAに対するレジリエンスの観点から,常に最先端の防御機構より優れています。
論文 参考訳（メタデータ） (2022-07-12T19:34:47Z) - Bounding Membership Inference [28.64031194463754]
トレーニングアルゴリズムが$epsilon$-DPを提供する場合、MI敵の精度に縛られる。
提案方式では,MI 攻撃者の成功を制限するために,モデルのトレーニングを行う際に,より緩やかな DP 保証を利用することが可能である。
論文 参考訳（メタデータ） (2022-02-24T17:54:15Z) - Do Not Trust Prediction Scores for Membership Inference Attacks [15.567057178736402]
メンバーシップ推論攻撃(MIA)は、特定のサンプルが予測モデルのトレーニングに使用されたかどうかを判断することを目的としている。
これは、多くの現代のディープネットワークアーキテクチャにとって誤りである、と我々は主張する。
トレーニングデータの一部として誤って分類された、潜在的に無限のサンプルを生成できるのです。
論文 参考訳（メタデータ） (2021-11-17T12:39:04Z) - Trust but Verify: Assigning Prediction Credibility by Counterfactual
Constrained Learning [123.3472310767721]
予測信頼性尺度は統計学と機械学習において基本的なものである。
これらの措置は、実際に使用される多種多様なモデルを考慮に入れるべきである。
この研究で開発されたフレームワークは、リスクフィットのトレードオフとして信頼性を表現している。
論文 参考訳（メタデータ） (2020-11-24T19:52:38Z) - Robust Pre-Training by Adversarial Contrastive Learning [120.33706897927391]
近年の研究では、敵の訓練と統合されると、自己監督型事前訓練が最先端の堅牢性につながることが示されている。
我々は,データ強化と対向的摂動の両面に整合した学習表現により,ロバストネスを意識した自己指導型事前学習を改善する。
論文 参考訳（メタデータ） (2020-10-26T04:44:43Z) - Trade-offs between membership privacy & adversarially robust learning [13.37805637358556]
標準モデルがロバストモデルよりもはるかに過度に適合する設定を特定します。
オーバーフィッティングの度合いは、トレーニングに利用可能なデータの量に依存する。
論文 参考訳（メタデータ） (2020-06-08T14:20:12Z) - Membership Inference Attacks and Defenses in Classification Models [19.498313593713043]
分類器に対するMI攻撃について検討する。
我々は、MI攻撃に対するモデルの脆弱性が一般化ギャップと密接に関連していることを発見した。
トレーニング精度を意図的に低減し,ギャップを埋めることを目的としたMI攻撃に対する防御手法を提案する。
論文 参考訳（メタデータ） (2020-02-27T12:35:36Z) - Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。
本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。
4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
論文 参考訳（メタデータ） (2020-02-27T10:22:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。