論文の概要: Gradient Masking and the Underestimated Robustness Threats of
Differential Privacy in Deep Learning
- arxiv url: http://arxiv.org/abs/2105.07985v1
- Date: Mon, 17 May 2021 16:10:54 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-18 18:46:01.684885
- Title: Gradient Masking and the Underestimated Robustness Threats of
Differential Privacy in Deep Learning
- Title（参考訳）: 直感的マスキングと深層学習における差分プライバシーの過小評価ロバスト性
- Authors: Franziska Boenisch, Philip Sperl, Konstantin B\"ottinger
- Abstract要約: 本稿では,ディファレンシャルプライバシ(DP)によるトレーニングが,幅広い敵対攻撃に対するモデル脆弱性に与える影響を実験的に評価する。
結果から、プライベートモデルは非プライベートモデルよりも堅牢ではなく、非プライベートモデルとプライベートモデルよりもDPモデル間のトランスファーが優れていることが示唆された。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: An important problem in deep learning is the privacy and security of neural
networks (NNs). Both aspects have long been considered separately. To date, it
is still poorly understood how privacy enhancing training affects the
robustness of NNs. This paper experimentally evaluates the impact of training
with Differential Privacy (DP), a standard method for privacy preservation, on
model vulnerability against a broad range of adversarial attacks. The results
suggest that private models are less robust than their non-private
counterparts, and that adversarial examples transfer better among DP models
than between non-private and private ones. Furthermore, detailed analyses of DP
and non-DP models suggest significant differences between their gradients.
Additionally, this work is the first to observe that an unfavorable choice of
parameters in DP training can lead to gradient masking, and, thereby, results
in a wrong sense of security.
- Abstract（参考訳）: ディープラーニングにおける重要な問題は、ニューラルネットワーク(NN)のプライバシとセキュリティである。
どちらの側面も長い間別々に検討されてきた。
現在まで、プライバシー強化トレーニングがNNの堅牢性にどのように影響するかは理解されていない。
本稿では,プライバシ保護の標準手法である差分プライバシー(DP)を用いたトレーニングが,幅広い敵攻撃に対するモデル脆弱性に与える影響を実験的に評価する。
その結果,プライベートモデルの方が非プライベートモデルに比べて頑健性が低く,非プライベートモデルとプライベートモデルよりもdpモデル間での敵例の方が良好であることが示唆された。
さらに, dpモデルと非dpモデルの詳細な解析結果から, 勾配の違いが示唆された。
さらに、この研究は、DPトレーニングにおけるパラメータの好ましくない選択が勾配マスキングにつながることを初めて観察し、結果としてセキュリティの誤った感覚をもたらす。
関連論文リスト
- Masked Differential Privacy [64.32494202656801]
本稿では,差分プライバシーを適用した機密領域を制御できる「マスク型差分プライバシー(DP)」という効果的なアプローチを提案する。
提案手法はデータに基づいて選択的に動作し,DPアプリケーションや差分プライバシーをデータサンプル内の他のプライバシー技術と組み合わせることなく,非感性時間領域を定義できる。
論文 参考訳（メタデータ） (2024-10-22T15:22:53Z) - Privacy at a Price: Exploring its Dual Impact on AI Fairness [24.650648702853903]
機械学習モデルにおける差分プライバシーは、予測精度に関して異なる階層群に不平等に影響を及ぼすことを示した。
これは公平性への懸念を招き、パフォーマンスのバイアスとして現れます。
微分プライベート勾配降下ML法における勾配クリッピングの実装は、DPノイズの公平性に対する負の影響を軽減することができる。
論文 参考訳（メタデータ） (2024-04-15T00:23:41Z) - Discriminative Adversarial Privacy: Balancing Accuracy and Membership
Privacy in Neural Networks [7.0895962209555465]
DAP(Dariminative Adversarial Privacy)は、モデルの性能、速度、プライバシのバランスを達成するために設計された学習技術である。
DAPは、MIAの誤差を最大化しながら予測誤差を最小化できる新しい損失関数に基づく敵の訓練に依存している。
さらに、パフォーマンスプライバシのトレードオフを捉えるために、AOP(Acuracy Over Privacy)と呼ばれる新しいメトリクスを紹介します。
論文 参考訳（メタデータ） (2023-06-05T17:25:45Z) - Training Private Models That Know What They Don't Know [40.19666295972155]
いくつかの一般的な選択的予測手法は、差分的にプライベートな環境では効果がないことがわかった。
モデルユーティリティレベルを越えた選択予測性能を分離する新しい評価機構を提案する。
論文 参考訳（メタデータ） (2023-05-28T12:20:07Z) - How Do Input Attributes Impact the Privacy Loss in Differential Privacy? [55.492422758737575]
DPニューラルネットワークにおけるオブジェクトごとの規範と個人のプライバシ損失との関係について検討する。
プライバシ・ロス・インプット・サセプティビリティ(PLIS)と呼ばれる新しい指標を導入し、被験者のプライバシ・ロスを入力属性に適応させることを可能にした。
論文 参考訳（メタデータ） (2022-11-18T11:39:03Z) - Individual Privacy Accounting for Differentially Private Stochastic Gradient Descent [69.14164921515949]
DP-SGDで訓練されたモデルをリリースする際の個々の事例に対するプライバシー保証を特徴付ける。
ほとんどの例では、最悪のケースよりも強力なプライバシー保証を享受しています。
これは、モデルユーティリティの観点からは守られないグループが同時に、より弱いプライバシー保証を経験することを意味する。
論文 参考訳（メタデータ） (2022-06-06T13:49:37Z) - Large Scale Transfer Learning for Differentially Private Image
Classification [51.10365553035979]
Differential Privacy(DP)は、個別のサンプルレベルのプライバシで機械学習モデルをトレーニングするための正式なフレームワークを提供する。
DP-SGDを用いたプライベートトレーニングは、個々のサンプル勾配にノイズを注入することで漏れを防ぐ。
この結果は非常に魅力的であるが,DP-SGDを用いた大規模モデルのトレーニングの計算コストは,非プライベートトレーニングよりもかなり高い。
論文 参考訳（メタデータ） (2022-05-06T01:22:20Z) - DPlis: Boosting Utility of Differentially Private Deep Learning via
Randomized Smoothing [0.0]
DPlis--Differentially Private Learning wIth Smoothingを提案します。
DPlisは,プライバシ予算の下でモデル品質とトレーニングの安定性を効果的に向上させることができることを示す。
論文 参考訳（メタデータ） (2021-03-02T06:33:14Z) - Robustness Threats of Differential Privacy [70.818129585404]
我々は、いくつかの設定で差分プライバシーをトレーニングしたネットワークが、非プライベートバージョンに比べてさらに脆弱であることを実験的に実証した。
本研究では,勾配クリッピングや雑音付加などのニューラルネットワークトレーニングの主成分が,モデルの堅牢性に与える影響について検討する。
論文 参考訳（メタデータ） (2020-12-14T18:59:24Z) - Private Reinforcement Learning with PAC and Regret Guarantees [69.4202374491817]
エピソード強化学習(RL)のためのプライバシー保護探索ポリシーを設計する。
まず、共同微分プライバシー(JDP)の概念を用いた有意義なプライバシー定式化を提供する。
そこで我々は,強いPACと後悔境界を同時に達成し,JDP保証を享受する,プライベートな楽観主義に基づく学習アルゴリズムを開発した。
論文 参考訳（メタデータ） (2020-09-18T20:18:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。