論文の概要: Learning to be adversarially robust and differentially private
- arxiv url: http://arxiv.org/abs/2201.02265v1
- Date: Thu, 6 Jan 2022 22:33:06 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-10 22:00:05.644595
- Title: Learning to be adversarially robust and differentially private
- Title（参考訳）: 敵対的に堅牢で差別的にプライベートであることを学ぶ
- Authors: Jamie Hayes, Borja Balle, M. Pawan Kumar
- Abstract要約: 我々は、頑健で微分プライベートな最適化から生じる学習の難しさについて研究する。
プライベート最適化によって導入されたデータ次元依存用語は、堅牢なモデルを学ぶのが困難である。
差分プライバシーにおける敵の一般化とクリッピング規範の大きさは、損失景観の曲率を増大させ、性能の低下を示唆する。
- 参考スコア（独自算出の注目度）: 42.7930886063265
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We study the difficulties in learning that arise from robust and
differentially private optimization. We first study convergence of gradient
descent based adversarial training with differential privacy, taking a simple
binary classification task on linearly separable data as an illustrative
example. We compare the gap between adversarial and nominal risk in both
private and non-private settings, showing that the data dimensionality
dependent term introduced by private optimization compounds the difficulties of
learning a robust model. After this, we discuss what parts of adversarial
training and differential privacy hurt optimization, identifying that the size
of adversarial perturbation and clipping norm in differential privacy both
increase the curvature of the loss landscape, implying poorer generalization
performance.
- Abstract（参考訳）: 我々は,ロバストかつ差動的にプライベートな最適化から生じる学習の難しさについて検討する。
まず,線形分離データに対する単純な二分分類タスクを例にとり,微分プライバシーを用いた勾配降下型逆学習の収束について検討した。
個人と非個人の両方において,敵対的リスクと名目的リスクのギャップを比較検討した結果,個人的最適化によって引き起こされるデータ次元依存項は頑健なモデルを学ぶことの難しさを示している。
その後、敵のトレーニングと差分プライバシーのどの部分が最適化を損なうかについて議論し、対立の摂動の大きさと差分プライバシーにおけるクリッピング規範が、損失景観の曲率を増大させ、一般化性能の低下を示唆する。
関連論文リスト
- Initialization Matters: Privacy-Utility Analysis of Overparameterized
Neural Networks [72.51255282371805]
我々は、最悪の近傍データセット上でのモデル分布間のKLばらつきのプライバシー境界を証明した。
このKLプライバシー境界は、トレーニング中にモデルパラメータに対して期待される2乗勾配ノルムによって決定される。
論文 参考訳（メタデータ） (2023-10-31T16:13:22Z) - Enforcing Privacy in Distributed Learning with Performance Guarantees [57.14673504239551]
分散学習と最適化戦略の民営化について検討する。
グラフ構造に対して十分に調整されていないため, 一般的な加法的乱乱摂動方式は性能を低下させることを示す。
論文 参考訳（メタデータ） (2023-01-16T13:03:27Z) - Differentially private partitioned variational inference [28.96767727430277]
複数のデバイスに分散している機密データから、プライバシ保護モデルを学ぶことは、ますます重要な問題である。
ベイズ分布に対する変分近似を学習するための最初の一般フレームワークである差分分割変分推論について述べる。
論文 参考訳（メタデータ） (2022-09-23T13:58:40Z) - Differentially Private Stochastic Gradient Descent with Low-Noise [49.981789906200035]
現代の機械学習アルゴリズムは、データからきめ細かい情報を抽出して正確な予測を提供することを目的としており、プライバシー保護の目標と矛盾することが多い。
本稿では、プライバシを保ちながら優れたパフォーマンスを確保するために、プライバシを保存する機械学習アルゴリズムを開発することの実践的および理論的重要性について論じる。
論文 参考訳（メタデータ） (2022-09-09T08:54:13Z) - Mixed Differential Privacy in Computer Vision [133.68363478737058]
AdaMixは、プライベートとパブリックの両方の画像データを使用して、ディープニューラルネットワーク分類器をトレーニングするための適応型微分プライベートアルゴリズムである。
プライベートデータを無視する数ショットあるいはゼロショットの学習ベースラインは、大規模なプライベートデータセットの微調整よりも優れています。
論文 参考訳（メタデータ） (2022-03-22T06:15:43Z) - PEARL: Data Synthesis via Private Embeddings and Adversarial
Reconstruction Learning [1.8692254863855962]
本稿では, 深層生成モデルを用いたデータ・フレームワークを, 差分的にプライベートな方法で提案する。
当社のフレームワークでは、センシティブなデータは、厳格なプライバシ保証をワンショットで行うことで衛生化されています。
提案手法は理論的に性能が保証され,複数のデータセットに対する経験的評価により,提案手法が適切なプライバシーレベルで他の手法よりも優れていることが示された。
論文 参考訳（メタデータ） (2021-06-08T18:00:01Z) - Gradient Masking and the Underestimated Robustness Threats of
Differential Privacy in Deep Learning [0.0]
本稿では,ディファレンシャルプライバシ(DP)によるトレーニングが,幅広い敵対攻撃に対するモデル脆弱性に与える影響を実験的に評価する。
結果から、プライベートモデルは非プライベートモデルよりも堅牢ではなく、非プライベートモデルとプライベートモデルよりもDPモデル間のトランスファーが優れていることが示唆された。
論文 参考訳（メタデータ） (2021-05-17T16:10:54Z) - Robustness Threats of Differential Privacy [70.818129585404]
我々は、いくつかの設定で差分プライバシーをトレーニングしたネットワークが、非プライベートバージョンに比べてさらに脆弱であることを実験的に実証した。
本研究では,勾配クリッピングや雑音付加などのニューラルネットワークトレーニングの主成分が,モデルの堅牢性に与える影響について検討する。
論文 参考訳（メタデータ） (2020-12-14T18:59:24Z) - Privately Learning Markov Random Fields [44.95321417724914]
我々は、差分プライバシーの制約の下でランダムフィールド(イジングモデルを含む)を学習する問題を考察する。
私たちは、さまざまなプライバシー制約の下で、両方の問題に対してアルゴリズムと低いバウンダリを提供します。
論文 参考訳（メタデータ） (2020-02-21T18:30:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。