論文の概要: Differentially Private Optimizers Can Learn Adversarially Robust Models

• arxiv url: http://arxiv.org/abs/2211.08942v1
• Date: Wed, 16 Nov 2022 14:44:27 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-17 14:47:04.080350
• Title: Differentially Private Optimizers Can Learn Adversarially Robust Models
• Title（参考訳）: 微分プライベートオプティマイザは、逆ロバストなモデルを学ぶことができる
• Authors: Yuan Zhang, Zhiqi Bu
• Abstract要約: DPモデルは、自然に訓練された非私的モデルよりも頑丈で正確であることを示す。 プライバシ・ロバストネス・正確性トレードオフに影響を与える3つの重要な要因を観察します。 経験的に、DPモデルの堅牢性は、MNIST、Fashion MNIST、CelebAデータセットで一貫して観察される。
• 参考スコア（独自算出の注目度）: 16.32699043292699
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Machine learning models have shone in a variety of domains and attracted increasing attention from both the security and the privacy communities. One important yet worrying question is: will training models under the differential privacy (DP) constraint unfavorably impact on the adversarial robustness? While previous works have postulated that privacy comes at the cost of worse robustness, we give the first theoretical analysis to show that DP models can indeed be robust and accurate, even sometimes more robust than their naturally-trained non-private counterparts. We observe three key factors that influence the privacy-robustness-accuracy tradeoff: (1) hyperparameters for DP optimizers are critical; (2) pre-training on public data significantly mitigates the accuracy and robustness drop; (3) choice of DP optimizers makes a difference. With these factors set properly, we achieve 90\% natural accuracy, 72\% robust accuracy ($+9\%$ than the non-private model) under $l_2(0.5)$ attack, and 69\% robust accuracy ($+16\%$ than the non-private model) with pre-trained SimCLRv2 model under $l_\infty(4/255)$ attack on CIFAR10 with $\epsilon=2$. In fact, we show both theoretically and empirically that DP models are Pareto optimal on the accuracy-robustness tradeoff. Empirically, the robustness of DP models is consistently observed on MNIST, Fashion MNIST and CelebA datasets, with ResNet and Vision Transformer. We believe our encouraging results are a significant step towards training models that are private as well as robust.
• Abstract（参考訳）: 機械学習モデルは様々な分野に浸透し、セキュリティとプライバシコミュニティの両方から注目を集めている。 ディファレンシャルプライバシ(dp)制約下でのトレーニングモデルは、敵の堅牢性に不利な影響を与えますか? これまでの研究では、プライバシーはより堅牢なコストが伴うと仮定されていたが、DPモデルが自然に訓練された非私的モデルよりも堅牢で正確であることを示す最初の理論的分析を行った。 1)DPオプティマイザのハイパーパラメータは重要である; 2) 公開データによる事前トレーニングは精度とロバスト性低下を著しく軽減する; 3) DPオプティマイザの選択は違いをもたらす。 これらの因子を適切に設定すると、90 %の自然精度、72 %の頑健な精度(非私的モデルより+9 %)、69 %の頑健な精度(非私的モデルより+16 %)、および事前訓練されたSimCLRv2 モデルで $l_\infty(4/255)のCIFAR10 に対する攻撃を$\epsilon=2$とする。 実際、理論上および経験上、dpモデルが精度・ロバスト性トレードオフにおいてパレート最適であることを示す。 経験的に、DPモデルのロバスト性は、MNIST、Fashion MNIST、CelebAデータセット、ResNet、Vision Transformerで一貫して観察されている。 奨励的な結果は、プライベートで堅牢なモデルをトレーニングするための重要なステップだと思います。

関連論文リスト

• Pre-training Differentially Private Models with Limited Public Data [54.943023722114134]
  ディファレンシャルプライバシ(DP)は、モデルに提供されるセキュリティの度合いを測定するための重要な手法である。 DPはまだ、最初の事前訓練段階で使用されるデータのかなりの部分を保護することができない。 公共データの10%しか利用しない新しいDP継続事前学習戦略を開発した。 ImageNet-21kのDP精度は41.5%、非DP精度は55.7%、下流タスクのPlaces365とiNaturalist-2021では60.0%である。
  論文  参考訳（メタデータ） (2024-02-28T23:26:27Z)
• Graphical vs. Deep Generative Models: Measuring the Impact of Differentially Private Mechanisms and Budgets on Utility [18.213030598476198]
  私たちはグラフィカルモデルと深層生成モデルを比較し、プライバシー予算の支出に寄与する重要な要素に注目します。 グラフィカルモデルでは,プライバシ予算を水平方向に分散させることで,一定のトレーニング時間において比較的広いデータセットを処理できないことがわかった。 深層生成モデルはイテレーション毎に予算を消費するので、その振る舞いはさまざまなデータセットの次元で予測できない。
  論文  参考訳（メタデータ） (2023-05-18T14:14:42Z)
• TAN Without a Burn: Scaling Laws of DP-SGD [70.7364032297978]
  近年、ディープニューラルネットワーク(DNN)を訓練するための微分プライベートな手法が進歩している。 プライバシ分析とノイズのあるトレーニングの実験的振る舞いを分離し、最小限の計算要件でトレードオフを探索する。 我々は,提案手法をCIFAR-10とImageNetに適用し,特にImageNetの最先端性を,上位1点の精度で向上させる。
  論文  参考訳（メタデータ） (2022-10-07T08:44:35Z)
• Large Scale Transfer Learning for Differentially Private Image Classification [51.10365553035979]
  Differential Privacy(DP)は、個別のサンプルレベルのプライバシで機械学習モデルをトレーニングするための正式なフレームワークを提供する。 DP-SGDを用いたプライベートトレーニングは、個々のサンプル勾配にノイズを注入することで漏れを防ぐ。 この結果は非常に魅力的であるが,DP-SGDを用いた大規模モデルのトレーニングの計算コストは,非プライベートトレーニングよりもかなり高い。
  論文  参考訳（メタデータ） (2022-05-06T01:22:20Z)
• Just Fine-tune Twice: Selective Differential Privacy for Large Language Models [69.66654761324702]
  本稿では,大規模なトランスフォーマーベース言語モデルのためのSDPを実現するための,シンプルで効果的なジャストファイントゥンツースプライバシ機構を提案する。 実験により, カナリア挿入攻撃に対して頑健でありながら, 高い性能が得られた。
  論文  参考訳（メタデータ） (2022-04-15T22:36:55Z)
• Large Language Models Can Be Strong Differentially Private Learners [70.0317718115406]
  Differentially Private(DP)学習は、テキストの大規模なディープラーニングモデルを構築する上で、限られた成功を収めている。 この性能低下は,大規模な事前学習モデルを用いることで緩和可能であることを示す。 本稿では,DP-SGDにおけるクリッピングを,サンプルごとの勾配をインスタンス化せずに実行可能にするメモリ節約手法を提案する。
  論文  参考訳（メタデータ） (2021-10-12T01:45:27Z)
• DPlis: Boosting Utility of Differentially Private Deep Learning via Randomized Smoothing [0.0]
  DPlis--Differentially Private Learning wIth Smoothingを提案します。 DPlisは,プライバシ予算の下でモデル品質とトレーニングの安定性を効果的に向上させることができることを示す。
  論文  参考訳（メタデータ） (2021-03-02T06:33:14Z)
• Improving Deep Learning with Differential Privacy using Gradient Encoding and Denoising [36.935465903971014]
  本稿では,差分プライバシー保証を伴う深層学習モデルの学習を目的とした。 我々の鍵となる手法は勾配をエンコードしてより小さなベクトル空間にマッピングすることである。 我々のメカニズムは最先端のDPSGDよりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-07-22T16:33:14Z)
• Adversarial Robustness: From Self-Supervised Pre-Training to Fine-Tuning [134.15174177472807]
  対戦型トレーニングを自己超越に導入し,汎用的な頑健な事前訓練モデルを初めて提供する。 提案するフレームワークが大きなパフォーマンスマージンを達成できることを示すため,広範な実験を行う。
  論文  参考訳（メタデータ） (2020-03-28T18:28:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。