論文の概要: Augment then Smooth: Reconciling Differential Privacy with Certified Robustness

• arxiv url: http://arxiv.org/abs/2306.08656v1
• Date: Wed, 14 Jun 2023 17:52:02 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-16 17:49:29.272165
• Title: Augment then Smooth: Reconciling Differential Privacy with Certified Robustness
• Title（参考訳）: Augment then Smooth: 認証されたロバスト性で差別的プライバシを再定義する
• Authors: Jiapeng Wu, Atiyeh Ashari Ghomi, David Glukhov, Jesse C. Cresswell, Franziska Boenisch, Nicolas Papernot
• Abstract要約: プライバシー保証と認証された堅牢性の両方を同時に達成することは可能であると我々は主張する。 我々はDP-CERTと呼ばれるフレームワークを、ランダムなスムース化によって、個別にプライベートなモデルトレーニングに統合する。
• 参考スコア（独自算出の注目度）: 21.641362811887817
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Machine learning models are susceptible to a variety of attacks that can erode trust in their deployment. These threats include attacks against the privacy of training data and adversarial examples that jeopardize model accuracy. Differential privacy and randomized smoothing are effective defenses that provide certifiable guarantees for each of these threats, however, it is not well understood how implementing either defense impacts the other. In this work, we argue that it is possible to achieve both privacy guarantees and certified robustness simultaneously. We provide a framework called DP-CERT for integrating certified robustness through randomized smoothing into differentially private model training. For instance, compared to differentially private stochastic gradient descent on CIFAR10, DP-CERT leads to a 12-fold increase in certified accuracy and a 10-fold increase in the average certified radius at the expense of a drop in accuracy of 1.2%. Through in-depth per-sample metric analysis, we show that the certified radius correlates with the local Lipschitz constant and smoothness of the loss surface. This provides a new way to diagnose when private models will fail to be robust.
• Abstract（参考訳）: マシンラーニングモデルは、デプロイに対する信頼を損なう可能性のあるさまざまな攻撃に影響を受けやすい。 これらの脅威には、トレーニングデータのプライバシーに対する攻撃や、モデルの精度を脅かす敵の例が含まれる。 ディファレンシャルプライバシとランダム化平滑化は、これらの脅威のそれぞれに対して証明可能な保証を提供する効果的な防御であるが、どちらの防御も他の脅威にどのように影響するかはよく分かっていない。 本研究では,プライバシー保証と認証された堅牢性の両方を同時に達成できることを論じる。 我々は,ランダム化平滑化による認定ロバストネスを差分プライベートモデルトレーニングに統合するdp-certと呼ばれるフレームワークを提供する。 例えば、DP-CERTは、CIFAR10上の個人確率勾配勾配よりも12倍の精度向上と平均認定半径の10倍の精度向上を達成し、精度の1.2%の低下を犠牲にしている。 試料ごとの距離解析により, 認定半径は局所リプシッツ定数と損失面の滑らかさに相関することを示した。 これにより、プライベートモデルが堅牢でない場合に新たな診断方法が提供される。

関連論文リスト

• Too Good to be True? Turn Any Model Differentially Private With DP-Weights [0.0]
  トレーニング後のモデルの重みに差分プライバシーノイズを適用する,画期的なアプローチを導入する。 この新しいアプローチのプライバシ境界に対する包括的数学的証明を提供する。 我々は,メンバシップ推論攻撃とパフォーマンス評価を用いて,その効果を実証的に評価する。
  論文  参考訳（メタデータ） (2024-06-27T19:58:11Z)
• TernaryVote: Differentially Private, Communication Efficient, and Byzantine Resilient Distributed Optimization on Heterogeneous Data [50.797729676285876]
  本稿では, 3次圧縮機と多数決機構を組み合わせて, 差分プライバシー, 勾配圧縮, ビザンチンレジリエンスを同時に実現するternaryVoteを提案する。 提案アルゴリズムのF差分プライバシー(DP)とビザンチンレジリエンスのレンズによるプライバシー保証を理論的に定量化する。
  論文  参考訳（メタデータ） (2024-02-16T16:41:14Z)
• Sparsity-Preserving Differentially Private Training of Large Embedding Models [67.29926605156788]
  DP-SGDは、差分プライバシーと勾配降下を組み合わせたトレーニングアルゴリズムである。 DP-SGDをネーティブに埋め込みモデルに適用すると、勾配の間隔が破壊され、トレーニング効率が低下する。 我々は,大規模埋め込みモデルのプライベートトレーニングにおいて,勾配間隔を保ったDP-FESTとDP-AdaFESTの2つの新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-11-14T17:59:51Z)
• Individual Privacy Accounting for Differentially Private Stochastic Gradient Descent [69.14164921515949]
  DP-SGDで訓練されたモデルをリリースする際の個々の事例に対するプライバシー保証を特徴付ける。 ほとんどの例では、最悪のケースよりも強力なプライバシー保証を享受しています。 これは、モデルユーティリティの観点からは守られないグループが同時に、より弱いプライバシー保証を経験することを意味する。
  論文  参考訳（メタデータ） (2022-06-06T13:49:37Z)
• Combining Differential Privacy and Byzantine Resilience in Distributed SGD [9.14589517827682]
  本稿では,分散SGDアルゴリズムが標準パラメータサーバアーキテクチャにおいて,どの程度正確なモデルを学習できるかについて検討する。 特に$(alpha,f)$-Byzantineのレジリエンスに依存しているものは、正直な労働者がDPを強制すると無効となる。
  論文  参考訳（メタデータ） (2021-10-08T09:23:03Z)
• Accuracy, Interpretability, and Differential Privacy via Explainable Boosting [22.30100748652558]
  我々は、EBM(Explainable Boosting Machines)に差分プライバシーを追加することで、プライバシーを保護しながら最先端の精度が得られることを示す。 複数分類および回帰データセットを用いた実験により,DP-EBMモデルでは,強い差分プライバシー保証を伴っても驚くほど精度の低下がみられた。
  論文  参考訳（メタデータ） (2021-06-17T17:33:00Z)
• On Deep Learning with Label Differential Privacy [54.45348348861426]
  ラベルは機密性があり、保護されるべきであるとするマルチクラス分類について検討する。 本稿では,ラベル差分プライバシを用いたディープニューラルネットワークのトレーニングアルゴリズムを提案し,いくつかのデータセットで評価を行う。
  論文  参考訳（メタデータ） (2021-02-11T15:09:06Z)
• Robustness Threats of Differential Privacy [70.818129585404]
  我々は、いくつかの設定で差分プライバシーをトレーニングしたネットワークが、非プライベートバージョンに比べてさらに脆弱であることを実験的に実証した。 本研究では,勾配クリッピングや雑音付加などのニューラルネットワークトレーニングの主成分が,モデルの堅牢性に与える影響について検討する。
  論文  参考訳（メタデータ） (2020-12-14T18:59:24Z)
• Federated Learning with Sparsification-Amplified Privacy and Adaptive Optimization [27.243322019117144]
  フェデレートラーニング(FL)により、分散エージェントは、生データを互いに共有することなく、集中型モデルを共同で学習することができる。 スパーシフィケーションを増幅した新しいFLフレームワークを提案する。 提案手法では,ランダムなスペーシフィケーションと各エージェントの勾配摂動を統合し,プライバシー保証を増幅する。
  論文  参考訳（メタデータ） (2020-08-01T20:22:57Z)
• Differentially Private Federated Learning with Laplacian Smoothing [72.85272874099644]
  フェデレートラーニングは、ユーザ間でプライベートデータを共有せずに、協調的にモデルを学習することで、データのプライバシを保護することを目的としている。 敵は、リリースしたモデルを攻撃することによって、プライベートトレーニングデータを推測することができる。 差別化プライバシは、トレーニングされたモデルの正確性や実用性を著しく低下させる価格で、このような攻撃に対する統計的保護を提供する。
  論文  参考訳（メタデータ） (2020-05-01T04:28:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。