Fugu-MT 論文翻訳(概要): Augment then Smooth: Reconciling Differential Privacy with Certified Robustness

論文の概要: Augment then Smooth: Reconciling Differential Privacy with Certified Robustness

arxiv url: http://arxiv.org/abs/2306.08656v2
Date: Fri, 19 Jul 2024 20:42:41 GMT
ステータス: 処理完了
システム内更新日: 2024-07-24 05:56:27.468703
Title: Augment then Smooth: Reconciling Differential Privacy with Certified Robustness
Title（参考訳）: Augment then Smooth: 認証されたロバスト性で差別的プライバシを再定義する
Authors: Jiapeng Wu, Atiyeh Ashari Ghomi, David Glukhov, Jesse C. Cresswell, Franziska Boenisch, Nicolas Papernot,
Abstract要約: 標準偏差プライベートモデルトレーニングは,信頼性の高いロバスト性保証を提供するには不十分であることを示す。本稿では,プライバシとロバスト性の両方を同時に実現する,シンプルで効果的なDP-CERTを提案する。
参考スコア（独自算出の注目度）: 32.49465965847842
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Machine learning models are susceptible to a variety of attacks that can erode trust, including attacks against the privacy of training data, and adversarial examples that jeopardize model accuracy. Differential privacy and certified robustness are effective frameworks for combating these two threats respectively, as they each provide future-proof guarantees. However, we show that standard differentially private model training is insufficient for providing strong certified robustness guarantees. Indeed, combining differential privacy and certified robustness in a single system is non-trivial, leading previous works to introduce complex training schemes that lack flexibility. In this work, we present DP-CERT, a simple and effective method that achieves both privacy and robustness guarantees simultaneously by integrating randomized smoothing into standard differentially private model training. Compared to the leading prior work, DP-CERT gives up to a 2.5% increase in certified accuracy for the same differential privacy guarantee on CIFAR10. Through in-depth persample metric analysis, we find that larger certifiable radii correlate with smaller local Lipschitz constants, and show that DP-CERT effectively reduces Lipschitz constants compared to other differentially private training methods. The code is available at github.com/layer6ailabs/dp-cert.
Abstract（参考訳）: マシンラーニングモデルは、トレーニングデータのプライバシに対する攻撃や、モデルの精度を危険にさらす敵例など、信頼を損なう可能性のあるさまざまな攻撃の影響を受けやすい。異なるプライバシーと認証された堅牢性は、これら2つの脅威にそれぞれ対処するための効果的なフレームワークであり、それぞれが将来的な保証を提供する。しかし, 標準偏差プライベートモデルトレーニングは, 信頼性の高いロバスト性保証を提供するには不十分であることを示す。実際、1つのシステムにおける差分プライバシーと認証された堅牢性を組み合わせることは簡単ではない。本研究では,ランダム化スムーシングを標準偏差モデルトレーニングに統合することにより,プライバシとロバスト性の両方の保証を同時に実現する,シンプルで効果的なDP-CERTを提案する。先行研究と比較すると、DP-CERTはCIFAR10と同じ差分プライバシー保証に対する認証精度を最大2.5%向上させる。深度パーサンブル計量分析により、より大きな証明可能なラジイはより小さな局所的なリプシッツ定数と相関し、DP-CERTは他の微分プライベートな訓練方法と比較して効果的にリプシッツ定数を減少させることを示した。コードはgithub.com/layer6ailabs/dp-certで入手できる。

関連論文リスト

Too Good to be True? Turn Any Model Differentially Private With DP-Weights [0.0]
トレーニング後のモデルの重みに差分プライバシーノイズを適用する,画期的なアプローチを導入する。この新しいアプローチのプライバシ境界に対する包括的数学的証明を提供する。我々は,メンバシップ推論攻撃とパフォーマンス評価を用いて,その効果を実証的に評価する。
論文参考訳（メタデータ） (2024-06-27T19:58:11Z)
TernaryVote: Differentially Private, Communication Efficient, and Byzantine Resilient Distributed Optimization on Heterogeneous Data [50.797729676285876]
本稿では, 3次圧縮機と多数決機構を組み合わせて, 差分プライバシー, 勾配圧縮, ビザンチンレジリエンスを同時に実現するternaryVoteを提案する。提案アルゴリズムのF差分プライバシー(DP)とビザンチンレジリエンスのレンズによるプライバシー保証を理論的に定量化する。
論文参考訳（メタデータ） (2024-02-16T16:41:14Z)
Sparsity-Preserving Differentially Private Training of Large Embedding Models [67.29926605156788]
DP-SGDは、差分プライバシーと勾配降下を組み合わせたトレーニングアルゴリズムである。 DP-SGDをネーティブに埋め込みモデルに適用すると、勾配の間隔が破壊され、トレーニング効率が低下する。我々は,大規模埋め込みモデルのプライベートトレーニングにおいて,勾配間隔を保ったDP-FESTとDP-AdaFESTの2つの新しいアルゴリズムを提案する。
論文参考訳（メタデータ） (2023-11-14T17:59:51Z)
Individual Privacy Accounting for Differentially Private Stochastic Gradient Descent [69.14164921515949]
DP-SGDで訓練されたモデルをリリースする際の個々の事例に対するプライバシー保証を特徴付ける。ほとんどの例では、最悪のケースよりも強力なプライバシー保証を享受しています。これは、モデルユーティリティの観点からは守られないグループが同時に、より弱いプライバシー保証を経験することを意味する。
論文参考訳（メタデータ） (2022-06-06T13:49:37Z)
Combining Differential Privacy and Byzantine Resilience in Distributed SGD [9.14589517827682]
本稿では,分散SGDアルゴリズムが標準パラメータサーバアーキテクチャにおいて,どの程度正確なモデルを学習できるかについて検討する。特に$(alpha,f)$-Byzantineのレジリエンスに依存しているものは、正直な労働者がDPを強制すると無効となる。
論文参考訳（メタデータ） (2021-10-08T09:23:03Z)
Accuracy, Interpretability, and Differential Privacy via Explainable Boosting [22.30100748652558]
我々は、EBM(Explainable Boosting Machines)に差分プライバシーを追加することで、プライバシーを保護しながら最先端の精度が得られることを示す。複数分類および回帰データセットを用いた実験により,DP-EBMモデルでは,強い差分プライバシー保証を伴っても驚くほど精度の低下がみられた。
論文参考訳（メタデータ） (2021-06-17T17:33:00Z)
On Deep Learning with Label Differential Privacy [54.45348348861426]
ラベルは機密性があり、保護されるべきであるとするマルチクラス分類について検討する。本稿では,ラベル差分プライバシを用いたディープニューラルネットワークのトレーニングアルゴリズムを提案し,いくつかのデータセットで評価を行う。
論文参考訳（メタデータ） (2021-02-11T15:09:06Z)
Robustness Threats of Differential Privacy [70.818129585404]
我々は、いくつかの設定で差分プライバシーをトレーニングしたネットワークが、非プライベートバージョンに比べてさらに脆弱であることを実験的に実証した。本研究では,勾配クリッピングや雑音付加などのニューラルネットワークトレーニングの主成分が,モデルの堅牢性に与える影響について検討する。
論文参考訳（メタデータ） (2020-12-14T18:59:24Z)
Federated Learning with Sparsification-Amplified Privacy and Adaptive Optimization [27.243322019117144]
フェデレートラーニング(FL)により、分散エージェントは、生データを互いに共有することなく、集中型モデルを共同で学習することができる。スパーシフィケーションを増幅した新しいFLフレームワークを提案する。提案手法では,ランダムなスペーシフィケーションと各エージェントの勾配摂動を統合し,プライバシー保証を増幅する。
論文参考訳（メタデータ） (2020-08-01T20:22:57Z)
Differentially Private Federated Learning with Laplacian Smoothing [72.85272874099644]
フェデレートラーニングは、ユーザ間でプライベートデータを共有せずに、協調的にモデルを学習することで、データのプライバシを保護することを目的としている。敵は、リリースしたモデルを攻撃することによって、プライベートトレーニングデータを推測することができる。差別化プライバシは、トレーニングされたモデルの正確性や実用性を著しく低下させる価格で、このような攻撃に対する統計的保護を提供する。
論文参考訳（メタデータ） (2020-05-01T04:28:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。