Fugu-MT 論文翻訳(概要): On the Interaction Between Differential Privacy and Gradient Compression in Deep Learning

論文の概要: On the Interaction Between Differential Privacy and Gradient Compression in Deep Learning

arxiv url: http://arxiv.org/abs/2211.00734v1
Date: Tue, 1 Nov 2022 20:28:45 GMT
ステータス: 処理完了
システム内更新日: 2022-11-03 14:31:54.906467
Title: On the Interaction Between Differential Privacy and Gradient Compression in Deep Learning
Title（参考訳）: ディープラーニングにおける差分プライバシーと勾配圧縮の相互作用について
Authors: Jimmy Lin
Abstract要約: 差分プライバシーと勾配圧縮のガウス的メカニズムがディープラーニングにおけるテスト精度にどのように影響するかを考察する。勾配圧縮は一般に非プライベートトレーニングではテスト精度に悪影響を及ぼすが、差分プライベートトレーニングではテスト精度を改善することがある。
参考スコア（独自算出の注目度）: 55.22219308265945
License: http://creativecommons.org/licenses/by/4.0/
Abstract: While differential privacy and gradient compression are separately well-researched topics in machine learning, the study of interaction between these two topics is still relatively new. We perform a detailed empirical study on how the Gaussian mechanism for differential privacy and gradient compression jointly impact test accuracy in deep learning. The existing literature in gradient compression mostly evaluates compression in the absence of differential privacy guarantees, and demonstrate that sufficiently high compression rates reduce accuracy. Similarly, existing literature in differential privacy evaluates privacy mechanisms in the absence of compression, and demonstrates that sufficiently strong privacy guarantees reduce accuracy. In this work, we observe while gradient compression generally has a negative impact on test accuracy in non-private training, it can sometimes improve test accuracy in differentially private training. Specifically, we observe that when employing aggressive sparsification or rank reduction to the gradients, test accuracy is less affected by the Gaussian noise added for differential privacy. These observations are explained through an analysis how differential privacy and compression effects the bias and variance in estimating the average gradient. We follow this study with a recommendation on how to improve test accuracy under the context of differentially private deep learning and gradient compression. We evaluate this proposal and find that it can reduce the negative impact of noise added by differential privacy mechanisms on test accuracy by up to 24.6%, and reduce the negative impact of gradient sparsification on test accuracy by up to 15.1%.
Abstract（参考訳）: ディファレンシャルプライバシと勾配圧縮は、機械学習において個別によく研究されているトピックであるが、これらの2つのトピック間のインタラクションの研究はまだ比較的新しい。差分プライバシーと勾配圧縮のガウス的メカニズムがディープラーニングにおけるテスト精度にどのように影響するかを実験的に検討する。勾配圧縮の既存の文献は、差分プライバシー保証がない場合の圧縮を主に評価し、十分に高い圧縮速度が精度を低下させることを示した。同様に、差分プライバシーに関する既存の文献は、圧縮がない場合のプライバシーメカニズムを評価し、十分に強力なプライバシー保証が精度を低下させることを示す。本研究では, 勾配圧縮が非プライベートトレーニングにおけるテスト精度に悪影響を及ぼすのに対して, 偏差プライベートトレーニングではテスト精度が向上する場合があることを観察する。具体的には,勾配に攻撃的スパーシフィケーションやランク低減を行うことで,差分プライバシーに付加されるガウス雑音の影響が小さくなることを観察する。これらの観察は、差分プライバシーと圧縮が平均勾配の推定におけるバイアスと分散にどのように影響するかの分析を通して説明される。本研究は,個別の深層学習と勾配圧縮の文脈において,テスト精度を改善する方法について提案する。この提案を評価し、差分プライバシー機構が付加するノイズがテスト精度に与える影響を最大24.6%低減し、勾配偏差がテスト精度に与える影響を最大15.1%低減できることを見出した。

関連論文リスト

Privacy at a Price: Exploring its Dual Impact on AI Fairness [24.650648702853903]
機械学習モデルにおける差分プライバシーは、予測精度に関して異なる階層群に不平等に影響を及ぼすことを示した。これは公平性への懸念を招き、パフォーマンスのバイアスとして現れます。微分プライベート勾配降下ML法における勾配クリッピングの実装は、DPノイズの公平性に対する負の影響を軽減することができる。
論文参考訳（メタデータ） (2024-04-15T00:23:41Z)
Causal Inference with Differentially Private (Clustered) Outcomes [16.166525280886578]
ランダム化実験から因果効果を推定することは、参加者が反応を明らかにすることに同意すれば実現可能である。我々は,任意のクラスタ構造を利用する新たな差分プライバシメカニズムであるCluster-DPを提案する。クラスタの品質を直感的に測定することで,プライバシ保証を維持しながら分散損失を改善することができることを示す。
論文参考訳（メタデータ） (2023-08-02T05:51:57Z)
SA-DPSGD: Differentially Private Stochastic Gradient Descent based on Simulated Annealing [25.25065807901922]
差分勾配降下法は画像認識における差分プライバシーを持つ最も一般的な訓練法である。既存のDPSGDスキームは性能を著しく低下させ、差分プライバシーの適用を妨げている。本稿では, 更新品質とイテレーション数に依存する確率で, 候補更新を受理するSA-DPSGD(Simulated annealing-based differentially private gradient descent scheme)を提案する。
論文参考訳（メタデータ） (2022-11-14T09:20:48Z)
Gradient Leakage Attack Resilient Deep Learning [7.893378392969824]
勾配の漏洩攻撃はディープラーニングで最も悪質なプライバシーの脅威の1つだ差分プライバシーを持つディープラーニングは、差分プライバシーを保証するディープラーニングモデルを公開するためのデファクトスタンダードである。本稿では,差分プライバシーを用いた勾配リーク耐性深層学習の代替手法について検討する。
論文参考訳（メタデータ） (2021-12-25T03:33:02Z)
Adaptive Differentially Private Empirical Risk Minimization [95.04948014513226]
本稿では,適応的(確率的)勾配摂動法を提案する。 ADP法は,バニラランダムノイズを付加した標準微分プライベート法と比較して,実用性保証を大幅に改善することを示す。
論文参考訳（メタデータ） (2021-10-14T15:02:20Z)
Do Not Let Privacy Overbill Utility: Gradient Embedding Perturbation for Private Learning [74.73901662374921]
差分プライベートモデルは、モデルが多数のトレーニング可能なパラメータを含む場合、ユーティリティを劇的に劣化させる。偏微分プライベート深層モデルの精度向上のためのアルゴリズムemphGradient Embedding Perturbation (GEP)を提案する。
論文参考訳（メタデータ） (2021-02-25T04:29:58Z)
On Deep Learning with Label Differential Privacy [54.45348348861426]
ラベルは機密性があり、保護されるべきであるとするマルチクラス分類について検討する。本稿では,ラベル差分プライバシを用いたディープニューラルネットワークのトレーニングアルゴリズムを提案し,いくつかのデータセットで評価を行う。
論文参考訳（メタデータ） (2021-02-11T15:09:06Z)
Robustness Threats of Differential Privacy [70.818129585404]
我々は、いくつかの設定で差分プライバシーをトレーニングしたネットワークが、非プライベートバージョンに比べてさらに脆弱であることを実験的に実証した。本研究では,勾配クリッピングや雑音付加などのニューラルネットワークトレーニングの主成分が,モデルの堅牢性に与える影響について検討する。
論文参考訳（メタデータ） (2020-12-14T18:59:24Z)
Gradient Sparsification Can Improve Performance of Differentially-Private Convex Machine Learning [14.497406777219112]
個人機械学習モデルの性能に対する差分プライバシノイズの悪影響を軽減するために勾配スペーシフィケーションを用いる。差分偏差勾配の評価には圧縮センシングと付加ラプラス雑音を用いる。
論文参考訳（メタデータ） (2020-11-30T06:37:06Z)
Differentially Private Federated Learning with Laplacian Smoothing [72.85272874099644]
フェデレートラーニングは、ユーザ間でプライベートデータを共有せずに、協調的にモデルを学習することで、データのプライバシを保護することを目的としている。敵は、リリースしたモデルを攻撃することによって、プライベートトレーニングデータを推測することができる。差別化プライバシは、トレーニングされたモデルの正確性や実用性を著しく低下させる価格で、このような攻撃に対する統計的保護を提供する。
論文参考訳（メタデータ） (2020-05-01T04:28:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。