論文の概要: Disparate Impact in Differential Privacy from Gradient Misalignment
- arxiv url: http://arxiv.org/abs/2206.07737v1
- Date: Wed, 15 Jun 2022 18:06:45 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-17 14:53:00.838092
- Title: Disparate Impact in Differential Privacy from Gradient Misalignment
- Title(参考訳): ディファレンシャルプライバシとグラデーションミスアライメントの違いによる影響
- Authors: Maria S. Esipova, Atiyeh Ashari Ghomi, Yaqiao Luo, Jesse C. Cresswell
- Abstract要約: DPSGDにおける不公平性のきめ細かい原因について検討し、不平等な勾配クリッピングによる勾配ずれを同定した。
そこで本研究では,DPSGDの勾配ずれを防止し,不公平性を低減させる新しい手法を提案する。
- 参考スコア(独自算出の注目度): 0.8192907805418583
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As machine learning becomes more widespread throughout society, aspects
including data privacy and fairness must be carefully considered, and are
crucial for deployment in highly regulated industries. Unfortunately, the
application of privacy enhancing technologies can worsen unfair tendencies in
models. In particular, one of the most widely used techniques for private model
training, differentially private stochastic gradient descent (DPSGD),
frequently intensifies disparate impact on groups within data. In this work we
study the fine-grained causes of unfairness in DPSGD and identify gradient
misalignment due to inequitable gradient clipping as the most significant
source. This observation leads us to a new method for reducing unfairness by
preventing gradient misalignment in DPSGD.
- Abstract(参考訳): 機械学習が社会全体に広まるにつれて、データプライバシや公正性といった側面を慎重に検討し、高度に規制された産業への展開に不可欠である。
残念ながら、プライバシー強化技術の適用は、モデルの不公平な傾向を悪化させる可能性がある。
特に、最も広く使われているプライベートモデルトレーニングのテクニックの1つは、差分的にプライベートな確率勾配降下(dpsgd)であり、しばしばデータ内のグループに対する異なる影響を増大させる。
本研究は,DPSGDにおける不公平性の微細な原因について検討し,不平等な勾配クリッピングによる勾配ずれを最も重要な原因とする。
そこで本研究では,DPSGDの勾配ずれを防止し,不公平さを軽減する新しい手法を提案する。
関連論文リスト
- Enhancing DP-SGD through Non-monotonous Adaptive Scaling Gradient Weight [15.139854970044075]
我々はDP-PSASC(disferially Private Per-Sample Adaptive Scaling Clipping)を導入する。
このアプローチは、従来のクリッピングを非単調適応勾配スケーリングに置き換える。
DP-PSASCは勾配のプライバシーを保ち、多様なデータセットに優れた性能を提供する。
論文 参考訳(メタデータ) (2024-11-05T12:47:30Z) - Privacy at a Price: Exploring its Dual Impact on AI Fairness [24.650648702853903]
機械学習モデルにおける差分プライバシーは、予測精度に関して異なる階層群に不平等に影響を及ぼすことを示した。
これは公平性への懸念を招き、パフォーマンスのバイアスとして現れます。
微分プライベート勾配降下ML法における勾配クリッピングの実装は、DPノイズの公平性に対する負の影響を軽減することができる。
論文 参考訳(メタデータ) (2024-04-15T00:23:41Z) - Sparsity-Preserving Differentially Private Training of Large Embedding
Models [67.29926605156788]
DP-SGDは、差分プライバシーと勾配降下を組み合わせたトレーニングアルゴリズムである。
DP-SGDをネーティブに埋め込みモデルに適用すると、勾配の間隔が破壊され、トレーニング効率が低下する。
我々は,大規模埋め込みモデルのプライベートトレーニングにおいて,勾配間隔を保ったDP-FESTとDP-AdaFESTの2つの新しいアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-11-14T17:59:51Z) - Bias-Aware Minimisation: Understanding and Mitigating Estimator Bias in
Private SGD [56.01810892677744]
DP-SGDにおいて,サンプルごとの勾配ノルムとプライベート勾配オラクルの推定バイアスの関連性を示す。
BAM(Bias-Aware Minimisation)を提案する。
論文 参考訳(メタデータ) (2023-08-23T09:20:41Z) - On the utility and protection of optimization with differential privacy
and classic regularization techniques [9.413131350284083]
本稿では,標準最適化手法に対するDP-SGDアルゴリズムの有効性について検討する。
我々は、差分プライバシーの欠陥と限界について議論し、ドロップアウトとl2-規則化のプライバシー保護特性がしばしば優れていることを実証した。
論文 参考訳(メタデータ) (2022-09-07T14:10:21Z) - Don't Generate Me: Training Differentially Private Generative Models
with Sinkhorn Divergence [73.14373832423156]
そこで我々はDP-Sinkhornを提案する。DP-Sinkhornは個人データからデータ分布を差分プライバシで学習するための新しいトランスポートベース生成手法である。
差分的にプライベートな生成モデルを訓練するための既存のアプローチとは異なり、我々は敵の目的に頼らない。
論文 参考訳(メタデータ) (2021-11-01T18:10:21Z) - Do Not Let Privacy Overbill Utility: Gradient Embedding Perturbation for
Private Learning [74.73901662374921]
差分プライベートモデルは、モデルが多数のトレーニング可能なパラメータを含む場合、ユーティリティを劇的に劣化させる。
偏微分プライベート深層モデルの精度向上のためのアルゴリズムemphGradient Embedding Perturbation (GEP)を提案する。
論文 参考訳(メタデータ) (2021-02-25T04:29:58Z) - Understanding Gradient Clipping in Private SGD: A Geometric Perspective [68.61254575987013]
ディープラーニングモデルは、トレーニングデータが機密情報を含む可能性がある多くの機械学習アプリケーションで、ますます人気が高まっている。
多くの学習システムは、(異なる)プライベートSGDでモデルをトレーニングすることで、差分プライバシーを取り入れている。
各プライベートSGDアップデートにおける重要なステップは勾配クリッピングであり、L2ノルムがしきい値を超えると、個々の例の勾配を小さくする。
論文 参考訳(メタデータ) (2020-06-27T19:08:12Z) - On the effect of normalization layers on Differentially Private training
of deep Neural networks [19.26653302753129]
DPSGDの性能に及ぼす正規化層の影響について検討した。
本稿では,DPSGDとバッチ正規化を統合した新たな手法を提案する。
論文 参考訳(メタデータ) (2020-06-19T01:43:52Z) - Differentially Private Federated Learning with Laplacian Smoothing [72.85272874099644]
フェデレートラーニングは、ユーザ間でプライベートデータを共有せずに、協調的にモデルを学習することで、データのプライバシを保護することを目的としている。
敵は、リリースしたモデルを攻撃することによって、プライベートトレーニングデータを推測することができる。
差別化プライバシは、トレーニングされたモデルの正確性や実用性を著しく低下させる価格で、このような攻撃に対する統計的保護を提供する。
論文 参考訳(メタデータ) (2020-05-01T04:28:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。