Fugu-MT 論文翻訳(概要): DP-SGD vs PATE: Which Has Less Disparate Impact on Model Accuracy?

論文の概要: DP-SGD vs PATE: Which Has Less Disparate Impact on Model Accuracy?

arxiv url: http://arxiv.org/abs/2106.12576v1
Date: Tue, 22 Jun 2021 20:37:12 GMT
ステータス: 処理完了
システム内更新日: 2021-06-26 12:08:31.173426
Title: DP-SGD vs PATE: Which Has Less Disparate Impact on Model Accuracy?
Title（参考訳）: DP-SGD vs. PATE: モデルの精度に差はないのか?
Authors: Archit Uniyal, Rakshit Naidu, Sasikanth Kotti, Sahib Singh, Patrik Joslin Kenfack, Fatemehsadat Mireshghallah, Andrew Trask
Abstract要約: 差分プライバシーの適用、特にDP-SGDアルゴリズムは、人口の異なるサブグループに異なる影響を与えることを示す。差分プライバシーを用いたディープラーニングモデルの学習機構であるPATEと、公平性の観点からDP-SGDを比較した。
参考スコア（独自算出の注目度）: 1.3238373064156095
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Recent advances in differentially private deep learning have demonstrated that application of differential privacy, specifically the DP-SGD algorithm, has a disparate impact on different sub-groups in the population, which leads to a significantly high drop-in model utility for sub-populations that are under-represented (minorities), compared to well-represented ones. In this work, we aim to compare PATE, another mechanism for training deep learning models using differential privacy, with DP-SGD in terms of fairness. We show that PATE does have a disparate impact too, however, it is much less severe than DP-SGD. We draw insights from this observation on what might be promising directions in achieving better fairness-privacy trade-offs.
Abstract（参考訳）: 差分プライバシーの応用、特にDP-SGDアルゴリズムは、人口の異なるサブグループに異なる影響を与えることが示されており、表現不足(マイノリティ)のサブグループに対して、表現不足(マイノリティ)のモデルの有用性が著しく高いことが示されている。本研究では,差分プライバシーを用いたディープラーニングモデルの学習機構であるPATEと,公平性の観点からDP-SGDを比較した。 PATEにも異なる影響があるが,DP-SGDよりは遥かに深刻ではない。我々は、公正とプライバシのトレードオフを改善するための有望な方向性について、この観察から洞察を得る。

関連論文リスト

Pre-training Differentially Private Models with Limited Public Data [58.945400707033016]
ディファレンシャルプライバシ(DP)は、モデルに提供されるセキュリティの度合いを測定するための重要な手法である。 DPはまだ、最初の事前訓練段階で使用されるデータのかなりの部分を保護することができない。公開データの10%しか利用しない新しいDP継続事前学習戦略を提案する。
論文参考訳（メタデータ） (2024-02-28T23:26:27Z)
De-amplifying Bias from Differential Privacy in Language Model Fine-tuning [10.847913815093179]
公正性とプライバシは、機械学習(ML)実践者がしばしばモデルで運用しようとする2つの重要な価値である。大規模言語モデルを微調整した場合,DPは性別,人種,宗教的偏見を増幅することを示す。本稿では, バイアスに対処する方法として, DPによるバイアス増幅の軽減が知られている。
論文参考訳（メタデータ） (2024-02-07T00:30:58Z)
Sparsity-Preserving Differentially Private Training of Large Embedding Models [67.29926605156788]
DP-SGDは、差分プライバシーと勾配降下を組み合わせたトレーニングアルゴリズムである。 DP-SGDをネーティブに埋め込みモデルに適用すると、勾配の間隔が破壊され、トレーニング効率が低下する。我々は,大規模埋め込みモデルのプライベートトレーニングにおいて,勾配間隔を保ったDP-FESTとDP-AdaFESTの2つの新しいアルゴリズムを提案する。
論文参考訳（メタデータ） (2023-11-14T17:59:51Z)
DP-SGD for non-decomposable objective functions [0.0]
類似度に基づく損失関数の新しい変種を開発し、目的関数の勾配を新しい方法で操作し、バッチサイズ$n$に対して$O(1)$の合計勾配の感度を求める。提案手法は,非プライベートモデルに近い性能を示し,コントラスト損失に対して直接適用したDP-SGDを上回っている。
論文参考訳（メタデータ） (2023-10-04T18:48:16Z)
Bias-Aware Minimisation: Understanding and Mitigating Estimator Bias in Private SGD [56.01810892677744]
DP-SGDにおいて,サンプルごとの勾配ノルムとプライベート勾配オラクルの推定バイアスの関連性を示す。 BAM(Bias-Aware Minimisation)を提案する。
論文参考訳（メタデータ） (2023-08-23T09:20:41Z)
Private Ad Modeling with DP-SGD [58.670969449674395]
プライバシ保護MLにおけるよく知られたアルゴリズムは、差分プライベート勾配降下(DP-SGD)である本研究では,DP-SGDをクリックスルー率,変換率,変換イベント数などの広告モデリングタスクに適用する。私たちの研究は、DP-SGDが広告モデリングタスクのプライバシーとユーティリティの両方を提供できることを実証的に実証した初めてのものです。
論文参考訳（メタデータ） (2022-11-21T22:51:16Z)
Large Scale Transfer Learning for Differentially Private Image Classification [51.10365553035979]
Differential Privacy(DP)は、個別のサンプルレベルのプライバシで機械学習モデルをトレーニングするための正式なフレームワークを提供する。 DP-SGDを用いたプライベートトレーニングは、個々のサンプル勾配にノイズを注入することで漏れを防ぐ。この結果は非常に魅力的であるが,DP-SGDを用いた大規模モデルのトレーニングの計算コストは,非プライベートトレーニングよりもかなり高い。
論文参考訳（メタデータ） (2022-05-06T01:22:20Z)
DP-SGD vs PATE: Which Has Less Disparate Impact on GANs? [0.0]
我々は、ディープラーニング、DP-SGD、PATEの2つのよく知られたDPフレームワークで訓練されたGANを、異なるデータ不均衡設定で比較する。我々の実験は、PATEがDP-SGDと異なり、プライバシーとユーティリティのトレードオフは単調に減少していないことを一貫して示している。
論文参考訳（メタデータ） (2021-11-26T17:25:46Z)
Robin Hood and Matthew Effects -- Differential Privacy Has Disparate Impact on Synthetic Data [3.2345600015792564]
我々は、差分プライバシーが生成モデルに与える影響を分析する。生成した合成データにおいて,DPが逆サイズ分布となることを示す。我々は、合成データに基づいてモデルを分析または訓練する際の注意を呼びかける。
論文参考訳（メタデータ） (2021-09-23T15:14:52Z)
Differentially Private Federated Learning with Laplacian Smoothing [72.85272874099644]
フェデレートラーニングは、ユーザ間でプライベートデータを共有せずに、協調的にモデルを学習することで、データのプライバシを保護することを目的としている。敵は、リリースしたモデルを攻撃することによって、プライベートトレーニングデータを推測することができる。差別化プライバシは、トレーニングされたモデルの正確性や実用性を著しく低下させる価格で、このような攻撃に対する統計的保護を提供する。
論文参考訳（メタデータ） (2020-05-01T04:28:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。