論文の概要: DP-SGD vs PATE: Which Has Less Disparate Impact on GANs?

• arxiv url: http://arxiv.org/abs/2111.13617v1
• Date: Fri, 26 Nov 2021 17:25:46 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-29 16:14:21.840316
• Title: DP-SGD vs PATE: Which Has Less Disparate Impact on GANs?
• Title（参考訳）: DP-SGD対PATE:GANへの影響は低いのか?
• Authors: Georgi Ganev
• Abstract要約: 我々は、ディープラーニング、DP-SGD、PATEの2つのよく知られたDPフレームワークで訓練されたGANを、異なるデータ不均衡設定で比較する。 我々の実験は、PATEがDP-SGDと異なり、プライバシーとユーティリティのトレードオフは単調に減少していないことを一貫して示している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generative Adversarial Networks (GANs) are among the most popular approaches to generate synthetic data, especially images, for data sharing purposes. Given the vital importance of preserving the privacy of the individual data points in the original data, GANs are trained utilizing frameworks with robust privacy guarantees such as Differential Privacy (DP). However, these approaches remain widely unstudied beyond single performance metrics when presented with imbalanced datasets. To this end, we systematically compare GANs trained with the two best-known DP frameworks for deep learning, DP-SGD, and PATE, in different data imbalance settings from two perspectives -- the size of the classes in the generated synthetic data and their classification performance. Our analyses show that applying PATE, similarly to DP-SGD, has a disparate effect on the under/over-represented classes but in a much milder magnitude making it more robust. Interestingly, our experiments consistently show that for PATE, unlike DP-SGD, the privacy-utility trade-off is not monotonically decreasing but is much smoother and inverted U-shaped, meaning that adding a small degree of privacy actually helps generalization. However, we have also identified some settings (e.g., large imbalance) where PATE-GAN completely fails to learn some subparts of the training data.
• Abstract（参考訳）: GAN(Generative Adversarial Networks)は、データ共有のために合成データ、特に画像を生成する最も一般的なアプローチの一つである。 元のデータ内の個々のデータポイントのプライバシを保存することの重要性を考えると、GANは差分プライバシー(DP)のような堅牢なプライバシ保証を持つフレームワークを活用することを訓練されている。 しかし、これらのアプローチは、不均衡データセットで提示された単一のパフォーマンスメトリクスを超えて、広く研究されていない。 そこで本研究では, ディープラーニング, DP-SGD, PATEの2つのよく知られたDPフレームワークを用いて学習したGANを, 2つの視点から異なるデータ不均衡設定, 生成した合成データのクラスのサイズと分類性能で体系的に比較した。 分析の結果,DP-SGDと同様,PATEの適用は,下級/上級のクラスに対して異なる効果を示すが,はるかに軽度で,より堅牢であることがわかった。 興味深いことに、PATEがDP-SGDと異なり、プライバシーユーティリティのトレードオフは単調に減少するのではなく、よりスムーズで反転したU字型であることは明らかです。 しかし、PATE-GANがトレーニングデータのいくつかの部分の学習に完全に失敗するいくつかの設定(例えば、大きな不均衡)も特定できた。

関連論文リスト

• Incentives in Private Collaborative Machine Learning [56.84263918489519]
  コラボレーション型機械学習は、複数のパーティのデータに基づいてモデルをトレーニングする。 インセンティブとして差分プライバシー(DP)を導入する。 合成および実世界のデータセットに対するアプローチの有効性と実用性を実証的に実証した。
  論文  参考訳（メタデータ） (2024-04-02T06:28:22Z)
• How Private are DP-SGD Implementations? [61.19794019914523]
  2種類のバッチサンプリングを使用する場合、プライバシ分析の間に大きなギャップがあることが示される。 その結果,2種類のバッチサンプリングでは,プライバシ分析の間に大きなギャップがあることが判明した。
  論文  参考訳（メタデータ） (2024-03-26T13:02:43Z)
• Pre-training Differentially Private Models with Limited Public Data [54.943023722114134]
  ディファレンシャルプライバシ(DP)は、モデルに提供されるセキュリティの度合いを測定するための重要な手法である。 DPはまだ、最初の事前訓練段階で使用されるデータのかなりの部分を保護することができない。 公共データの10%しか利用しない新しいDP継続事前学習戦略を開発した。 ImageNet-21kのDP精度は41.5%、非DP精度は55.7%、下流タスクのPlaces365とiNaturalist-2021では60.0%である。
  論文  参考訳（メタデータ） (2024-02-28T23:26:27Z)
• Gradients Look Alike: Sensitivity is Often Overestimated in DP-SGD [44.11069254181353]
  DP-SGDのリークは、一般的なベンチマークでトレーニングした場合、多くのデータポイントのプライバシが大幅に低下することを示す。 これは、敵がトレーニングデータセットを十分にコントロールしていない場合、プライバシ攻撃が多くのデータポイントに対して必ず失敗することを意味する。
  論文  参考訳（メタデータ） (2023-07-01T11:51:56Z)
• On the Efficacy of Differentially Private Few-shot Image Classification [40.49270725252068]
  パーソナライズやフェデレーション学習を含む多くのアプリケーションにおいて、数ショット設定でうまく機能することが不可欠である。 本稿では,クラス毎のショット数,プライバシレベル,モデルアーキテクチャ,下流データセット,学習可能なパラメータのサブセットなど,DP画像分類モデルの精度と脆弱性がどう影響するかを示す。
  論文  参考訳（メタデータ） (2023-02-02T16:16:25Z)
• Private Ad Modeling with DP-SGD [58.670969449674395]
  プライバシ保護MLにおけるよく知られたアルゴリズムは、差分プライベート勾配降下(DP-SGD)である 本研究では,DP-SGDをクリックスルー率,変換率,変換イベント数などの広告モデリングタスクに適用する。 私たちの研究は、DP-SGDが広告モデリングタスクのプライバシーとユーティリティの両方を提供できることを実証的に実証した初めてのものです。
  論文  参考訳（メタデータ） (2022-11-21T22:51:16Z)
• Large Scale Transfer Learning for Differentially Private Image Classification [51.10365553035979]
  Differential Privacy(DP)は、個別のサンプルレベルのプライバシで機械学習モデルをトレーニングするための正式なフレームワークを提供する。 DP-SGDを用いたプライベートトレーニングは、個々のサンプル勾配にノイズを注入することで漏れを防ぐ。 この結果は非常に魅力的であるが,DP-SGDを用いた大規模モデルのトレーニングの計算コストは,非プライベートトレーニングよりもかなり高い。
  論文  参考訳（メタデータ） (2022-05-06T01:22:20Z)
• Robin Hood and Matthew Effects -- Differential Privacy Has Disparate Impact on Synthetic Data [3.2345600015792564]
  我々は、差分プライバシーが生成モデルに与える影響を分析する。 生成した合成データにおいて,DPが逆サイズ分布となることを示す。 我々は、合成データに基づいてモデルを分析または訓練する際の注意を呼びかける。
  論文  参考訳（メタデータ） (2021-09-23T15:14:52Z)
• DTGAN: Differential Private Training for Tabular GANs [6.174448419090292]
  本稿では,DTGAN_GとDTGAN_Dの2つの変種からなる条件付きワッサースタインGANであるDTGANを提案する。 我々は,DPの理論的プライバシー保証を,メンバーシップや属性推論攻撃に対して実証的に評価する。 その結果,DP-SGD フレームワークは PATE よりも優れており,DP 判別器の方が訓練収束に最適であることが示唆された。
  論文  参考訳（メタデータ） (2021-07-06T10:28:05Z)
• DP-SGD vs PATE: Which Has Less Disparate Impact on Model Accuracy? [1.3238373064156095]
  差分プライバシーの適用、特にDP-SGDアルゴリズムは、人口の異なるサブグループに異なる影響を与えることを示す。 差分プライバシーを用いたディープラーニングモデルの学習機構であるPATEと、公平性の観点からDP-SGDを比較した。
  論文  参考訳（メタデータ） (2021-06-22T20:37:12Z)
• Differentially Private Federated Learning with Laplacian Smoothing [72.85272874099644]
  フェデレートラーニングは、ユーザ間でプライベートデータを共有せずに、協調的にモデルを学習することで、データのプライバシを保護することを目的としている。 敵は、リリースしたモデルを攻撃することによって、プライベートトレーニングデータを推測することができる。 差別化プライバシは、トレーニングされたモデルの正確性や実用性を著しく低下させる価格で、このような攻撃に対する統計的保護を提供する。
  論文  参考訳（メタデータ） (2020-05-01T04:28:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。