論文の概要: DPIS: An Enhanced Mechanism for Differentially Private SGD with Importance Sampling

• arxiv url: http://arxiv.org/abs/2210.09634v2
• Date: Wed, 19 Oct 2022 02:11:08 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-20 15:32:21.609016
• Title: DPIS: An Enhanced Mechanism for Differentially Private SGD with Importance Sampling
• Title（参考訳）: DPIS: 重要サンプリングによる微分プライベートSGDの強化メカニズム
• Authors: Jianxin Wei, Ergute Bao, Xiaokui Xiao, Yin Yang
• Abstract要約: ディファレンシャルプライバシ(DP)は、プライバシ保護の十分に受け入れられた標準となり、ディープニューラルネットワーク(DNN)は、機械学習において非常に成功した。 この目的のための古典的なメカニズムはDP-SGDであり、これは訓練に一般的に使用される勾配降下(SGD)の微分プライベートバージョンである。 DPISは,DP-SGDのコアのドロップイン代替として使用できる,微分プライベートなSGDトレーニングのための新しいメカニズムである。
• 参考スコア（独自算出の注目度）: 19.59757201902467
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Nowadays, differential privacy (DP) has become a well-accepted standard for privacy protection, and deep neural networks (DNN) have been immensely successful in machine learning. The combination of these two techniques, i.e., deep learning with differential privacy, promises the privacy-preserving release of high-utility models trained with sensitive data such as medical records. A classic mechanism for this purpose is DP-SGD, which is a differentially private version of the stochastic gradient descent (SGD) optimizer commonly used for DNN training. Subsequent approaches have improved various aspects of the model training process, including noise decay schedule, model architecture, feature engineering, and hyperparameter tuning. However, the core mechanism for enforcing DP in the SGD optimizer remains unchanged ever since the original DP-SGD algorithm, which has increasingly become a fundamental barrier limiting the performance of DP-compliant machine learning solutions. Motivated by this, we propose DPIS, a novel mechanism for differentially private SGD training that can be used as a drop-in replacement of the core optimizer of DP-SGD, with consistent and significant accuracy gains over the latter. The main idea is to employ importance sampling (IS) in each SGD iteration for mini-batch selection, which reduces both sampling variance and the amount of random noise injected to the gradients that is required to satisfy DP. Integrating IS into the complex mathematical machinery of DP-SGD is highly non-trivial. DPIS addresses the challenge through novel mechanism designs, fine-grained privacy analysis, efficiency enhancements, and an adaptive gradient clipping optimization. Extensive experiments on four benchmark datasets, namely MNIST, FMNIST, CIFAR-10 and IMDb, demonstrate the superior effectiveness of DPIS over existing solutions for deep learning with differential privacy.
• Abstract（参考訳）: 今日では、差分プライバシ(DP)がプライバシ保護の標準として広く受け入れられており、ディープラーニング(DNN)は機械学習において大きな成功を収めている。 これら2つのテクニックの組み合わせ、すなわちディープラーニングと差分プライバシーの組み合わせは、医療記録などの機密データで訓練された高ユーティリティモデルのプライバシー保護を約束する。 この目的のための古典的なメカニズムはDP-SGDであり、これはDNNトレーニングによく使用される確率勾配降下(SGD)オプティマイザの微分プライベートバージョンである。 その後のアプローチは、ノイズ減衰スケジュール、モデルアーキテクチャ、機能工学、ハイパーパラメータチューニングなど、モデルトレーニングプロセスの様々な側面を改善した。 しかし、SGDオプティマイザにおけるDP強化のコアメカニズムは、従来のDP-SGDアルゴリズム以来変わらず、DP準拠の機械学習ソリューションの性能を制限する基本的な障壁となっている。 そこで本研究では,dp-sgdのコアオプティマイザのドロップイン代替として使用可能な,差分プライベートなsgdトレーニングのための新しいメカニズムであるdpiを提案する。 本研究の主目的は,各SGDイテレーションの重要サンプリング(IS)をミニバッチ選択に適用することであり,DPを満たすために必要とされるサンプリング分散とランダムノイズの量の両方を削減する。 isをdp-sgdの複雑な数学的機械に統合することは極めて非自明である。 DPISは、新しいメカニズム設計、きめ細かいプライバシー分析、効率の向上、適応的な勾配クリッピング最適化を通じてこの問題に対処する。 MNIST、FMNIST、CIFAR-10、IMDbの4つのベンチマークデータセットに対する大規模な実験は、差分プライバシーを持つディープラーニングのための既存のソリューションよりもDPISの方が優れた効果を示した。

関連論文リスト

• DiSK: Differentially Private Optimizer with Simplified Kalman Filter for Noise Reduction [57.83978915843095]
  本稿では,微分プライベート勾配の性能を著しく向上する新しいフレームワークであるDiSKを紹介する。 大規模トレーニングの実用性を確保するため,Kalmanフィルタプロセスを簡素化し,メモリと計算要求を最小化する。
  論文  参考訳（メタデータ） (2024-10-04T19:30:39Z)
• DOPPLER: Differentially Private Optimizers with Low-pass Filter for Privacy Noise Reduction [47.65999101635902]
  差分プライベート(DP)トレーニングは、トレーニングされた機械学習モデルから収集したトレーニングデータの機密情報の漏洩を防止する。 DOPPLERと呼ばれる新しいコンポーネントを開発し、この周波数領域内のDPノイズを効果的に増幅する。 実験の結果,低域通過フィルタを用いたDPは,試験精度で3%-10%向上した。
  論文  参考訳（メタデータ） (2024-08-24T04:27:07Z)
• DPAdapter: Improving Differentially Private Deep Learning through Noise Tolerance Pre-training [33.935692004427175]
  DPAdapterは,パラメータのロバスト性を高め,DPMLアルゴリズムのモデル性能を向上する先駆的手法である。 我々の実験によると、DPAdapterは最先端のDPMLアルゴリズムを大幅に強化し、平均精度は72.92%から77.09%に向上している。
  論文  参考訳（メタデータ） (2024-03-05T00:58:34Z)
• Private Fine-tuning of Large Language Models with Zeroth-order Optimization [51.19403058739522]
  差分的プライベート勾配降下(DP-SGD)により、モデルはプライバシ保護の方法でトレーニングできる。 DP-ZO(DP-ZO)は,ゼロオーダー最適化手法を民営化することで,大規模言語モデルのためのプライベートな微調整フレームワークである。
  論文  参考訳（メタデータ） (2024-01-09T03:53:59Z)
• Improving the Privacy and Practicality of Objective Perturbation for Differentially Private Linear Learners [21.162924003105484]
  本稿では、より厳密なプライバシー分析と新しい計算ツールにより、目的摂動機構を改良する。 DP-SGDは、非自明なプライバシーのオーバーヘッドと、線形回帰やロジスティック回帰のような単純なモデルに余計な計算複雑性を必要とする。
  論文  参考訳（メタデータ） (2023-12-31T20:32:30Z)
• Sparsity-Preserving Differentially Private Training of Large Embedding Models [67.29926605156788]
  DP-SGDは、差分プライバシーと勾配降下を組み合わせたトレーニングアルゴリズムである。 DP-SGDをネーティブに埋め込みモデルに適用すると、勾配の間隔が破壊され、トレーニング効率が低下する。 我々は,大規模埋め込みモデルのプライベートトレーニングにおいて,勾配間隔を保ったDP-FESTとDP-AdaFESTの2つの新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-11-14T17:59:51Z)
• Automatic Clipping: Differentially Private Deep Learning Made Easier and Stronger [39.93710312222771]
  サンプルごとのクリッピングは、ディープラーニングモデルのための実用的な差分プライベート(DP)トレーニングを可能にするアルゴリズムの重要なステップである。 本稿では,任意のDPに対してRをチューニングする必要がなくなる自動クリッピング(automatic clipping)という,使い勝手の良い代替手法を提案する。
  論文  参考訳（メタデータ） (2022-06-14T19:49:44Z)
• Large Scale Transfer Learning for Differentially Private Image Classification [51.10365553035979]
  Differential Privacy(DP)は、個別のサンプルレベルのプライバシで機械学習モデルをトレーニングするための正式なフレームワークを提供する。 DP-SGDを用いたプライベートトレーニングは、個々のサンプル勾配にノイズを注入することで漏れを防ぐ。 この結果は非常に魅力的であるが,DP-SGDを用いた大規模モデルのトレーニングの計算コストは,非プライベートトレーニングよりもかなり高い。
  論文  参考訳（メタデータ） (2022-05-06T01:22:20Z)
• Dynamic Differential-Privacy Preserving SGD [19.273542515320372]
  Differentially-Private Gradient Descent (DP-SGD)は、SGDトレーニング中にクリップされた勾配にノイズを加えることで、トレーニングデータのプライバシ侵害を防止する。 同じクリップ操作とトレーニングステップ間の付加ノイズにより、不安定な更新や、上昇期間も生じる。 更新時にDP-SGDよりも低いプライバシコストの動的DP-SGDを提案する。
  論文  参考訳（メタデータ） (2021-10-30T04:45:11Z)
• Large Language Models Can Be Strong Differentially Private Learners [70.0317718115406]
  Differentially Private(DP)学習は、テキストの大規模なディープラーニングモデルを構築する上で、限られた成功を収めている。 この性能低下は,大規模な事前学習モデルを用いることで緩和可能であることを示す。 本稿では,DP-SGDにおけるクリッピングを,サンプルごとの勾配をインスタンス化せずに実行可能にするメモリ節約手法を提案する。
  論文  参考訳（メタデータ） (2021-10-12T01:45:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。