論文の概要: SA-DPSGD: Differentially Private Stochastic Gradient Descent based on Simulated Annealing

• arxiv url: http://arxiv.org/abs/2211.07218v1
• Date: Mon, 14 Nov 2022 09:20:48 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-15 16:56:18.637046
• Title: SA-DPSGD: Differentially Private Stochastic Gradient Descent based on Simulated Annealing
• Title（参考訳）: SA-DPSGD:シミュレートアニーリングに基づく個人性確率勾配の差分
• Authors: Jie Fu, Zhili Chen and XinPeng Ling
• Abstract要約: 差分勾配降下法は画像認識における差分プライバシーを持つ最も一般的な訓練法である。 既存のDPSGDスキームは性能を著しく低下させ、差分プライバシーの適用を妨げている。 本稿では, 更新品質とイテレーション数に依存する確率で, 候補更新を受理するSA-DPSGD(Simulated annealing-based differentially private gradient descent scheme)を提案する。
• 参考スコア（独自算出の注目度）: 25.25065807901922
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Differential privacy (DP) provides a formal privacy guarantee that prevents adversaries with access to machine learning models from extracting information about individual training points. Differentially private stochastic gradient descent (DPSGD) is the most popular training method with differential privacy in image recognition. However, existing DPSGD schemes lead to significant performance degradation, which prevents the application of differential privacy. In this paper, we propose a simulated annealing-based differentially private stochastic gradient descent scheme (SA-DPSGD) which accepts a candidate update with a probability that depends both on the update quality and on the number of iterations. Through this random update screening, we make the differentially private gradient descent proceed in the right direction in each iteration, and result in a more accurate model finally. In our experiments, under the same hyperparameters, our scheme achieves test accuracies 98.35%, 87.41% and 60.92% on datasets MNIST, FashionMNIST and CIFAR10, respectively, compared to the state-of-the-art result of 98.12%, 86.33% and 59.34%. Under the freely adjusted hyperparameters, our scheme achieves even higher accuracies, 98.89%, 88.50% and 64.17%. We believe that our method has a great contribution for closing the accuracy gap between private and non-private image classification.
• Abstract（参考訳）: 差分プライバシー(DP)は、機械学習モデルにアクセスする敵が個別のトレーニングポイントに関する情報を抽出することを防ぐ正式なプライバシー保証を提供する。 differentially private stochasticgradient descent (dpsgd) は、画像認識において差分プライバシーを持つ最も一般的なトレーニング手法である。 しかし、既存のDPSGDスキームは性能を著しく低下させ、差分プライバシーの適用を妨げている。 本稿では,更新品質とイテレーション数の両方に依存する確率で候補更新を受理するSA-DPSGD(simulated annealing-based differentially private stochastic descent scheme)を提案する。 このランダムな更新スクリーニングにより、各イテレーションにおいて微分プライベートな勾配降下を正しい方向に進行させ、最終的により正確なモデルが得られる。 実験では, 試験精度98.35%, 87.41%, 60.92%をMNIST, FashionMNIST, CIFAR10で測定し, 現状の98.12%, 86.33%, 59.34%と比較した。 自由調整ハイパーパラメータでは、98.89%、88.50%、64.17%という高い精度を実現している。 本手法は,プライベート画像分類と非プライベート画像分類の精度ギャップを埋める上で大きな寄与があると考えられる。

関連論文リスト

• Rethinking Improved Privacy-Utility Trade-off with Pre-existing Knowledge for DP Training [31.559864332056648]
  異種雑音(DP-Hero)を有する一般微分プライバシーフレームワークを提案する。 DP-Hero上では、勾配更新に注入されたノイズが不均一であり、予め確立されたモデルパラメータによって誘導されるDP-SGDの異種バージョンをインスタンス化する。 提案するDP-Heroの有効性を検証・説明するための総合的な実験を行い,最新技術と比較するとトレーニング精度が向上した。
  論文  参考訳（メタデータ） (2024-09-05T08:40:54Z)
• Weights Shuffling for Improving DPSGD in Transformer-based Models [7.356743536182233]
  本研究は,DPSGD(differially-Private Gradient Descent)における革新的なシャッフル機構を導入し,非シャッフルケースと同じプライバシ保証で大規模モデルの実用性を向上する。 順列化は理論上はDPSGDのプライバシー保証を改善するが、シャッフルモデル上での正確なプライバシー損失の追跡は特に困難である。
  論文  参考訳（メタデータ） (2024-07-22T06:41:59Z)
• Differentially Private SGD Without Clipping Bias: An Error-Feedback Approach [62.000948039914135]
  Differentially Private Gradient Descent with Gradient Clipping (DPSGD-GC) を使用して、差分プライバシ(DP)がモデルパフォーマンス劣化の犠牲となることを保証する。 DPSGD-GCに代わる新しいエラーフィードバック(EF)DPアルゴリズムを提案する。 提案アルゴリズムに対するアルゴリズム固有のDP解析を確立し,R'enyi DPに基づくプライバシ保証を提供する。
  論文  参考訳（メタデータ） (2023-11-24T17:56:44Z)
• Sparsity-Preserving Differentially Private Training of Large Embedding Models [67.29926605156788]
  DP-SGDは、差分プライバシーと勾配降下を組み合わせたトレーニングアルゴリズムである。 DP-SGDをネーティブに埋め込みモデルに適用すると、勾配の間隔が破壊され、トレーニング効率が低下する。 我々は,大規模埋め込みモデルのプライベートトレーニングにおいて,勾配間隔を保ったDP-FESTとDP-AdaFESTの2つの新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-11-14T17:59:51Z)
• DPAF: Image Synthesis via Differentially Private Aggregation in Forward Phase [14.76128148793876]
  DPAFは高次元画像合成のための効果的な微分プライベート生成モデルである。 クリッピング勾配における情報損失を低減し、アグリゲーションに対する感度を低下させる。 また、識別器の異なる部分を非対称に訓練する新しいトレーニング戦略を提案することにより、適切なバッチサイズを設定する問題にも対処する。
  論文  参考訳（メタデータ） (2023-04-20T16:32:02Z)
• Fine-Tuning with Differential Privacy Necessitates an Additional Hyperparameter Search [38.83524780461911]
  トレーニング済みニューラルネットワークで微調整されたレイヤを慎重に選択することで、プライバシと正確性の間に新たな最先端のトレードオフを確立することができることを示す。 ImageNetで事前トレーニングされたモデルに対して、CIFAR-100上で$(varepsilon, delta)= (2, 10-5)$に対して77.9%の精度を達成する。
  論文  参考訳（メタデータ） (2022-10-05T11:32:49Z)
• Individual Privacy Accounting for Differentially Private Stochastic Gradient Descent [69.14164921515949]
  DP-SGDで訓練されたモデルをリリースする際の個々の事例に対するプライバシー保証を特徴付ける。 ほとんどの例では、最悪のケースよりも強力なプライバシー保証を享受しています。 これは、モデルユーティリティの観点からは守られないグループが同時に、より弱いプライバシー保証を経験することを意味する。
  論文  参考訳（メタデータ） (2022-06-06T13:49:37Z)
• Adaptive Differentially Private Empirical Risk Minimization [95.04948014513226]
  本稿では,適応的(確率的)勾配摂動法を提案する。 ADP法は,バニラランダムノイズを付加した標準微分プライベート法と比較して,実用性保証を大幅に改善することを示す。
  論文  参考訳（メタデータ） (2021-10-14T15:02:20Z)
• Do Not Let Privacy Overbill Utility: Gradient Embedding Perturbation for Private Learning [74.73901662374921]
  差分プライベートモデルは、モデルが多数のトレーニング可能なパラメータを含む場合、ユーティリティを劇的に劣化させる。 偏微分プライベート深層モデルの精度向上のためのアルゴリズムemphGradient Embedding Perturbation (GEP)を提案する。
  論文  参考訳（メタデータ） (2021-02-25T04:29:58Z)
• Differentially Private Federated Learning with Laplacian Smoothing [72.85272874099644]
  フェデレートラーニングは、ユーザ間でプライベートデータを共有せずに、協調的にモデルを学習することで、データのプライバシを保護することを目的としている。 敵は、リリースしたモデルを攻撃することによって、プライベートトレーニングデータを推測することができる。 差別化プライバシは、トレーニングされたモデルの正確性や実用性を著しく低下させる価格で、このような攻撃に対する統計的保護を提供する。
  論文  参考訳（メタデータ） (2020-05-01T04:28:38Z)
• A Better Bound Gives a Hundred Rounds: Enhanced Privacy Guarantees via $f$-Divergences [14.008231249756678]
  我々の結果は、近似とR'enyiの差分プライバシーの変動を下支えする2つの$f-divergencesの合同範囲に基づいている。 最先端と比較して、私たちの限界は、同じプライバシー予算のためにディープラーニングモデルをトレーニングするための、およそ100の勾配降下イテレーションにつながります。
  論文  参考訳（メタデータ） (2020-01-16T18:45:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。