論文の概要: Differential Privacy Meets Neural Network Pruning

• arxiv url: http://arxiv.org/abs/2303.04612v1
• Date: Wed, 8 Mar 2023 14:27:35 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-09 13:47:04.629870
• Title: Differential Privacy Meets Neural Network Pruning
• Title（参考訳）: ニューラルネットワークのプルーニングと差分プライバシー
• Authors: Kamil Adamczewski, Mijung Park
• Abstract要約: ニューラルネットワークのプルーニングと差分プライバシーの相互作用をパラメータ更新の2つのモードを用いて検討する。 実験により,パラメータ空間の減少が個人訓練の差分を改善することを示す。 勾配に依存しない2種類の人気プルーニングについて研究し、さらなるプライバシー損失を生じさせないことにより、ランダム選択が等級に基づく選択と同等に実行されることを示す。
• 参考スコア（独自算出の注目度）: 10.77469946354744
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A major challenge in applying differential privacy to training deep neural network models is scalability.The widely-used training algorithm, differentially private stochastic gradient descent (DP-SGD), struggles with training moderately-sized neural network models for a value of epsilon corresponding to a high level of privacy protection. In this paper, we explore the idea of dimensionality reduction inspired by neural network pruning to improve the scalability of DP-SGD. We study the interplay between neural network pruning and differential privacy, through the two modes of parameter updates. We call the first mode, parameter freezing, where we pre-prune the network and only update the remaining parameters using DP-SGD. We call the second mode, parameter selection, where we select which parameters to update at each step of training and update only those selected using DP-SGD. In these modes, we use public data for freezing or selecting parameters to avoid privacy loss incurring in these steps. Naturally, the closeness between the private and public data plays an important role in the success of this paradigm. Our experimental results demonstrate how decreasing the parameter space improves differentially private training. Moreover, by studying two popular forms of pruning which do not rely on gradients and do not incur an additional privacy loss, we show that random selection performs on par with magnitude-based selection when it comes to DP-SGD training.
• Abstract（参考訳）: ディープニューラルネットワークモデルのトレーニングにディファレンシャルプライバシを適用する上での大きな課題はスケーラビリティである。広く使われているトレーニングアルゴリズムであるDP-SGDは、高レベルのプライバシ保護に対応するエプシロン値に対する適度なサイズのニューラルネットワークモデルのトレーニングに苦労している。 本稿では,dp-sgdのスケーラビリティを向上させるために,ニューラルネットワークのプルーニングに触発された次元性低減の考え方を検討する。 ニューラルネットワークのプルーニングと差分プライバシーの相互作用をパラメータ更新の2つのモードを用いて検討する。 最初のモードはパラメータ凍結と呼ばれ、ネットワークを事前起動し、残りのパラメータをDP-SGDで更新する。 第2モードをパラメータセレクションと呼び、トレーニングの各ステップで更新するパラメータを選択し、dp-sgdを使用して選択したパラメータのみを更新する。 これらのモードでは、これらのステップで生じるプライバシー損失を回避するために、パラメータの凍結や選択に公開データを使用します。 当然、プライベートデータとパブリックデータの間の密接性は、このパラダイムの成功において重要な役割を果たす。 実験により,パラメータ空間の減少が個人訓練の差分を改善することを示す。 さらに,グラデーションに依存しず,追加のプライバシ損失を伴わない2種類の一般的なプルーニングを解析することにより,dp-sgdトレーニングにおいて,ランダム選択がマグニチュードベース選択と同等の性能を発揮することを示す。

関連論文リスト

• Differential Privacy Regularization: Protecting Training Data Through Loss Function Regularization [49.1574468325115]
  ニューラルネットワークに基づく機械学習モデルのトレーニングには、機密情報を含む大きなデータセットが必要である。 差分的にプライベートなSGD [DP-SGD] は、新しいモデルをトレーニングするために標準勾配降下アルゴリズム(SGD)を変更する必要がある。 より効率的な方法で同じ目標を達成するための新しい正規化戦略が提案されている。
  論文  参考訳（メタデータ） (2024-09-25T17:59:32Z)
• Sparsity-Preserving Differentially Private Training of Large Embedding Models [67.29926605156788]
  DP-SGDは、差分プライバシーと勾配降下を組み合わせたトレーニングアルゴリズムである。 DP-SGDをネーティブに埋め込みモデルに適用すると、勾配の間隔が破壊され、トレーニング効率が低下する。 我々は,大規模埋め込みモデルのプライベートトレーニングにおいて,勾配間隔を保ったDP-FESTとDP-AdaFESTの2つの新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-11-14T17:59:51Z)
• Initialization Matters: Privacy-Utility Analysis of Overparameterized Neural Networks [72.51255282371805]
  我々は、最悪の近傍データセット上でのモデル分布間のKLばらつきのプライバシー境界を証明した。 このKLプライバシー境界は、トレーニング中にモデルパラメータに対して期待される2乗勾配ノルムによって決定される。
  論文  参考訳（メタデータ） (2023-10-31T16:13:22Z)
• Pre-Pruning and Gradient-Dropping Improve Differentially Private Image Classification [9.120531252536617]
  本稿では,テキストプリプルーニングとテキストグラディエントドロップを用いた新しいトレーニングパラダイムを導入し,パラメータ空間の削減と拡張性の向上を図る。 トレーニングパラダイムでは,プレプニング率と勾配ドロップ率,プライバシ損失,分類精度の間に緊張関係が生じる。
  論文  参考訳（メタデータ） (2023-06-19T14:35:28Z)
• DPIS: An Enhanced Mechanism for Differentially Private SGD with Importance Sampling [23.8561225168394]
  ディファレンシャルプライバシ(DP)は、プライバシ保護の十分に受け入れられた標準となり、ディープニューラルネットワーク(DNN)は、機械学習において非常に成功した。 この目的のための古典的なメカニズムはDP-SGDであり、これは訓練に一般的に使用される勾配降下(SGD)の微分プライベートバージョンである。 DPISは,DP-SGDのコアのドロップイン代替として使用できる,微分プライベートなSGDトレーニングのための新しいメカニズムである。
  論文  参考訳（メタデータ） (2022-10-18T07:03:14Z)
• Fine-Tuning with Differential Privacy Necessitates an Additional Hyperparameter Search [38.83524780461911]
  トレーニング済みニューラルネットワークで微調整されたレイヤを慎重に選択することで、プライバシと正確性の間に新たな最先端のトレードオフを確立することができることを示す。 ImageNetで事前トレーニングされたモデルに対して、CIFAR-100上で$(varepsilon, delta)= (2, 10-5)$に対して77.9%の精度を達成する。
  論文  参考訳（メタデータ） (2022-10-05T11:32:49Z)
• Large Scale Transfer Learning for Differentially Private Image Classification [51.10365553035979]
  Differential Privacy(DP)は、個別のサンプルレベルのプライバシで機械学習モデルをトレーニングするための正式なフレームワークを提供する。 DP-SGDを用いたプライベートトレーニングは、個々のサンプル勾配にノイズを注入することで漏れを防ぐ。 この結果は非常に魅力的であるが,DP-SGDを用いた大規模モデルのトレーニングの計算コストは,非プライベートトレーニングよりもかなり高い。
  論文  参考訳（メタデータ） (2022-05-06T01:22:20Z)
• A Differentially Private Framework for Deep Learning with Convexified Loss Functions [4.059849656394191]
  差分プライバシー(DP)は、基礎となるトレーニングセットのプライバシーを保護するためにディープラーニングに応用されている。 既存のDP実践は、客観的摂動、勾配摂動、出力摂動の3つのカテゴリに分類される。 本稿では,DPノイズをランダムにサンプリングしたニューロンに注入し,新しい出力摂動機構を提案する。
  論文  参考訳（メタデータ） (2022-04-03T11:10:05Z)
• Don't Generate Me: Training Differentially Private Generative Models with Sinkhorn Divergence [73.14373832423156]
  そこで我々はDP-Sinkhornを提案する。DP-Sinkhornは個人データからデータ分布を差分プライバシで学習するための新しいトランスポートベース生成手法である。 差分的にプライベートな生成モデルを訓練するための既存のアプローチとは異なり、我々は敵の目的に頼らない。
  論文  参考訳（メタデータ） (2021-11-01T18:10:21Z)
• NeuralDP Differentially private neural networks by design [61.675604648670095]
  ニューラルネットワーク内のいくつかの層の活性化を民営化する手法であるNeuralDPを提案する。 本研究では,DP-SGDと比較して,プライバシーとユーティリティのトレードオフを大幅に改善した2つのデータセットを実験的に検証した。
  論文  参考訳（メタデータ） (2021-07-30T12:40:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。