論文の概要: Differentially Private Deep Learning with Direct Feedback Alignment

• arxiv url: http://arxiv.org/abs/2010.03701v1
• Date: Thu, 8 Oct 2020 00:25:22 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-09 11:12:25.539798
• Title: Differentially Private Deep Learning with Direct Feedback Alignment
• Title（参考訳）: 直接フィードバックアライメントを用いた差分私的深層学習
• Authors: Jaewoo Lee and Daniel Kifer
• Abstract要約: 直接フィードバックアライメント(DFA)を用いたディープニューラルネットワークのトレーニングのための最初の微分プライベート手法を提案する。 DFAは、様々なアーキテクチャにおけるバックプロップベースの差分プライベートトレーニングと比較して、精度(しばしば10-20%)が大幅に向上する。
• 参考スコア（独自算出の注目度）: 15.410557873153833
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Standard methods for differentially private training of deep neural networks replace back-propagated mini-batch gradients with biased and noisy approximations to the gradient. These modifications to training often result in a privacy-preserving model that is significantly less accurate than its non-private counterpart. We hypothesize that alternative training algorithms may be more amenable to differential privacy. Specifically, we examine the suitability of direct feedback alignment (DFA). We propose the first differentially private method for training deep neural networks with DFA and show that it achieves significant gains in accuracy (often by 10-20%) compared to backprop-based differentially private training on a variety of architectures (fully connected, convolutional) and datasets.
• Abstract（参考訳）: ディープニューラルネットワークの差分プライベートトレーニングの標準的な方法は、バックプロパゲーションされたミニバッチ勾配をバイアス付きおよびノイズの近似に置き換える。 これらのトレーニングの修正は、プライバシ保護モデルをもたらすことが多く、非プライベートモデルよりもはるかに正確ではない。 代替トレーニングアルゴリズムは、より差分プライバシーに対処できるかもしれないと仮定する。 具体的には、直接フィードバックアライメント(DFA)の適合性を検討する。 本稿では,dfaを用いて深層ニューラルネットワークを訓練する最初の差分プライベート手法を提案し,様々なアーキテクチャ(完全接続,畳み込み)とデータセット上でのバックプロップに基づく差分プライベートトレーニングと比較して,精度(しばしば10～20%)が大幅に向上することを示す。

関連論文リスト

• Differentially Private Model-Based Offline Reinforcement Learning [51.1231068185106]
  DP-MORLは差分プライバシーを保証するアルゴリズムである。 環境のプライベートモデルは、まずオフラインデータから学習される。 次に、モデルベースのポリシー最適化を使用して、プライベートモデルからポリシーを導出します。
  論文  参考訳（メタデータ） (2024-02-08T10:05:11Z)
• DP-SGD with weight clipping [1.0878040851638]
  従来の勾配クリッピングから生じるバイアスを緩和する新しい手法を提案する。 探索領域内における現在のモデルのリプシッツ値の公開上界と現在の位置を有効利用することにより、改良されたノイズレベル調整を実現することができる。
  論文  参考訳（メタデータ） (2023-10-27T09:17:15Z)
• Adap DP-FL: Differentially Private Federated Learning with Adaptive Noise [30.005017338416327]
  フェデレートラーニングは、クライアントにローカルトレーニングモデルのみを公開することによって、孤立したデータアイランドの問題に対処しようとしている。 近年、データプライバシを保護するためのフェデレーション学習に差分プライバシーが適用されているが、付加されるノイズは学習性能を著しく低下させる可能性がある。 適応雑音付きフェデレーション学習のための差分プライベートスキーム(Adap DP-FL)を提案する。
  論文  参考訳（メタデータ） (2022-11-29T03:20:40Z)
• Fine-Tuning with Differential Privacy Necessitates an Additional Hyperparameter Search [38.83524780461911]
  トレーニング済みニューラルネットワークで微調整されたレイヤを慎重に選択することで、プライバシと正確性の間に新たな最先端のトレードオフを確立することができることを示す。 ImageNetで事前トレーニングされたモデルに対して、CIFAR-100上で$(varepsilon, delta)= (2, 10-5)$に対して77.9%の精度を達成する。
  論文  参考訳（メタデータ） (2022-10-05T11:32:49Z)
• Large Scale Transfer Learning for Differentially Private Image Classification [51.10365553035979]
  Differential Privacy(DP)は、個別のサンプルレベルのプライバシで機械学習モデルをトレーニングするための正式なフレームワークを提供する。 DP-SGDを用いたプライベートトレーニングは、個々のサンプル勾配にノイズを注入することで漏れを防ぐ。 この結果は非常に魅力的であるが,DP-SGDを用いた大規模モデルのトレーニングの計算コストは,非プライベートトレーニングよりもかなり高い。
  論文  参考訳（メタデータ） (2022-05-06T01:22:20Z)
• Don't Generate Me: Training Differentially Private Generative Models with Sinkhorn Divergence [73.14373832423156]
  そこで我々はDP-Sinkhornを提案する。DP-Sinkhornは個人データからデータ分布を差分プライバシで学習するための新しいトランスポートベース生成手法である。 差分的にプライベートな生成モデルを訓練するための既存のアプローチとは異なり、我々は敵の目的に頼らない。
  論文  参考訳（メタデータ） (2021-11-01T18:10:21Z)
• Adaptive Differentially Private Empirical Risk Minimization [95.04948014513226]
  本稿では,適応的(確率的)勾配摂動法を提案する。 ADP法は,バニラランダムノイズを付加した標準微分プライベート法と比較して,実用性保証を大幅に改善することを示す。
  論文  参考訳（メタデータ） (2021-10-14T15:02:20Z)
• NeuralDP Differentially private neural networks by design [61.675604648670095]
  ニューラルネットワーク内のいくつかの層の活性化を民営化する手法であるNeuralDPを提案する。 本研究では,DP-SGDと比較して,プライバシーとユーティリティのトレードオフを大幅に改善した2つのデータセットを実験的に検証した。
  論文  参考訳（メタデータ） (2021-07-30T12:40:19Z)
• On Deep Learning with Label Differential Privacy [54.45348348861426]
  ラベルは機密性があり、保護されるべきであるとするマルチクラス分類について検討する。 本稿では,ラベル差分プライバシを用いたディープニューラルネットワークのトレーニングアルゴリズムを提案し,いくつかのデータセットで評価を行う。
  論文  参考訳（メタデータ） (2021-02-11T15:09:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。