論文の概要: Towards Efficient and Scalable Training of Differentially Private Deep Learning
- arxiv url: http://arxiv.org/abs/2406.17298v1
- Date: Tue, 25 Jun 2024 06:04:58 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-26 15:31:28.552659
- Title: Towards Efficient and Scalable Training of Differentially Private Deep Learning
- Title（参考訳）: ディファレンシャル・プライベート・ディープラーニングの効率的かつスケーラブルな学習を目指して
- Authors: Sebastian Rodriguez Beltran, Marlon Tobaben, Niki Loppi, Antti Honkela,
- Abstract要約: 微分プライベート勾配降下(DP-SGD)は、差分プライバシ(DP)の下で機械学習モデルを訓練するための標準アルゴリズムである。
DP-SGDの大きな欠点は、以前の研究が包括的に研究したユーティリティの低下である。
本研究では,DP下でのディープラーニングモデルの学習における計算コストの定量化と,コスト削減を目的としたベンチマーク手法について,総合的な実証的研究を行った。
- 参考スコア（独自算出の注目度）: 4.543581742916529
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Differentially private stochastic gradient descent (DP-SGD) is the standard algorithm for training machine learning models under differential privacy (DP). The major drawback of DP-SGD is the drop in utility which prior work has comprehensively studied. However, in practice another major drawback that hinders the large-scale deployment is the significantly higher computational cost. We conduct a comprehensive empirical study to quantify the computational cost of training deep learning models under DP and benchmark methods that aim at reducing the cost. Among these are more efficient implementations of DP-SGD and training with lower precision. Finally, we study the scaling behaviour using up to 80 GPUs.
- Abstract（参考訳）: 微分プライベート確率勾配勾配(DP-SGD)は、差分プライバシー(DP)の下で機械学習モデルを訓練するための標準アルゴリズムである。
DP-SGDの大きな欠点は、以前の研究が包括的に研究したユーティリティの低下である。
しかし、実際には、大規模なデプロイメントを妨げるもう一つの大きな欠点は、計算コストが著しく高いことである。
本研究では,DP下でのディープラーニングモデルの学習における計算コストの定量化と,コスト削減を目的としたベンチマーク手法について,総合的な実証的研究を行った。
DP-SGDのより効率的な実装や、より精度の低いトレーニングがある。
最後に,最大80個のGPUを用いたスケーリング動作について検討する。
関連論文リスト
- To Shuffle or not to Shuffle: Auditing DP-SGD with Shuffling [25.669347036509134]
シャッフル法を用いてDP-SGDを解析した。
プライバシー保証を十分に過大評価(最大4倍)することで訓練された最先端のDPモデルを示す。
我々の研究は、DP-SGDの実際のプライバシー漏洩を、Poissonサブサンプリングのvis-a-visに代えてシャッフルを使用するリスクを実証的に証明している。
論文 参考訳（メタデータ） (2024-11-15T22:34:28Z) - Scalable DP-SGD: Shuffling vs. Poisson Subsampling [61.19794019914523]
バッチサンプリングをシャッフルしたマルチエポック適応線形クエリ(ABLQ)機構のプライバシ保証に対する新たな下位境界を提供する。
ポアソンのサブサンプリングと比較すると大きな差がみられ, 以前の分析は1つのエポックに限られていた。
本稿では,大規模な並列計算を用いて,Poissonサブサンプリングを大規模に実装する実践的手法を提案する。
論文 参考訳（メタデータ） (2024-11-06T19:06:16Z) - How Private are DP-SGD Implementations? [61.19794019914523]
2種類のバッチサンプリングを使用する場合、プライバシ分析の間に大きなギャップがあることが示される。
その結果,2種類のバッチサンプリングでは,プライバシ分析の間に大きなギャップがあることが判明した。
論文 参考訳（メタデータ） (2024-03-26T13:02:43Z) - Private Fine-tuning of Large Language Models with Zeroth-order Optimization [51.19403058739522]
差分的プライベート勾配降下(DP-SGD)により、モデルはプライバシ保護の方法でトレーニングできる。
DP-ZO(DP-ZO)は,ゼロオーダー最適化手法を民営化することで,大規模言語モデルのためのプライベートな微調整フレームワークである。
論文 参考訳（メタデータ） (2024-01-09T03:53:59Z) - DP-Forward: Fine-tuning and Inference on Language Models with Differential Privacy in Forward Pass [22.578388829171157]
DP-フォワードの摂動は言語モデルの前方通過に埋め込まれる。
ほぼ民間のベースラインに到達し、プライバシーレベルではDP-SGDを7.7ppまで上回っている。
論文 参考訳（メタデータ） (2023-09-13T06:37:53Z) - Differentially Private Image Classification from Features [53.75086935617644]
転送学習を活用することは、差分プライバシーを持つ大規模モデルのトレーニングに有効な戦略であることが示されている。
最近の研究によると、訓練済みモデルの最後の層だけをプライベートにトレーニングすることは、DPで最高のユーティリティを提供する。
論文 参考訳（メタデータ） (2022-11-24T04:04:20Z) - Normalized/Clipped SGD with Perturbation for Differentially Private
Non-Convex Optimization [94.06564567766475]
DP-SGDとDP-NSGDは、センシティブなトレーニングデータを記憶する大規模モデルのリスクを軽減する。
DP-NSGD は DP-SGD よりも比較的チューニングが比較的容易であるのに対して,これらの2つのアルゴリズムは同様の精度を実現する。
論文 参考訳（メタデータ） (2022-06-27T03:45:02Z) - Automatic Clipping: Differentially Private Deep Learning Made Easier and
Stronger [39.93710312222771]
サンプルごとのクリッピングは、ディープラーニングモデルのための実用的な差分プライベート(DP)トレーニングを可能にするアルゴリズムの重要なステップである。
本稿では,任意のDPに対してRをチューニングする必要がなくなる自動クリッピング(automatic clipping)という,使い勝手の良い代替手法を提案する。
論文 参考訳（メタデータ） (2022-06-14T19:49:44Z) - Large Scale Transfer Learning for Differentially Private Image
Classification [51.10365553035979]
Differential Privacy(DP)は、個別のサンプルレベルのプライバシで機械学習モデルをトレーニングするための正式なフレームワークを提供する。
DP-SGDを用いたプライベートトレーニングは、個々のサンプル勾配にノイズを注入することで漏れを防ぐ。
この結果は非常に魅力的であるが,DP-SGDを用いた大規模モデルのトレーニングの計算コストは,非プライベートトレーニングよりもかなり高い。
論文 参考訳（メタデータ） (2022-05-06T01:22:20Z) - Fast and Memory Efficient Differentially Private-SGD via JL Projections [29.37156662314245]
DP-SGDは大規模ニューラルネットワークのプライベートトレーニングで知られている唯一のアルゴリズムである。
本稿では,DP-SGD-JL とDP-Adam-JL と呼ばれる差分プライベートを設計するための新しい枠組みを提案する。
論文 参考訳（メタデータ） (2021-02-05T06:02:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。