論文の概要: Differentially Private Optimization on Large Model at Small Cost
- arxiv url: http://arxiv.org/abs/2210.00038v1
- Date: Fri, 30 Sep 2022 18:38:53 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-04 13:11:01.854812
- Title: Differentially Private Optimization on Large Model at Small Cost
- Title(参考訳): 小型大型モデルにおける微分プライベート最適化
- Authors: Zhiqi Bu, Yu-Xiang Wang, Sheng Zha, George Karypis
- Abstract要約: 差分プライベート(DP)最適化は、正確でプライバシ保護の大きいニューラルネットワークを学ぶための標準パラダイムである。
既存のDP実装は、標準的な(プライベートでない)トレーニングよりも、時間と空間の複雑さの面でコストがかかる$2-1000timesである。
我々は,既存のDP(同じ精度を実現するため)を実装し,計算コストを大幅に向上するブックキーピング技術を開発した。
- 参考スコア(独自算出の注目度): 29.7761220633954
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Differentially private (DP) optimization is the standard paradigm to learn
large neural networks that are accurate and privacy-preserving. The
computational cost for DP deep learning, however, is notoriously heavy due to
the per-sample gradient clipping. Existing DP implementations are
$2-1000\times$ more costly in time and space complexity than the standard
(non-private) training. In this work, we develop a novel Book-Keeping (BK)
technique that implements existing DP optimizers (thus achieving the same
accuracy), with a substantial improvement on the computational cost.
Specifically, BK enables DP training on large models and high dimensional data
to be roughly as efficient as the standard training, whereas previous DP
algorithms can be inefficient or incapable of training due to memory error. The
computational advantage of BK is supported by the complexity analysis as well
as extensive experiments on vision and language tasks. Our implementation
achieves state-of-the-art (SOTA) accuracy with very small extra cost: on GPT2
and at the same memory cost, BK has 1.0$\times$ the time complexity of the
standard training (0.75$\times$ training speed in practice), and 0.6$\times$
the time complexity of the most efficient DP implementation (1.24$\times$
training speed in practice). We will open-source the codebase for the BK
algorithm.
- Abstract(参考訳): 差分プライベート(DP)最適化は、正確でプライバシ保護の大きいニューラルネットワークを学ぶための標準パラダイムである。
しかし、DPディープラーニングの計算コストは、サンプルごとの勾配クリッピングのため、非常に重い。
既存のdp実装は、標準の(非プライベートな)トレーニングよりも時間と空間の複雑さで2-1000\times$である。
本研究では,既存のDPオプティマイザ(同じ精度を実現するため)を実装したブックキーピング(BK)技術を開発し,計算コストを大幅に改善する。
具体的には、BKは大規模モデルと高次元データのDPトレーニングを標準トレーニングと同程度の効率で行うのに対して、以前のDPアルゴリズムはメモリエラーによるトレーニングを非効率または不可能にすることができる。
BKの計算上の利点は、複雑性解析とビジョンと言語タスクに関する広範な実験によって支えられている。
gpt2と同じメモリコストで、bkは標準トレーニングの時間複雑性を1.0$\times$(実際には0.75$\times$トレーニングスピード)、0.6$\times$は最も効率的なdp実装の時間複雑性(実際には1.24$\times$トレーニングスピード)を持つ。
BKアルゴリズムのコードベースをオープンソース化します。
関連論文リスト
- Zero redundancy distributed learning with differential privacy [26.89679585840689]
我々は、訓練可能なDPモデルサイズをスケールアップする新しい体系的ソリューションDP-ZeROを開発した。
我々のDP-ZeROは任意のサイズでモデルを訓練する可能性があり、世界最大のDPモデルで評価されている。
論文 参考訳(メタデータ) (2023-11-20T14:58:56Z) - Sparsity-Preserving Differentially Private Training of Large Embedding
Models [67.29926605156788]
DP-SGDは、差分プライバシーと勾配降下を組み合わせたトレーニングアルゴリズムである。
DP-SGDをネーティブに埋め込みモデルに適用すると、勾配の間隔が破壊され、トレーニング効率が低下する。
我々は,大規模埋め込みモデルのプライベートトレーニングにおいて,勾配間隔を保ったDP-FESTとDP-AdaFESTの2つの新しいアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-11-14T17:59:51Z) - Equivariant Differentially Private Deep Learning: Why DP-SGD Needs
Sparser Models [7.49320945341034]
小型で効率的なアーキテクチャ設計は、計算要求がかなり少ない最先端のモデルよりも優れていることを示す。
私たちの結果は、パラメータを最適に活用する効率的なモデルアーキテクチャへの一歩です。
論文 参考訳(メタデータ) (2023-01-30T17:43:47Z) - TAN Without a Burn: Scaling Laws of DP-SGD [70.7364032297978]
近年、ディープニューラルネットワーク(DNN)を訓練するための微分プライベートな手法が進歩している。
プライバシ分析とノイズのあるトレーニングの実験的振る舞いを分離し、最小限の計算要件でトレードオフを探索する。
我々は,提案手法をCIFAR-10とImageNetに適用し,特にImageNetの最先端性を,上位1点の精度で向上させる。
論文 参考訳(メタデータ) (2022-10-07T08:44:35Z) - Differentially Private Bias-Term only Fine-tuning of Foundation Models [29.7761220633954]
差分プライベートバイアス項微調整(DP-BiTFiT)を提案する。
DPアルゴリズムの最先端精度と標準BiTFiTの効率とを一致させる。
幅広いタスクにおいて、DP-BiTFiTは2sim 30times$で、DPフル微調整よりも2sim 8times$安いメモリを使用する。
論文 参考訳(メタデータ) (2022-09-30T18:30:48Z) - Scalable and Efficient Training of Large Convolutional Neural Networks
with Differential Privacy [10.098114696565865]
大規模畳み込みニューラルネットワーク(CNN)は、差分プライベート(DP)方式でトレーニングすることが困難である。
混合ゴーストクリッピングと呼ばれる畳み込み層におけるこのクリッピングの効率的かつスケーラブルな実装を提案する。
CIFAR10では96.7%、CIFAR100では83.0%の精度が$epsilon=1$でBEiTで達成され、前回の結果は94.8%と67.4%であった。
論文 参考訳(メタデータ) (2022-05-21T22:01:12Z) - Large Scale Transfer Learning for Differentially Private Image
Classification [51.10365553035979]
Differential Privacy(DP)は、個別のサンプルレベルのプライバシで機械学習モデルをトレーニングするための正式なフレームワークを提供する。
DP-SGDを用いたプライベートトレーニングは、個々のサンプル勾配にノイズを注入することで漏れを防ぐ。
この結果は非常に魅力的であるが,DP-SGDを用いた大規模モデルのトレーニングの計算コストは,非プライベートトレーニングよりもかなり高い。
論文 参考訳(メタデータ) (2022-05-06T01:22:20Z) - Large Language Models Can Be Strong Differentially Private Learners [70.0317718115406]
Differentially Private(DP)学習は、テキストの大規模なディープラーニングモデルを構築する上で、限られた成功を収めている。
この性能低下は,大規模な事前学習モデルを用いることで緩和可能であることを示す。
本稿では,DP-SGDにおけるクリッピングを,サンプルごとの勾配をインスタンス化せずに実行可能にするメモリ節約手法を提案する。
論文 参考訳(メタデータ) (2021-10-12T01:45:27Z) - Fast and Memory Efficient Differentially Private-SGD via JL Projections [29.37156662314245]
DP-SGDは大規模ニューラルネットワークのプライベートトレーニングで知られている唯一のアルゴリズムである。
本稿では,DP-SGD-JL とDP-Adam-JL と呼ばれる差分プライベートを設計するための新しい枠組みを提案する。
論文 参考訳(メタデータ) (2021-02-05T06:02:10Z) - User-Level Privacy-Preserving Federated Learning: Analysis and
Performance Optimization [77.43075255745389]
フェデレートラーニング(FL)は、データを有用なモデルにトレーニングしながら、モバイル端末(MT)からプライベートデータを保存することができる。
情報理論の観点からは、MTがアップロードした共有モデルから、好奇心の強いサーバがプライベートな情報を推測することが可能である。
サーバにアップロードする前に、共有モデルに人工ノイズを加えることで、ユーザレベルの差分プライバシー(UDP)アルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-02-29T10:13:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。