論文の概要: Differentially Private Optimization on Large Model at Small Cost

• arxiv url: http://arxiv.org/abs/2210.00038v1
• Date: Fri, 30 Sep 2022 18:38:53 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-04 13:11:01.854812
• Title: Differentially Private Optimization on Large Model at Small Cost
• Title（参考訳）: 小型大型モデルにおける微分プライベート最適化
• Authors: Zhiqi Bu, Yu-Xiang Wang, Sheng Zha, George Karypis
• Abstract要約: 差分プライベート(DP)最適化は、正確でプライバシ保護の大きいニューラルネットワークを学ぶための標準パラダイムである。 既存のDP実装は、標準的な(プライベートでない)トレーニングよりも、時間と空間の複雑さの面でコストがかかる$2-1000timesである。 我々は,既存のDP(同じ精度を実現するため)を実装し,計算コストを大幅に向上するブックキーピング技術を開発した。
• 参考スコア（独自算出の注目度）: 29.7761220633954
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Differentially private (DP) optimization is the standard paradigm to learn large neural networks that are accurate and privacy-preserving. The computational cost for DP deep learning, however, is notoriously heavy due to the per-sample gradient clipping. Existing DP implementations are $2-1000\times$ more costly in time and space complexity than the standard (non-private) training. In this work, we develop a novel Book-Keeping (BK) technique that implements existing DP optimizers (thus achieving the same accuracy), with a substantial improvement on the computational cost. Specifically, BK enables DP training on large models and high dimensional data to be roughly as efficient as the standard training, whereas previous DP algorithms can be inefficient or incapable of training due to memory error. The computational advantage of BK is supported by the complexity analysis as well as extensive experiments on vision and language tasks. Our implementation achieves state-of-the-art (SOTA) accuracy with very small extra cost: on GPT2 and at the same memory cost, BK has 1.0$\times$ the time complexity of the standard training (0.75$\times$ training speed in practice), and 0.6$\times$ the time complexity of the most efficient DP implementation (1.24$\times$ training speed in practice). We will open-source the codebase for the BK algorithm.
• Abstract（参考訳）: 差分プライベート(DP)最適化は、正確でプライバシ保護の大きいニューラルネットワークを学ぶための標準パラダイムである。 しかし、DPディープラーニングの計算コストは、サンプルごとの勾配クリッピングのため、非常に重い。 既存のdp実装は、標準の(非プライベートな)トレーニングよりも時間と空間の複雑さで2-1000\times$である。 本研究では,既存のDPオプティマイザ(同じ精度を実現するため)を実装したブックキーピング(BK)技術を開発し,計算コストを大幅に改善する。 具体的には、BKは大規模モデルと高次元データのDPトレーニングを標準トレーニングと同程度の効率で行うのに対して、以前のDPアルゴリズムはメモリエラーによるトレーニングを非効率または不可能にすることができる。 BKの計算上の利点は、複雑性解析とビジョンと言語タスクに関する広範な実験によって支えられている。 gpt2と同じメモリコストで、bkは標準トレーニングの時間複雑性を1.0$\times$(実際には0.75$\times$トレーニングスピード)、0.6$\times$は最も効率的なdp実装の時間複雑性(実際には1.24$\times$トレーニングスピード)を持つ。 BKアルゴリズムのコードベースをオープンソース化します。

関連論文リスト

• Towards Efficient and Scalable Training of Differentially Private Deep Learning [5.825410941577592]
  微分プライベート勾配降下(DP-SGD)は、差分プライバシ(DP)の下で機械学習モデルを訓練するための標準アルゴリズムである。 Poissonサブサンプリングによる計算効率の良いDP-SGDの実装は簡単ではないため、多くの実装がこの要件を無視している。 本研究では,DP下でのディープラーニングモデルを学習する際の計算コストを定量化するための総合的な実証的研究を行う。 PyTorch の Opacus を用いた単純実装 DP-SGD は,SGD よりも2.6～8倍のスループットを持つことがわかった。
  論文  参考訳（メタデータ） (2024-06-25T06:04:58Z)
• Pre-training Differentially Private Models with Limited Public Data [54.943023722114134]
  ディファレンシャルプライバシ(DP)は、モデルに提供されるセキュリティの度合いを測定するための重要な手法である。 DPはまだ、最初の事前訓練段階で使用されるデータのかなりの部分を保護することができない。 公共データの10%しか利用しない新しいDP継続事前学習戦略を開発した。 ImageNet-21kのDP精度は41.5%、非DP精度は55.7%、下流タスクのPlaces365とiNaturalist-2021では60.0%である。
  論文  参考訳（メタデータ） (2024-02-28T23:26:27Z)
• Private Fine-tuning of Large Language Models with Zeroth-order Optimization [51.19403058739522]
  差分的プライベート勾配降下(DP-SGD)により、モデルはプライバシ保護の方法でトレーニングできる。 DP-ZO(DP-ZO)は,ゼロオーダー最適化手法を民営化することで,大規模言語モデルのためのプライベートな微調整フレームワークである。
  論文  参考訳（メタデータ） (2024-01-09T03:53:59Z)
• Zero redundancy distributed learning with differential privacy [26.89679585840689]
  我々は、訓練可能なDPモデルサイズをスケールアップする新しい体系的ソリューションDP-ZeROを開発した。 我々のDP-ZeROは任意のサイズでモデルを訓練する可能性があり、世界最大のDPモデルで評価されている。
  論文  参考訳（メタデータ） (2023-11-20T14:58:56Z)
• TAN Without a Burn: Scaling Laws of DP-SGD [70.7364032297978]
  近年、ディープニューラルネットワーク(DNN)を訓練するための微分プライベートな手法が進歩している。 プライバシ分析とノイズのあるトレーニングの実験的振る舞いを分離し、最小限の計算要件でトレードオフを探索する。 我々は,提案手法をCIFAR-10とImageNetに適用し,特にImageNetの最先端性を,上位1点の精度で向上させる。
  論文  参考訳（メタデータ） (2022-10-07T08:44:35Z)
• Differentially Private Bias-Term Fine-tuning of Foundation Models [36.55810474925956]
  本研究では,大規模事前学習モデルにおける差分プライベート(DP)微調整の問題について検討する。 本稿では,DPアルゴリズムの最先端精度と標準BiTFiTの効率とを一致させるDP-BiTFiTを提案する。 幅広いタスクにおいて、DP-BiTFiTは230倍高速で、完全な微調整よりも28倍少ないメモリを使用する。
  論文  参考訳（メタデータ） (2022-09-30T18:30:48Z)
• Scalable and Efficient Training of Large Convolutional Neural Networks with Differential Privacy [10.098114696565865]
  大規模畳み込みニューラルネットワーク(CNN)は、差分プライベート(DP)方式でトレーニングすることが困難である。 混合ゴーストクリッピングと呼ばれる畳み込み層におけるこのクリッピングの効率的かつスケーラブルな実装を提案する。 CIFAR10では96.7%、CIFAR100では83.0%の精度が$epsilon=1$でBEiTで達成され、前回の結果は94.8%と67.4%であった。
  論文  参考訳（メタデータ） (2022-05-21T22:01:12Z)
• Large Scale Transfer Learning for Differentially Private Image Classification [51.10365553035979]
  Differential Privacy(DP)は、個別のサンプルレベルのプライバシで機械学習モデルをトレーニングするための正式なフレームワークを提供する。 DP-SGDを用いたプライベートトレーニングは、個々のサンプル勾配にノイズを注入することで漏れを防ぐ。 この結果は非常に魅力的であるが,DP-SGDを用いた大規模モデルのトレーニングの計算コストは,非プライベートトレーニングよりもかなり高い。
  論文  参考訳（メタデータ） (2022-05-06T01:22:20Z)
• Large Language Models Can Be Strong Differentially Private Learners [70.0317718115406]
  Differentially Private(DP)学習は、テキストの大規模なディープラーニングモデルを構築する上で、限られた成功を収めている。 この性能低下は,大規模な事前学習モデルを用いることで緩和可能であることを示す。 本稿では,DP-SGDにおけるクリッピングを,サンプルごとの勾配をインスタンス化せずに実行可能にするメモリ節約手法を提案する。
  論文  参考訳（メタデータ） (2021-10-12T01:45:27Z)
• Fast and Memory Efficient Differentially Private-SGD via JL Projections [29.37156662314245]
  DP-SGDは大規模ニューラルネットワークのプライベートトレーニングで知られている唯一のアルゴリズムである。 本稿では,DP-SGD-JL とDP-Adam-JL と呼ばれる差分プライベートを設計するための新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2021-02-05T06:02:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。