論文の概要: Equivariant Differentially Private Deep Learning: Why DP-SGD Needs Sparser Models

• arxiv url: http://arxiv.org/abs/2301.13104v2
• Date: Wed, 21 Jun 2023 12:03:57 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-22 17:43:01.182489
• Title: Equivariant Differentially Private Deep Learning: Why DP-SGD Needs Sparser Models
• Title（参考訳）: DP-SGDがスパサーモデルを必要とする理由
• Authors: Florian A. H\"olzl, Daniel Rueckert, Georgios Kaissis
• Abstract要約: 小型で効率的なアーキテクチャ設計は、計算要求がかなり少ない最先端のモデルよりも優れていることを示す。 私たちの結果は、パラメータを最適に活用する効率的なモデルアーキテクチャへの一歩です。
• 参考スコア（独自算出の注目度）: 7.49320945341034
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Differentially Private Stochastic Gradient Descent (DP-SGD) limits the amount of private information deep learning models can memorize during training. This is achieved by clipping and adding noise to the model's gradients, and thus networks with more parameters require proportionally stronger perturbation. As a result, large models have difficulties learning useful information, rendering training with DP-SGD exceedingly difficult on more challenging training tasks. Recent research has focused on combating this challenge through training adaptations such as heavy data augmentation and large batch sizes. However, these techniques further increase the computational overhead of DP-SGD and reduce its practical applicability. In this work, we propose using the principle of sparse model design to solve precisely such complex tasks with fewer parameters, higher accuracy, and in less time, thus serving as a promising direction for DP-SGD. We achieve such sparsity by design by introducing equivariant convolutional networks for model training with Differential Privacy. Using equivariant networks, we show that small and efficient architecture design can outperform current state-of-the-art models with substantially lower computational requirements. On CIFAR-10, we achieve an increase of up to $9\%$ in accuracy while reducing the computation time by more than $85\%$. Our results are a step towards efficient model architectures that make optimal use of their parameters and bridge the privacy-utility gap between private and non-private deep learning for computer vision.
• Abstract（参考訳）: 個人確率勾配(DP-SGD)は、訓練中に記憶できる個人情報深層学習モデルの量を制限する。 これは、モデルの勾配にノイズを加えることで達成され、より多くのパラメータを持つネットワークは比例的に強い摂動を必要とする。 その結果,DP-SGDを用いたレンダリングトレーニングは,より困難な訓練作業において極めて困難であることがわかった。 最近の研究は、重いデータ拡張や大きなバッチサイズなどのトレーニング適応を通じて、この課題に対処することに注力している。 しかし,これらの手法によりDP-SGDの計算オーバーヘッドが増大し,実用性も低下する。 本研究では,dp-sgd の有望な方向性として,sparse モデル設計の原理を用いて,より少ないパラメータ,高い精度,少ない時間で複雑なタスクを高精度に解くことを提案する。 差分プライバシを用いたモデルトレーニングのための同変畳み込みネットワークを導入して,このような疎結合を実現する。 等価ネットワークを用いて, 小型かつ効率的なアーキテクチャ設計は, 計算量を大幅に削減し, 最先端のモデルに勝ることを示す。 cifar-10では、計算時間を85-%$以上削減しながら、最大9-%の精度向上を達成しています。 我々の結果は、パラメータを最適に活用し、コンピュータビジョンのためのプライベートと非プライベートのディープラーニングの間のプライバシーとユーティリティのギャップを埋める効率的なモデルアーキテクチャへの一歩である。

関連論文リスト

• Zero redundancy distributed learning with differential privacy [26.89679585840689]
  我々は、訓練可能なDPモデルサイズをスケールアップする新しい体系的ソリューションDP-ZeROを開発した。 我々のDP-ZeROは任意のサイズでモデルを訓練する可能性があり、世界最大のDPモデルで評価されている。
  論文  参考訳（メタデータ） (2023-11-20T14:58:56Z)
• Sparsity-Preserving Differentially Private Training of Large Embedding Models [67.29926605156788]
  DP-SGDは、差分プライバシーと勾配降下を組み合わせたトレーニングアルゴリズムである。 DP-SGDをネーティブに埋め込みモデルに適用すると、勾配の間隔が破壊され、トレーニング効率が低下する。 我々は,大規模埋め込みモデルのプライベートトレーニングにおいて,勾配間隔を保ったDP-FESTとDP-AdaFESTの2つの新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-11-14T17:59:51Z)
• TAN Without a Burn: Scaling Laws of DP-SGD [70.7364032297978]
  近年、ディープニューラルネットワーク(DNN)を訓練するための微分プライベートな手法が進歩している。 プライバシ分析とノイズのあるトレーニングの実験的振る舞いを分離し、最小限の計算要件でトレードオフを探索する。 我々は,提案手法をCIFAR-10とImageNetに適用し,特にImageNetの最先端性を,上位1点の精度で向上させる。
  論文  参考訳（メタデータ） (2022-10-07T08:44:35Z)
• SmoothNets: Optimizing CNN architecture design for differentially private deep learning [69.10072367807095]
  DPSGDは、サンプルごとの勾配の切り抜きとノイズ付けを必要とする。 これにより、非プライベートトレーニングと比較してモデルユーティリティが削減される。 SmoothNetと呼ばれる新しいモデルアーキテクチャを蒸留し,DP-SGDトレーニングの課題に対するロバスト性の向上を特徴とした。
  論文  参考訳（メタデータ） (2022-05-09T07:51:54Z)
• Large Scale Transfer Learning for Differentially Private Image Classification [51.10365553035979]
  Differential Privacy(DP)は、個別のサンプルレベルのプライバシで機械学習モデルをトレーニングするための正式なフレームワークを提供する。 DP-SGDを用いたプライベートトレーニングは、個々のサンプル勾配にノイズを注入することで漏れを防ぐ。 この結果は非常に魅力的であるが,DP-SGDを用いた大規模モデルのトレーニングの計算コストは,非プライベートトレーニングよりもかなり高い。
  論文  参考訳（メタデータ） (2022-05-06T01:22:20Z)
• Large Language Models Can Be Strong Differentially Private Learners [70.0317718115406]
  Differentially Private(DP)学習は、テキストの大規模なディープラーニングモデルを構築する上で、限られた成功を収めている。 この性能低下は,大規模な事前学習モデルを用いることで緩和可能であることを示す。 本稿では,DP-SGDにおけるクリッピングを,サンプルごとの勾配をインスタンス化せずに実行可能にするメモリ節約手法を提案する。
  論文  参考訳（メタデータ） (2021-10-12T01:45:27Z)
• An Efficient DP-SGD Mechanism for Large Scale NLP Models [28.180412581994485]
  自然言語理解(NLU)モデルを訓練するために使用されるデータは、住所や電話番号などのプライベート情報を含むことができる。 基礎となるモデルは、トレーニングデータに含まれるプライベート情報を公開しないことが望ましい。 プライバシ保護モデルを構築するメカニズムとして,DP-SGD(Fariially Private Gradient Descent)が提案されている。
  論文  参考訳（メタデータ） (2021-07-14T15:23:27Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。