論文の概要: Equivariant Differentially Private Deep Learning

• arxiv url: http://arxiv.org/abs/2301.13104v1
• Date: Mon, 30 Jan 2023 17:43:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2023-01-31 13:37:54.924302
• Title: Equivariant Differentially Private Deep Learning
• Title（参考訳）: 等変微分プライベート深層学習
• Authors: Florian A. H\"olzl, Daniel Rueckert, Georgios Kaissis
• Abstract要約: 本稿では,DPトレーニングにステアブル同変畳み込みネットワークを導入し,より効率的な特徴量向上モデルを提案する。 我々のモデルは、CIFAR-10における現在のSOTA性能を、様々な$varepsilon$-valueで最大で9%の性能で上回ることができることを示した。 我々の結果は、パラメータを最適に活用し、コンピュータビジョンのためのプライベートと非プライベートのディープラーニングの間のプライバシーとユーティリティのギャップを埋める効率的なモデルアーキテクチャへの大きな一歩です。
• 参考スコア（独自算出の注目度）: 7.49320945341034
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The formal privacy guarantee provided by Differential Privacy (DP) bounds the leakage of sensitive information from deep learning models. In practice, however, this comes at a severe computation and accuracy cost. The recently established state of the art (SOTA) results in image classification under DP are due to the use of heavy data augmentation and large batch sizes, leading to a drastically increased computation overhead. In this work, we propose to use more efficient models with improved feature quality by introducing steerable equivariant convolutional networks for DP training. We demonstrate that our models are able to outperform the current SOTA performance on CIFAR-10 by up to $9\%$ across different $\varepsilon$-values while reducing the number of model parameters by a factor of $35$ and decreasing the computation time by more than $90 \%$. Our results are a large step towards efficient model architectures that make optimal use of their parameters and bridge the privacy-utility gap between private and non-private deep learning for computer vision.
• Abstract（参考訳）: differential privacy(dp)が提供する公式なプライバシー保証は、ディープラーニングモデルからの機密情報の漏洩を制限する。 しかし実際には、これは厳しい計算と正確さのコストが伴う。 最近確立された技術(SOTA)の結果、DPの下での画像分類は、重いデータ拡張と大きなバッチサイズを使用することによって、計算オーバーヘッドが劇的に増加するためである。 そこで本研究では,dpトレーニングにステアブル同変畳み込みネットワークを導入することで,機能品質が向上したより効率的なモデルの利用を提案する。 私たちのモデルは、異なる$\varepsilon$-valuesに対して、cifar-10の現在のsomaパフォーマンスを最大9〜$$で上回り、モデルパラメータの数を35ドルに減らし、計算時間を90ドル以上削減できることを実証します。 我々の結果は、パラメータを最適に活用し、コンピュータビジョンのためのプライベートと非プライベートのディープラーニングの間のプライバシーとユーティリティのギャップを埋める効率的なモデルアーキテクチャへの大きな一歩です。

関連論文リスト

• Zero redundancy distributed learning with differential privacy [26.89679585840689]
  我々は、訓練可能なDPモデルサイズをスケールアップする新しい体系的ソリューションDP-ZeROを開発した。 我々のDP-ZeROは任意のサイズでモデルを訓練する可能性があり、世界最大のDPモデルで評価されている。
  論文  参考訳（メタデータ） (2023-11-20T14:58:56Z)
• Sparsity-Preserving Differentially Private Training of Large Embedding Models [67.29926605156788]
  DP-SGDは、差分プライバシーと勾配降下を組み合わせたトレーニングアルゴリズムである。 DP-SGDをネーティブに埋め込みモデルに適用すると、勾配の間隔が破壊され、トレーニング効率が低下する。 我々は,大規模埋め込みモデルのプライベートトレーニングにおいて,勾配間隔を保ったDP-FESTとDP-AdaFESTの2つの新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-11-14T17:59:51Z)
• TAN Without a Burn: Scaling Laws of DP-SGD [70.7364032297978]
  近年、ディープニューラルネットワーク(DNN)を訓練するための微分プライベートな手法が進歩している。 プライバシ分析とノイズのあるトレーニングの実験的振る舞いを分離し、最小限の計算要件でトレードオフを探索する。 我々は,提案手法をCIFAR-10とImageNetに適用し,特にImageNetの最先端性を,上位1点の精度で向上させる。
  論文  参考訳（メタデータ） (2022-10-07T08:44:35Z)
• SmoothNets: Optimizing CNN architecture design for differentially private deep learning [69.10072367807095]
  DPSGDは、サンプルごとの勾配の切り抜きとノイズ付けを必要とする。 これにより、非プライベートトレーニングと比較してモデルユーティリティが削減される。 SmoothNetと呼ばれる新しいモデルアーキテクチャを蒸留し,DP-SGDトレーニングの課題に対するロバスト性の向上を特徴とした。
  論文  参考訳（メタデータ） (2022-05-09T07:51:54Z)
• Large Scale Transfer Learning for Differentially Private Image Classification [51.10365553035979]
  Differential Privacy(DP)は、個別のサンプルレベルのプライバシで機械学習モデルをトレーニングするための正式なフレームワークを提供する。 DP-SGDを用いたプライベートトレーニングは、個々のサンプル勾配にノイズを注入することで漏れを防ぐ。 この結果は非常に魅力的であるが,DP-SGDを用いた大規模モデルのトレーニングの計算コストは,非プライベートトレーニングよりもかなり高い。
  論文  参考訳（メタデータ） (2022-05-06T01:22:20Z)
• Large Language Models Can Be Strong Differentially Private Learners [70.0317718115406]
  Differentially Private(DP)学習は、テキストの大規模なディープラーニングモデルを構築する上で、限られた成功を収めている。 この性能低下は,大規模な事前学習モデルを用いることで緩和可能であることを示す。 本稿では,DP-SGDにおけるクリッピングを,サンプルごとの勾配をインスタンス化せずに実行可能にするメモリ節約手法を提案する。
  論文  参考訳（メタデータ） (2021-10-12T01:45:27Z)
• An Efficient DP-SGD Mechanism for Large Scale NLP Models [28.180412581994485]
  自然言語理解(NLU)モデルを訓練するために使用されるデータは、住所や電話番号などのプライベート情報を含むことができる。 基礎となるモデルは、トレーニングデータに含まれるプライベート情報を公開しないことが望ましい。 プライバシ保護モデルを構築するメカニズムとして,DP-SGD(Fariially Private Gradient Descent)が提案されている。
  論文  参考訳（メタデータ） (2021-07-14T15:23:27Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。