Fugu-MT 論文翻訳(概要): Scalable and Efficient Training of Large Convolutional Neural Networks with Differential Privacy

論文の概要: Scalable and Efficient Training of Large Convolutional Neural Networks with Differential Privacy

arxiv url: http://arxiv.org/abs/2205.10683v1
Date: Sat, 21 May 2022 22:01:12 GMT
ステータス: 処理完了
システム内更新日: 2022-05-24 16:29:33.840010
Title: Scalable and Efficient Training of Large Convolutional Neural Networks with Differential Privacy
Title（参考訳）: 差分プライバシーを持つ大規模畳み込みニューラルネットワークのスケーラブルで効率的なトレーニング
Authors: Zhiqi Bu, Jialin Mao, Shiyun Xu
Abstract要約: 大規模畳み込みニューラルネットワーク(CNN)は、差分プライベート(DP)方式でトレーニングすることが困難である。混合ゴーストクリッピングと呼ばれる畳み込み層におけるこのクリッピングの効率的かつスケーラブルな実装を提案する。 CIFAR10では96.7%、CIFAR100では83.0%の精度が$epsilon=1$でBEiTで達成され、前回の結果は94.8%と67.4%であった。
参考スコア（独自算出の注目度）: 10.098114696565865
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Large convolutional neural networks (CNN) can be difficult to train in the differentially private (DP) regime, since the optimization algorithms require a computationally expensive operation, known as the per-sample gradient clipping. We propose an efficient and scalable implementation of this clipping on convolutional layers, termed as the mixed ghost clipping, that significantly eases the private training in terms of both time and space complexities, without affecting the accuracy. The improvement in efficiency is rigorously studied through the first complexity analysis for the mixed ghost clipping and existing DP training algorithms. Extensive experiments on vision classification tasks, with large ResNet, VGG, and Vision Transformers, demonstrate that DP training with mixed ghost clipping adds $1\sim 10\%$ memory overhead and $<2\times$ slowdown to the standard non-private training. Specifically, when training VGG19 on CIFAR10, the mixed ghost clipping is $3\times$ faster than state-of-the-art Opacus library with $18\times$ larger maximum batch size. To emphasize the significance of efficient DP training on convolutional layers, we achieve 96.7\% accuracy on CIFAR10 and 83.0\% on CIFAR100 at $\epsilon=1$ using BEiT, while the previous best results are 94.8\% and 67.4\%, respectively. We open-source a privacy engine (\url{https://github.com/JialinMao/private_CNN}) that implements DP training of CNN with a few lines of code.
Abstract（参考訳）: 大規模畳み込みニューラルネットワーク(CNN)は、最適化アルゴリズムは、サンプルごとの勾配クリッピングと呼ばれる計算コストの高い演算を必要とするため、差分プライベート(DP)方式でトレーニングすることが難しい。提案手法は,時間と空間の複雑さの両面において,正確性に影響を与えず,プライベートトレーニングを著しく緩和する,畳み込み層上での効率的かつスケーラブルな実装を提案する。ゴーストクリップングと既存のdpトレーニングアルゴリズムを併用した第1の複雑性解析により,効率改善を厳密に検討した。大規模なResNet、VGG、Vision Transformersによる視覚分類タスクに関する大規模な実験では、混合ゴーストクリッピングによるDPトレーニングには、メモリオーバーヘッドが $1\sim 10\%$ と標準の非プライベートトレーニングに $<2\times$ が加えられている。具体的には、CIFAR10でVGG19をトレーニングする場合、混合ゴーストクリッピングは、最先端のOpacusライブラリよりも3\times$で、最大バッチサイズは18\times$大きい。畳み込み層における効率的なDPトレーニングの重要性を強調するため, CIFAR100では96.7\%, CIFAR100では83.0\%, BEiTでは1$, 前回では94.8\%, 67.4\%であった。数行のコードでCNNのDPトレーニングを実装したプライバシーエンジン(\url{https://github.com/JialinMao/private_CNN})をオープンソースにしています。

関連論文リスト

Instant Complexity Reduction in CNNs using Locality-Sensitive Hashing [50.79602839359522]
本稿では,パラメータフリーでデータフリーなモジュールであるHASTE(Hashing for Tractable Efficiency)を提案する。局所性感応ハッシュ (LSH) を用いることで, 精度を犠牲にすることなく, 遅延特徴写像を劇的に圧縮することができる。特に、HASTEモジュール用のCIFAR-10上のResNet34で畳み込みモジュールを切り替えるだけで、FLOPの46.72%を即座に落とすことができる。
論文参考訳（メタデータ） (2023-09-29T13:09:40Z)
Efficient On-device Training via Gradient Filtering [14.484604762427717]
デバイス上でのCNNモデルトレーニングを可能にする新しい勾配フィルタリング手法を提案する。我々のアプローチは勾配写像の特異な要素が少ない特別な構造を生成する。弊社のアプローチは、デバイス上でのトレーニングの大きな可能性を秘めた、新しい研究の方向性を開く。
論文参考訳（メタデータ） (2023-01-01T02:33:03Z)
Exploring the Limits of Differentially Private Deep Learning with Group-wise Clipping [91.60608388479645]
本研究では, クリッピングとバックプロパゲーションを併用して, 異なる最適化手法でクリッピングを行えることを示す。その結果、プライベートな学習は、記憶効率が良く、トレーニング更新あたりの速度は、多くの関心を持つ非プライベートな学習と同程度になる。
論文参考訳（メタデータ） (2022-12-03T05:20:15Z)
Differentially Private Image Classification from Features [53.75086935617644]
転送学習を活用することは、差分プライバシーを持つ大規模モデルのトレーニングに有効な戦略であることが示されている。最近の研究によると、訓練済みモデルの最後の層だけをプライベートにトレーニングすることは、DPで最高のユーティリティを提供する。
論文参考訳（メタデータ） (2022-11-24T04:04:20Z)
Improved techniques for deterministic l2 robustness [63.34032156196848]
畳み込みニューラルネットワーク(CNN)を$l_2$ノルムの下で厳密な1-Lipschitz制約で訓練することは、対向的堅牢性、解釈可能な勾配、安定した訓練に有用である。我々は,最後の線形層を1重層に置き換えることで,1-Lipschitz CNNのロバスト性を証明する手法を提案する。我々は,CIFAR-10およびCIFAR-100における標準および証明可能な堅牢な精度の最先端化を図る。
論文参考訳（メタデータ） (2022-11-15T19:10:12Z)
Differentially Private Deep Learning with ModelMix [14.445182641912014]
そこで本研究では,中間モデル状態のランダムアグリゲーションを行う, Em ModelMix と呼ばれる汎用最適化フレームワークを提案する。トレーニング軌跡のエントロピーを利用した複合プライバシー分析を強化する。本研究は,勾配クリッピングの効果に関する公式な研究である。
論文参考訳（メタデータ） (2022-10-07T22:59:00Z)
TAN Without a Burn: Scaling Laws of DP-SGD [70.7364032297978]
近年、ディープニューラルネットワーク(DNN)を訓練するための微分プライベートな手法が進歩している。プライバシ分析とノイズのあるトレーニングの実験的振る舞いを分離し、最小限の計算要件でトレードオフを探索する。我々は,提案手法をCIFAR-10とImageNetに適用し,特にImageNetの最先端性を,上位1点の精度で向上させる。
論文参考訳（メタデータ） (2022-10-07T08:44:35Z)
Differentially Private Optimization on Large Model at Small Cost [39.93710312222771]
差分プライベート(DP)最適化は、正確でプライバシ保護の大きいニューラルネットワークを学ぶための標準パラダイムである。既存のDP実装は、標準(プライベートでない)トレーニングよりも時間と空間の複雑さが2-1000倍高い。我々は,既存のDP(同じ精度を実現するため)を実装し,計算コストを大幅に向上するブックキーピング(BK)技術を開発した。
論文参考訳（メタデータ） (2022-09-30T18:38:53Z)
Online Convolutional Re-parameterization [51.97831675242173]
2段階のパイプラインであるオンライン畳み込み再パラメータ化(OREPA)は、複雑なトレーニング時間ブロックを単一の畳み込みに絞ることで、巨大なトレーニングオーバーヘッドを低減することを目的としている。最先端のre-paramモデルと比較して、OREPAはトレーニング時間のメモリコストを約70%削減し、トレーニング速度を約2倍向上させることができる。また、オブジェクト検出とセマンティックセグメンテーションの実験を行い、下流タスクに一貫した改善を示す。
論文参考訳（メタデータ） (2022-04-02T09:50:19Z)
Activation Density driven Energy-Efficient Pruning in Training [2.222917681321253]
本研究では,トレーニング中にネットワークをリアルタイムでプーンする新しいプルーニング手法を提案する。ベースラインネットワークに匹敵する精度で、非常に疎いネットワークを得る。
論文参考訳（メタデータ） (2020-02-07T18:34:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。