論文の概要: NanoBatch DPSGD: Exploring Differentially Private learning on ImageNet with low batch sizes on the IPU

• arxiv url: http://arxiv.org/abs/2109.12191v1
• Date: Fri, 24 Sep 2021 20:59:04 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-28 15:41:54.985045
• Title: NanoBatch DPSGD: Exploring Differentially Private learning on ImageNet with low batch sizes on the IPU
• Title（参考訳）: NanoBatch DPSGD: IPU上のバッチサイズが低いImageNet上での差分プライベート学習の探索
• Authors: Edward H. Lee and Mario Michael Krell and Alexander Tsyplikhin and Victoria Rege and Errol Colak and Kristen W. Yeom
• Abstract要約: ResNet-50におけるグループ正規化を用いたバッチサイズを小さくすることで,Graphcore IPUにおける高い精度とプライバシが得られることを示す。 これにより、イメージネット上のResNet-50上のDPSGDトレーニングを、IPU-POD16システム上でわずか6時間で行うことができる。
• 参考スコア（独自算出の注目度）: 56.74644007407562
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Differentially private SGD (DPSGD) has recently shown promise in deep learning. However, compared to non-private SGD, the DPSGD algorithm places computational overheads that can undo the benefit of batching in GPUs. Microbatching is a standard method to alleviate this and is fully supported in the TensorFlow Privacy library (TFDP). However, this technique, while improving training times also reduces the quality of the gradients and degrades the classification accuracy. Recent works that for example use the JAX framework show promise in also alleviating this but still show degradation in throughput from non-private to private SGD on CNNs, and have not yet shown ImageNet implementations. In our work, we argue that low batch sizes using group normalization on ResNet-50 can yield high accuracy and privacy on Graphcore IPUs. This enables DPSGD training of ResNet-50 on ImageNet in just 6 hours (100 epochs) on an IPU-POD16 system.
• Abstract（参考訳）: ディファレンシャルプライベートSGD(DPSGD)は、最近ディープラーニングにおいて有望であることを示している。 しかし、非プライベートなSGDと比較して、DPSGDアルゴリズムはGPUのバッチ処理の利点を克服できる計算オーバーヘッドを配置する。 マイクロバッチは、これを緩和する標準的な方法であり、TensorFlow Privacy Library(TFDP)で完全にサポートされている。 しかし、この手法は訓練時間を改善する一方で勾配の品質を低下させ、分類精度を低下させる。 例えば、JAXフレームワークを使用する最近の研究は、これを緩和する一方で、CNNにおける非プライベートなSGDからプライベートなSGDへのスループットの低下を示しており、まだImageNetの実装を示していない。 本稿では,ResNet-50におけるグループ正規化を用いた低バッチサイズでは,Graphcore IPUの精度とプライバシが向上すると主張している。 これにより、イメージネット上のResNet-50のDPSGDトレーニングを、IPP-POD16システム上でわずか6時間 (100 epochs)で行うことができる。

関連論文リスト

• DCT-CryptoNets: Scaling Private Inference in the Frequency Domain [8.084341432899954]
  ホモモルフィック暗号化(FHE)と機械学習は、機密データの個人推論に前例のない機会を提供する。 FHEは、暗号化されたデータに直接計算を可能にし、データやモデルの機密性を含む、マシンラーニングパイプライン全体を保護する。 ディープニューラルネットワークのための既存のFHEベースの実装は、計算コスト、レイテンシ、スケーラビリティの課題に直面している。 本稿では、これらの問題に対処するために周波数領域学習を利用する新しいアプローチであるDCT-CryptoNetsを紹介する。
  論文  参考訳（メタデータ） (2024-08-27T17:48:29Z)
• Sigmoid Loss for Language Image Pre-Training [93.91385557929604]
  本稿では,Language-Image Pre-Training (SigLIP) のための単純なペアワイズ・シグモイド・ロスを提案する。 シグモイド損失は画像とテキストのペアのみに作用し、正規化のためにペアの類似点のグローバルなビューを必要としない。 Locked-image Tuningと4つのTPUv4チップの組み合わせで、84.5%のImageNetゼロショット精度を2日間で達成するSigLiTモデルを訓練する。
  論文  参考訳（メタデータ） (2023-03-27T15:53:01Z)
• Differentially Private Kernel Inducing Points using features from ScatterNets (DP-KIP-ScatterNet) for Privacy Preserving Data Distillation [5.041384008847852]
  プライバシ保存データ蒸留のための差分プライベートカーネル誘導点(DP-KIP)を導入する。 無限大の畳み込みニューラルタンジェントカーネル(conv-NTK)を用いたKIPは、完全に接続されたNTKを用いたKIPよりも優れた性能を示す。 本稿では、conv-NTKではなく、Scattering Network(ScatterNet)のウェーブレット機能を利用するDP-KIP-ScatterNetを提案する。
  論文  参考訳（メタデータ） (2023-01-31T03:38:09Z)
• TAN Without a Burn: Scaling Laws of DP-SGD [70.7364032297978]
  近年、ディープニューラルネットワーク(DNN)を訓練するための微分プライベートな手法が進歩している。 プライバシ分析とノイズのあるトレーニングの実験的振る舞いを分離し、最小限の計算要件でトレードオフを探索する。 我々は,提案手法をCIFAR-10とImageNetに適用し,特にImageNetの最先端性を,上位1点の精度で向上させる。
  論文  参考訳（メタデータ） (2022-10-07T08:44:35Z)
• Large Scale Transfer Learning for Differentially Private Image Classification [51.10365553035979]
  Differential Privacy(DP)は、個別のサンプルレベルのプライバシで機械学習モデルをトレーニングするための正式なフレームワークを提供する。 DP-SGDを用いたプライベートトレーニングは、個々のサンプル勾配にノイズを注入することで漏れを防ぐ。 この結果は非常に魅力的であるが,DP-SGDを用いた大規模モデルのトレーニングの計算コストは,非プライベートトレーニングよりもかなり高い。
  論文  参考訳（メタデータ） (2022-05-06T01:22:20Z)
• Selective Network Linearization for Efficient Private Inference [49.937470642033155]
  本稿では,予測精度を維持しつつReLUを選択的に線形化する勾配に基づくアルゴリズムを提案する。 その結果、現在の技術よりも4.25%$の精度(so-ReLUは50K)、または2.2times$のレイテンシ(so-accuracyは70%)が低いことがわかった。
  論文  参考訳（メタデータ） (2022-02-04T19:00:24Z)
• Dep-$L_0$: Improving $L_0$-based Network Sparsification via Dependency Modeling [6.081082481356211]
  L_0$正規化によるディープニューラルネットワークのトレーニングは、ネットワークプルーニングやスパシフィケーションの顕著なアプローチのひとつだ。 本稿では,ImageNet上のResNet50のような大規模学習タスクに対して一貫性のない処理を行うことを示す。 本稿では,多層パーセプトロンとして効果的にモデル化できるバイナリゲートの依存性モデリングを提案する。
  論文  参考訳（メタデータ） (2021-06-30T19:33:35Z)
• Post-training deep neural network pruning via layer-wise calibration [70.65691136625514]
  本論文では,自動合成フラクタル画像に基づくコンピュータビジョンモデルに対するデータフリーな拡張を提案する。 実データを使用する場合は、トレーニング後の設定で65%の間隔で8ビットの精度でImageNet上のResNet50モデルを取得できます。
  論文  参考訳（メタデータ） (2021-04-30T14:20:51Z)
• Fast and Memory Efficient Differentially Private-SGD via JL Projections [29.37156662314245]
  DP-SGDは大規模ニューラルネットワークのプライベートトレーニングで知られている唯一のアルゴリズムである。 本稿では,DP-SGD-JL とDP-Adam-JL と呼ばれる差分プライベートを設計するための新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2021-02-05T06:02:10Z)
• Batch Group Normalization [45.03388237812212]
  バッチ正規化(BN)は中規模および大規模なバッチサイズでよく機能する。 BNは、ノイズ/畳み込み統計計算により、小さな/非常に大きなバッチサイズで飽和する。 BGN は小・極大バッチサイズでの BN の雑音/畳み込み統計計算を解くために提案される。
  論文  参考訳（メタデータ） (2020-12-04T18:57:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。