論文の概要: Super-convergence and Differential Privacy: Training faster with better privacy guarantees

• arxiv url: http://arxiv.org/abs/2103.10498v1
• Date: Thu, 18 Mar 2021 19:53:00 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-22 14:25:25.466188
• Title: Super-convergence and Differential Privacy: Training faster with better privacy guarantees
• Title（参考訳）: 超コンバージェンスとディファレンシャルプライバシ: より良いプライバシ保証でより迅速なトレーニング
• Authors: Osvald Frisk, Friedrich D\"ormann, Christian Marius Lillelund, Christian Fischer Pedersen
• Abstract要約: ニューラルネットワークのトレーニングに差分プライバシーを使用することには、一連の欠点があります。 超収束は、微分プライベートニューラルネットワークのトレーニング速度を大幅に向上させる方法です。 超収束は、プライベートモデルのプライバシー保証を改善することが示されている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The combination of deep neural networks and Differential Privacy has been of increasing interest in recent years, as it offers important data protection guarantees to the individuals of the training datasets used. However, using Differential Privacy in the training of neural networks comes with a set of shortcomings, like a decrease in validation accuracy and a significant increase in the use of resources and time in training. In this paper, we examine super-convergence as a way of greatly increasing training speed of differentially private neural networks, addressing the shortcoming of high training time and resource use. Super-convergence allows for acceleration in network training using very high learning rates, and has been shown to achieve models with high utility in orders of magnitude less training iterations than conventional ways. Experiments in this paper show that this order-of-magnitude speedup can also be seen when combining it with Differential Privacy, allowing for higher validation accuracies in much fewer training iterations compared to non-private, non-super convergent baseline models. Furthermore, super-convergence is shown to improve the privacy guarantees of private models.
• Abstract（参考訳）: ディープニューラルネットワークとディファレンシャルプライバシの組み合わせは、使用中のトレーニングデータセットの個人に対して重要なデータ保護保証を提供するため、近年の関心が高まっている。 しかしながら、ニューラルネットワークのトレーニングで差分プライバシーを使用するには、検証精度の低下や、トレーニングにおけるリソースの使用と時間の大幅な増加など、一連の欠点が伴う。 本稿では,差分プライベートニューラルネットワークのトレーニング速度を大幅に向上させる手段として,超収束性について検討し,高いトレーニング時間と資源利用の欠点に対処する。 超収束(Super-convergence)は、非常に高い学習率を用いたネットワークトレーニングの加速を可能にし、従来の方法よりもはるかに少ないトレーニングイテレーションで高い実用性を持つモデルを実現することが示されている。 本実験では,このオーダー・オブ・マグニチュード・スピードアップを差分プライバシと組み合わせることで,非プライベート・非スーパー収束ベースラインモデルと比較して,より少ないトレーニングイテレーションで高い検証精度が得られることを示す。 さらに、スーパーコンバージェンスはプライベートモデルのプライバシー保証を改善することが示されている。

関連論文リスト

• Tempo: Confidentiality Preservation in Cloud-Based Neural Network Training [8.187538747666203]
  クラウドディープラーニングプラットフォームは、計算リソースが不足している顧客に対して、費用対効果の高いディープニューラルネットワーク(DNN)トレーニングを提供する。 近年、研究者は、CPU信頼実行環境(TEE)を活用して、ディープラーニングにおけるデータのプライバシ保護を模索している。 本稿では、TEEと分散GPUと連携するクラウドベースの初のディープラーニングシステムであるTempoについて述べる。
  論文  参考訳（メタデータ） (2024-01-21T15:57:04Z)
• Binary Federated Learning with Client-Level Differential Privacy [7.854806519515342]
  フェデレートラーニング(Federated Learning、FL)は、プライバシ保護のための協調学習フレームワークである。 既存のFLシステムはトレーニングアルゴリズムとしてフェデレーション平均(FedAvg)を採用するのが一般的である。 差分プライバシーを保証する通信効率のよいFLトレーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-08-07T06:07:04Z)
• Pre-Pruning and Gradient-Dropping Improve Differentially Private Image Classification [9.120531252536617]
  本稿では,テキストプリプルーニングとテキストグラディエントドロップを用いた新しいトレーニングパラダイムを導入し,パラメータ空間の削減と拡張性の向上を図る。 トレーニングパラダイムでは,プレプニング率と勾配ドロップ率,プライバシ損失,分類精度の間に緊張関係が生じる。
  論文  参考訳（メタデータ） (2023-06-19T14:35:28Z)
• Efficient and Effective Augmentation Strategy for Adversarial Training [48.735220353660324]
  ディープニューラルネットワークの敵対的トレーニングは、標準トレーニングよりもはるかにデータ処理が難しいことが知られている。 本稿では,DAJAT(Diverse Augmentation-based Joint Adversarial Training)を提案する。
  論文  参考訳（メタデータ） (2022-10-27T10:59:55Z)
• Augmented Bilinear Network for Incremental Multi-Stock Time-Series Classification [83.23129279407271]
  本稿では,有価証券のセットで事前学習したニューラルネットワークで利用可能な知識を効率的に保持する手法を提案する。 本手法では,既存の接続を固定することにより,事前学習したニューラルネットワークに符号化された事前知識を維持する。 この知識は、新しいデータを用いて最適化された一連の拡張接続によって、新しい証券に対して調整される。
  論文  参考訳（メタデータ） (2022-07-23T18:54:10Z)
• Certified Robustness in Federated Learning [54.03574895808258]
  我々は,フェデレーショントレーニングとパーソナライゼーション,および認定ロバストネスの相互作用について検討した。 単純なフェデレーション平均化技術は, より正確であるだけでなく, より精度の高いロバストモデルの構築にも有効であることがわかった。
  論文  参考訳（メタデータ） (2022-06-06T12:10:53Z)
• Mixed Differential Privacy in Computer Vision [133.68363478737058]
  AdaMixは、プライベートとパブリックの両方の画像データを使用して、ディープニューラルネットワーク分類器をトレーニングするための適応型微分プライベートアルゴリズムである。 プライベートデータを無視する数ショットあるいはゼロショットの学習ベースラインは、大規模なプライベートデータセットの微調整よりも優れています。
  論文  参考訳（メタデータ） (2022-03-22T06:15:43Z)
• Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
  フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。 我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。 我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
  論文  参考訳（メタデータ） (2022-03-05T02:31:32Z)
• Don't Generate Me: Training Differentially Private Generative Models with Sinkhorn Divergence [73.14373832423156]
  そこで我々はDP-Sinkhornを提案する。DP-Sinkhornは個人データからデータ分布を差分プライバシで学習するための新しいトランスポートベース生成手法である。 差分的にプライベートな生成モデルを訓練するための既存のアプローチとは異なり、我々は敵の目的に頼らない。
  論文  参考訳（メタデータ） (2021-11-01T18:10:21Z)
• Scaling up Differentially Private Deep Learning with Fast Per-Example Gradient Clipping [15.410557873153833]
  差分プライバシーに関する最近の研究は、ディープラーニングタスクに差分プライバシーを適用する可能性を示している。 彼らの約束にもかかわらず、異なるプライベートなディープネットワークは、正確さで非プライベートなネットワークよりもはるかに遅れていることが多い。 この拡張された研究の障壁の1つは、トレーニング時間 -- 多くの場合、非プライベートネットワークのトレーニングよりも桁違いに大きい — である。
  論文  参考訳（メタデータ） (2020-09-07T13:51:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。