論文の概要: DPNAS: Neural Architecture Search for Deep Learning with Differential Privacy

• arxiv url: http://arxiv.org/abs/2110.08557v2
• Date: Tue, 19 Oct 2021 03:20:36 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-20 11:35:20.593973
• Title: DPNAS: Neural Architecture Search for Deep Learning with Differential Privacy
• Title（参考訳）: DPNAS: 異なるプライバシーを持つディープラーニングのためのニューラルネットワーク検索
• Authors: Anda Cheng, Jiaxing Wang, Xi Sheryl Zhang, Qiang Chen, Peisong Wang, Jian Cheng
• Abstract要約: 意味のある差分プライバシー(DP)のためのディープニューラルネットワーク(DNN)のトレーニングは、モデルの有用性を著しく低下させる。 DPNASと呼ばれるプライベートディープラーニングのためのモデル自動設計にニューラルネットワークを用いたフレームワークを提案する。 提案手法の有効性を実証的に検証する。
• 参考スコア（独自算出の注目度）: 27.33680251148959
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Training deep neural networks (DNNs) for meaningful differential privacy (DP) guarantees severely degrades model utility. In this paper, we demonstrate that the architecture of DNNs has a significant impact on model utility in the context of private deep learning, whereas its effect is largely unexplored in previous studies. In light of this missing, we propose the very first framework that employs neural architecture search to automatic model design for private deep learning, dubbed as DPNAS. To integrate private learning with architecture search, we delicately design a novel search space and propose a DP-aware method for training candidate models. We empirically certify the effectiveness of the proposed framework. The searched model DPNASNet achieves state-of-the-art privacy/utility trade-offs, e.g., for the privacy budget of $(\epsilon, \delta)=(3, 1\times10^{-5})$, our model obtains test accuracy of $98.57\%$ on MNIST, $88.09\%$ on FashionMNIST, and $68.33\%$ on CIFAR-10. Furthermore, by studying the generated architectures, we provide several intriguing findings of designing private-learning-friendly DNNs, which can shed new light on model design for deep learning with differential privacy.
• Abstract（参考訳）: 意味のある差分プライバシー(DP)のためのディープニューラルネットワーク(DNN)のトレーニングは、モデルの有用性を著しく低下させる。 本稿では,DNNのアーキテクチャが私的深層学習の文脈におけるモデルユーティリティに多大な影響を与えていることを実証する。 この欠如を鑑みて,我々は,DPNASと呼ばれるプライベートディープラーニングのためのモデル自動設計にニューラルアーキテクチャサーチを利用する,最初のフレームワークを提案する。 アーキテクチャ検索とプライベート学習を統合するため,新しい検索空間を微妙に設計し,候補モデルを学習するためのDP対応手法を提案する。 提案手法の有効性を実証的に検証する。 例えば、プライバシ予算が$(\epsilon, \delta)=(3, 1\times10^{-5})$である場合には、mnistで$8.57\%、fashionmnistで$8.09\%、cifar-10で$8.33\%となる。 さらに、生成したアーキテクチャを研究することにより、プライベートな学習に適したDNNを設計する際の興味深い発見をいくつか提供する。

関連論文リスト

• Equivariant Differentially Private Deep Learning: Why DP-SGD Needs Sparser Models [7.49320945341034]
  小型で効率的なアーキテクチャ設計は、計算要求がかなり少ない最先端のモデルよりも優れていることを示す。 私たちの結果は、パラメータを最適に活用する効率的なモデルアーキテクチャへの一歩です。
  論文  参考訳（メタデータ） (2023-01-30T17:43:47Z)
• Evolving Zero Cost Proxies For Neural Architecture Scoring [3.441021278275805]
  ニューラルネットワークスコアリングのためのゼロコストプロキシの発見を自動化するための遺伝的プログラミングフレームワークを提案する。 本手法は,解析可能かつ一般化可能なゼロコストプロキシを効率よく発見し,高いスコアと精度の相関関係を示す。
  論文  参考訳（メタデータ） (2022-09-15T16:10:16Z)
• SmoothNets: Optimizing CNN architecture design for differentially private deep learning [69.10072367807095]
  DPSGDは、サンプルごとの勾配の切り抜きとノイズ付けを必要とする。 これにより、非プライベートトレーニングと比較してモデルユーティリティが削減される。 SmoothNetと呼ばれる新しいモデルアーキテクチャを蒸留し,DP-SGDトレーニングの課題に対するロバスト性の向上を特徴とした。
  論文  参考訳（メタデータ） (2022-05-09T07:51:54Z)
• Large Scale Transfer Learning for Differentially Private Image Classification [51.10365553035979]
  Differential Privacy(DP)は、個別のサンプルレベルのプライバシで機械学習モデルをトレーニングするための正式なフレームワークを提供する。 DP-SGDを用いたプライベートトレーニングは、個々のサンプル勾配にノイズを注入することで漏れを防ぐ。 この結果は非常に魅力的であるが,DP-SGDを用いた大規模モデルのトレーニングの計算コストは,非プライベートトレーニングよりもかなり高い。
  論文  参考訳（メタデータ） (2022-05-06T01:22:20Z)
• Automating Neural Architecture Design without Search [3.651848964235307]
  アルゴリズム実行中に生成された各ニューラルネットワークを逐次評価する必要のない新しい視点から、自動アーキテクチャ設計について検討する。 リンク予測にグラフニューラルネットワークを用いて提案手法を実装し,NAS-Bench-101から知識を得た。 さらに、NAS-Bench-101から学んだ知識を利用して、DARTS検索空間におけるアーキテクチャ設計を自動化し、CIFAR10では97.82%、ImageNetでは76.51%の精度で2時間10-4ドルのGPU日しか消費しなかった。
  論文  参考訳（メタデータ） (2022-04-21T14:41:05Z)
• Neural Architecture Search for Speech Emotion Recognition [72.1966266171951]
  本稿では,SERモデルの自動構成にニューラルアーキテクチャサーチ(NAS)技術を適用することを提案する。 NASはモデルパラメータサイズを維持しながらSER性能(54.89%から56.28%)を向上させることができることを示す。
  論文  参考訳（メタデータ） (2022-03-31T10:16:10Z)
• D-DARTS: Distributed Differentiable Architecture Search [75.12821786565318]
  微分可能なArchiTecture Search(DARTS)は、最も流行しているニューラルネットワークサーチ(NAS)の1つである。 セルレベルで複数のニューラルネットワークをネストすることでこの問題に対処する新しいソリューションD-DARTSを提案する。
  論文  参考訳（メタデータ） (2021-08-20T09:07:01Z)
• ANNETTE: Accurate Neural Network Execution Time Estimation with Stacked Models [56.21470608621633]
  本稿では,アーキテクチャ検索を対象ハードウェアから切り離すための時間推定フレームワークを提案する。 提案手法は,マイクロカーネルと多層ベンチマークからモデルの集合を抽出し,マッピングとネットワーク実行時間推定のためのスタックモデルを生成する。 生成した混合モデルの推定精度と忠実度, 統計モデルとルーフラインモデル, 評価のための洗練されたルーフラインモデルを比較した。
  論文  参考訳（メタデータ） (2021-05-07T11:39:05Z)
• Neural Architecture Search of SPD Manifold Networks [79.45110063435617]
  本研究では,Symmetric Positive Definite (SPD) 多様体ネットワークのニューラルアーキテクチャ探索(NAS)問題を提案する。 まず、効率的なSPDセル設計のために、幾何学的にリッチで多様なSPDニューラルアーキテクチャ探索空間を導入する。 我々は、SPDニューラルアーキテクチャ探索のための緩和された連続探索空間上で微分可能なNASアルゴリズムを利用する。
  論文  参考訳（メタデータ） (2020-10-27T18:08:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。