論文の概要: SmoothNets: Optimizing CNN architecture design for differentially private deep learning

• arxiv url: http://arxiv.org/abs/2205.04095v1
• Date: Mon, 9 May 2022 07:51:54 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-10 21:42:09.167073
• Title: SmoothNets: Optimizing CNN architecture design for differentially private deep learning
• Title（参考訳）: SmoothNets: 微分プライベートディープラーニングのためのCNNアーキテクチャ設計の最適化
• Authors: Nicolas W. Remerscheid, Alexander Ziller, Daniel Rueckert, Georgios Kaissis
• Abstract要約: DPSGDは、サンプルごとの勾配の切り抜きとノイズ付けを必要とする。 これにより、非プライベートトレーニングと比較してモデルユーティリティが削減される。 SmoothNetと呼ばれる新しいモデルアーキテクチャを蒸留し,DP-SGDトレーニングの課題に対するロバスト性の向上を特徴とした。
• 参考スコア（独自算出の注目度）: 69.10072367807095
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The arguably most widely employed algorithm to train deep neural networks with Differential Privacy is DPSGD, which requires clipping and noising of per-sample gradients. This introduces a reduction in model utility compared to non-private training. Empirically, it can be observed that this accuracy degradation is strongly dependent on the model architecture. We investigated this phenomenon and, by combining components which exhibit good individual performance, distilled a new model architecture termed SmoothNet, which is characterised by increased robustness to the challenges of DP-SGD training. Experimentally, we benchmark SmoothNet against standard architectures on two benchmark datasets and observe that our architecture outperforms others, reaching an accuracy of 73.5\% on CIFAR-10 at $\varepsilon=7.0$ and 69.2\% at $\varepsilon=7.0$ on ImageNette, a state-of-the-art result compared to prior architectural modifications for DP.
• Abstract（参考訳）: 差分プライバシを持つディープニューラルネットワークをトレーニングするために最も広く使用されているアルゴリズムは、サンプル毎の勾配のクリッピングとノージングを必要とするdpsgdである。 これにより、非プライベートトレーニングに比べてモデルユーティリティが削減される。 経験的に、この精度の劣化がモデルアーキテクチャに強く依存していることが観察できる。 この現象を調査し,個々の性能を示す成分を組み合わせることで,dp-sgdトレーニングの課題に対する頑健性の向上を特徴とする,smoothnetと呼ばれる新しいモデルアーキテクチャを蒸留した。 実験では,2つのベンチマークデータセットの標準アーキテクチャに対してSmoothNetをベンチマークし,CIFAR-10の精度を$\varepsilon=7.0$で73.5\%,ImageNetteの$\varepsilon=7.0$で69.2\%とした。

関連論文リスト

• Multi-conditioned Graph Diffusion for Neural Architecture Search [8.290336491323796]
  本稿では、離散的な条件付きグラフ拡散プロセスを用いて、高性能ニューラルネットワークアーキテクチャを生成するグラフ拡散に基づくNAS手法を提案する。 6つの標準ベンチマークで有望な結果を示し、新しいアーキテクチャとユニークなアーキテクチャを高速に実現します。
  論文  参考訳（メタデータ） (2024-03-09T21:45:31Z)
• Equivariant Differentially Private Deep Learning: Why DP-SGD Needs Sparser Models [7.49320945341034]
  小型で効率的なアーキテクチャ設計は、計算要求がかなり少ない最先端のモデルよりも優れていることを示す。 私たちの結果は、パラメータを最適に活用する効率的なモデルアーキテクチャへの一歩です。
  論文  参考訳（メタデータ） (2023-01-30T17:43:47Z)
• Pushing the Efficiency Limit Using Structured Sparse Convolutions [82.31130122200578]
  本稿では,画像の固有構造を利用して畳み込みフィルタのパラメータを削減する構造的スパース畳み込み(SSC)を提案する。 我々は、SSCが効率的なアーキテクチャにおける一般的なレイヤ(奥行き、グループ回り、ポイント回りの畳み込み)の一般化であることを示す。 SSCに基づくアーキテクチャは、CIFAR-10、CIFAR-100、Tiny-ImageNet、ImageNet分類ベンチマークのベースラインと比較して、最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2022-10-23T18:37:22Z)
• Kernel Normalized Convolutional Networks for Privacy-Preserving Machine Learning [7.384030323608299]
  本稿では,レイヤ正規化(LayerNorm),グループ正規化(GroupNorm),最近提案されたカーネル正規化(KernelNorm)をFLおよびDP設定で比較する。 LayerNormとGroupNormは、浅いモデルのベースライン(すなわち正規化なし)と比べてパフォーマンスが向上しないが、より深いモデルの性能を大幅に向上させる。 一方、KernelNormは、浅層モデルと深層モデルの両方において、精度と収束率(または通信効率)という点で、競合他社を著しく上回っている。
  論文  参考訳（メタデータ） (2022-09-30T19:33:53Z)
• Efficient Deep Learning Methods for Identification of Defective Casting Products [0.0]
  本稿では,事前学習型およびカスタムビルド型AIアーキテクチャを比較し,比較した。 その結果、カスタムアーキテクチャは、事前訓練済みのモバイルアーキテクチャよりも効率的であることがわかった。 モデルをより堅牢で一般化可能にするため、カスタムアーキテクチャ上で拡張実験も実施されている。
  論文  参考訳（メタデータ） (2022-05-14T19:35:05Z)
• ZARTS: On Zero-order Optimization for Neural Architecture Search [94.41017048659664]
  微分可能なアーキテクチャサーチ (DARTS) は、NASの高効率性のため、一般的なワンショットパラダイムである。 この作業はゼロオーダーの最適化に変わり、上記の近似を強制せずに探索するための新しいNASスキームであるZARTSを提案する。 特に、12ベンチマークの結果は、DARTSの性能が低下するZARTSの顕著な堅牢性を検証する。
  論文  参考訳（メタデータ） (2021-10-10T09:35:15Z)
• NAS-OoD: Neural Architecture Search for Out-of-Distribution Generalization [23.859795806659395]
  我々は、OoD一般化のための堅牢なニューラルネットワーク探索(NAS-OoD)を提案する。 NAS-OoDは、パラメータ数がはるかに少ないディープモデルを持つ様々なOoD一般化ベンチマークにおいて、優れた性能を達成する。 実業界データセットでは,NAS-OoD法は最先端手法と比較して誤差率を70%以上削減する。
  論文  参考訳（メタデータ） (2021-09-05T10:23:29Z)
• ANNETTE: Accurate Neural Network Execution Time Estimation with Stacked Models [56.21470608621633]
  本稿では,アーキテクチャ検索を対象ハードウェアから切り離すための時間推定フレームワークを提案する。 提案手法は,マイクロカーネルと多層ベンチマークからモデルの集合を抽出し,マッピングとネットワーク実行時間推定のためのスタックモデルを生成する。 生成した混合モデルの推定精度と忠実度, 統計モデルとルーフラインモデル, 評価のための洗練されたルーフラインモデルを比較した。
  論文  参考訳（メタデータ） (2021-05-07T11:39:05Z)
• FBNetV3: Joint Architecture-Recipe Search using Predictor Pretraining [65.39532971991778]
  サンプル選択とランキングの両方を導くことで、アーキテクチャとトレーニングのレシピを共同でスコアする精度予測器を提案する。 高速な進化的検索をCPU分で実行し、さまざまなリソース制約に対するアーキテクチャと準備のペアを生成します。 FBNetV3は最先端のコンパクトニューラルネットワークのファミリーを構成しており、自動と手動で設計された競合より優れている。
  論文  参考訳（メタデータ） (2020-06-03T05:20:21Z)
• A Semi-Supervised Assessor of Neural Architectures [157.76189339451565]
  我々は、ニューラルネットワークの有意義な表現を見つけるためにオートエンコーダを用いる。 アーキテクチャの性能を予測するために、グラフ畳み込みニューラルネットワークを導入する。
  論文  参考訳（メタデータ） (2020-05-14T09:02:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。