論文の概要: Differentially private training of residual networks with scale normalisation

• arxiv url: http://arxiv.org/abs/2203.00324v1
• Date: Tue, 1 Mar 2022 09:56:55 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-02 20:19:50.573644
• Title: Differentially private training of residual networks with scale normalisation
• Title（参考訳）: スケール正規化を伴う残留ネットワークの差分プライベートトレーニング
• Authors: Helena Klause, Alexander Ziller, Daniel Rueckert, Kerstin Hammernik, Georgios Kaissis
• Abstract要約: 残差ネットワーク(ResNets)におけるバッチ正規化(BN)置換層の最適選択について検討する。 残差ブロックにおけるスケールミキシング現象について検討し、2つの枝の活性化を異なるスケールで行う。
• 参考スコア（独自算出の注目度）: 64.60453677988517
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We investigate the optimal choice of replacement layer for Batch Normalisation (BN) in residual networks (ResNets) for training with Differentially Private Stochastic Gradient Descent (DP-SGD) and study the phenomenon of scale mixing in residual blocks, whereby the activations on the two branches are scaled differently. Our experimental evaluation indicates that a hyperparameter search over 1-64 Group Normalisation (GN) groups improves the accuracy of ResNet-9 and ResNet-50 considerably in both benchmark (CIFAR-10) and large-image (ImageNette) tasks. Moreover, Scale Normalisation, a simple modification to the model architecture by which an additional normalisation layer is introduced after the residual block's addition operation further improves the utility of ResNets allowing us to achieve state-of-the-art results on CIFAR-10.
• Abstract（参考訳）: 差動的確率的勾配降下(dp-sgd)を訓練するための残差ネットワーク(resnets)におけるバッチ正規化(bn)のための置換層の選択の最適について検討し,残差ブロックにおけるスケール混合現象について検討した。 実験により,1-64グループ正規化(GN)グループを超えるハイパーパラメータ探索により,ベンチマーク(CIFAR-10)および大画面(ImageNette)タスクにおいて,ResNet-9とResNet-50の精度が大幅に向上することが示された。 さらに、残留ブロックの追加操作後に追加の正規化層が導入されるモデルアーキテクチャの簡易な修正であるスケール正規化により、CIFAR-10における最先端結果の達成を可能にするResNetsの有用性がさらに向上する。

関連論文リスト

• FGGP: Fixed-Rate Gradient-First Gradual Pruning [2.0940682212182975]
  パラメータ選択のための勾配第一等級戦略を導入し、これらのステップ間の固定レート選択基準がより有効であることを示す。 提案手法は, 上述の実験条件のほとんどにおいて, 最先端の代替品よりも高い性能を示す。
  論文  参考訳（メタデータ） (2024-11-08T12:02:25Z)
• Concurrent Training and Layer Pruning of Deep Neural Networks [0.0]
  トレーニングの初期段階において、ニューラルネットワークの無関係な層を特定し、排除できるアルゴリズムを提案する。 本研究では,非線形区間を切断した後にネットワークを流れる情報の流れを,非線形ネットワーク区間の周囲の残差接続を用いた構造を用いる。
  論文  参考訳（メタデータ） (2024-06-06T23:19:57Z)
• Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
  画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。 本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。 本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
  論文  参考訳（メタデータ） (2023-03-16T21:06:13Z)
• WLD-Reg: A Data-dependent Within-layer Diversity Regularizer [98.78384185493624]
  ニューラルネットワークは、勾配に基づく最適化と共同で訓練された階層構造に配置された複数の層で構成されている。 我々は、この従来の「中間層」フィードバックを補うために、同じ層内での活性化の多様性を促進するために、追加の「中間層」フィードバックを補うことを提案する。 本稿では,提案手法が複数のタスクにおける最先端ニューラルネットワークモデルの性能を向上させることを実証した広範な実証研究を提案する。
  論文  参考訳（メタデータ） (2023-01-03T20:57:22Z)
• Pruning Neural Networks with Interpolative Decompositions [5.377278489623063]
  本稿では,ニューラルネットワークのプルーニングに対する原理的アプローチを導入し,その問題を低ランク行列近似として定式化する。 まず、プリミティブのセットを構築して、1つの完全に接続された畳み込み層をプルークする方法を実証する。 我々は,CIFAR-10上でVGG-16を用いて93.62$pm$0.36%の精度を実現し,FLOPSを51%削減した。
  論文  参考訳（メタデータ） (2021-07-30T20:13:49Z)
• Progressively Guided Alternate Refinement Network for RGB-D Salient Object Detection [63.18846475183332]
  我々は,RGB-Dの高次物体検出のための効率的かつコンパクトなディープネットワークを開発することを目指している。 そこで本研究では,改良のための改良ネットワークを提案する。 我々のモデルは、既存の最先端のアプローチよりも大きなマージンで優れています。
  論文  参考訳（メタデータ） (2020-08-17T02:55:06Z)
• Convolutional Neural Network Training with Distributed K-FAC [14.2773046188145]
  Kronecker-factored Approximate Curvature (K-FAC)はFisher Information Matrixの近似として最近提案されている。 本稿では、大規模畳み込みニューラルネットワーク(CNN)トレーニングにおけるスケーラブルなK-FAC設計とその適用性について検討する。
  論文  参考訳（メタデータ） (2020-07-01T22:00:53Z)
• Optimization Theory for ReLU Neural Networks Trained with Normalization Layers [82.61117235807606]
  ディープニューラルネットワークの成功は、部分的には正規化レイヤの使用によるものだ。 我々の分析は、正規化の導入がランドスケープをどのように変化させ、より高速なアクティベーションを実現するかを示している。
  論文  参考訳（メタデータ） (2020-06-11T23:55:54Z)
• Iterative Network for Image Super-Resolution [69.07361550998318]
  単一画像超解像(SISR)は、最近の畳み込みニューラルネットワーク(CNN)の発展により、大幅に活性化されている。 本稿では、従来のSISRアルゴリズムに関する新たな知見を提供し、反復最適化に依存するアプローチを提案する。 反復最適化の上に,新しい反復型超解像ネットワーク (ISRN) を提案する。
  論文  参考訳（メタデータ） (2020-05-20T11:11:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。