論文の概要: Regularization in ResNet with Stochastic Depth

• arxiv url: http://arxiv.org/abs/2106.03091v1
• Date: Sun, 6 Jun 2021 10:56:54 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-08 18:35:09.718266
• Title: Regularization in ResNet with Stochastic Depth
• Title（参考訳）: 確率深さResNetにおける正規化
• Authors: Soufiane Hayou, Fadhel Ayed
• Abstract要約: 残留ニューラルネットワーク(ResNets)の代替正則化手法として深度(SD)が登場した 本稿では,SDの異なる正則化効果について,摂動解析と信号伝搬を組み合わせたハイブリッド解析を行った。
• 参考スコア（独自算出の注目度）: 4.061135251278187
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Regularization plays a major role in modern deep learning. From classic techniques such as L1,L2 penalties to other noise-based methods such as Dropout, regularization often yields better generalization properties by avoiding overfitting. Recently, Stochastic Depth (SD) has emerged as an alternative regularization technique for residual neural networks (ResNets) and has proven to boost the performance of ResNet on many tasks [Huang et al., 2016]. Despite the recent success of SD, little is known about this technique from a theoretical perspective. This paper provides a hybrid analysis combining perturbation analysis and signal propagation to shed light on different regularization effects of SD. Our analysis allows us to derive principled guidelines for choosing the survival rates used for training with SD.
• Abstract（参考訳）: 正規化は現代のディープラーニングにおいて重要な役割を果たす。 L1,L2のような古典的な手法やDropoutのようなノイズベースの手法から、正規化はオーバーフィッティングを避けることでより良い一般化特性をもたらす。 近年,残留ニューラルネットワーク(ResNets)の代替正規化手法としてStochastic Depth(SD)が登場し,多くのタスク(Huang et al., 2016)におけるResNetの性能向上が証明されている。 近年のSDの成功にもかかわらず、理論的な観点からこの技術についてはほとんど知られていない。 本稿では,sdの異なる正規化効果について,摂動解析と信号伝搬を組み合わせたハイブリッド解析を行う。 本分析により,SDのトレーニングに使用する生存率を選択するための原則的ガイドラインを導出できる。

関連論文リスト

• Domain Generalization Guided by Gradient Signal to Noise Ratio of Parameters [69.24377241408851]
  ソースドメインへのオーバーフィッティングは、ディープニューラルネットワークの勾配に基づくトレーニングにおいて一般的な問題である。 本稿では,ネットワークパラメータの勾配-信号-雑音比(GSNR)を選択することを提案する。
  論文  参考訳（メタデータ） (2023-10-11T10:21:34Z)
• Stability and Generalization Analysis of Gradient Methods for Shallow Neural Networks [59.142826407441106]
  本稿では,アルゴリズム安定性の概念を活用して,浅層ニューラルネットワーク(SNN)の一般化挙動について検討する。 我々は、SNNを訓練するために勾配降下(GD)と勾配降下(SGD)を考慮する。
  論文  参考訳（メタデータ） (2022-09-19T18:48:00Z)
• Learning Dynamics and Generalization in Reinforcement Learning [59.530058000689884]
  時間差学習は, エージェントが訓練の初期段階において, 値関数の非平滑成分を適合させるのに役立つことを理論的に示す。 本研究では,高密度報酬タスクの時間差アルゴリズムを用いて学習したニューラルネットワークが,ランダムなネットワークや政策手法で学習した勾配ネットワークよりも,状態間の一般化が弱いことを示す。
  論文  参考訳（メタデータ） (2022-06-05T08:49:16Z)
• Adversarial Robustness via Fisher-Rao Regularization [33.134075068748984]
  適応的堅牢性は、機械学習への関心の高まりのトピックとなっている。 火はカテゴリーのクロスエントロピー損失に対する新しいフィッシャー・ラオ正規化である。
  論文  参考訳（メタデータ） (2021-06-12T04:12:58Z)
• Sparsity Aware Normalization for GANs [32.76828505875087]
  GAN(Generative adversarial Network)は、トレーニング中の批判的(差別的)ネットワークの正規化または正規化の恩恵を受けることが知られている。 本稿では,一般のスペクトル正規化スキームを分析し,有意な欠点を見つけ,GANトレーニングの安定化のための新たなアプローチであるスパーシャリティ認識正規化(SAN)を導入する。
  論文  参考訳（メタデータ） (2021-03-03T15:05:18Z)
• DL-Reg: A Deep Learning Regularization Technique using Linear Regression [4.1359299555083595]
  本稿では,DL-Regと呼ばれる新しいディープラーニング正規化手法を提案する。 ネットワークをできるだけ線形に振る舞うように明示的に強制することで、ディープネットワークの非線形性をある程度まで慎重に減少させる。 DL-Regの性能は、いくつかのベンチマークデータセット上で最先端のディープネットワークモデルをトレーニングすることで評価される。
  論文  参考訳（メタデータ） (2020-10-31T21:53:24Z)
• Kernel-Based Smoothness Analysis of Residual Networks [85.20737467304994]
  ResNets(Residual Networks)は、これらの強力なモダンアーキテクチャの中でも際立っている。 本稿では,2つのモデル,すなわちResNetsが勾配よりもスムーズな傾向を示す。
  論文  参考訳（メタデータ） (2020-09-21T16:32:04Z)
• On Connections between Regularizations for Improving DNN Robustness [67.28077776415724]
  本稿では,ディープニューラルネットワーク(DNN)の対角的ロバスト性を改善するために最近提案された正規化条件を解析する。 入力勾配正則化,ジャコビアン正則化,曲率正則化,クロスリプシッツ関数など,いくつかの有効な方法間の接続性について検討する。
  論文  参考訳（メタデータ） (2020-07-04T23:43:32Z)
• Revisiting Initialization of Neural Networks [72.24615341588846]
  ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。 Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
  論文  参考訳（メタデータ） (2020-04-20T18:12:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。