論文の概要: Increasing Depth Leads to U-Shaped Test Risk in Over-parameterized Convolutional Networks

• arxiv url: http://arxiv.org/abs/2010.09610v2
• Date: Fri, 4 Jun 2021 21:57:42 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-05 21:05:35.280571
• Title: Increasing Depth Leads to U-Shaped Test Risk in Over-parameterized Convolutional Networks
• Title（参考訳）: 過パラメータ畳み込みネットワークにおけるU字型テストリスクの増大
• Authors: Eshaan Nichani, Adityanarayanan Radhakrishnan, Caroline Uhler
• Abstract要約: 幅によるモデルキャパシティの増大は、ニューラルネットワークのテストリスクの低下につながる。 しかし、ニューラルネットワークの場合、モデルキャパシティは深さを通じて増大する可能性があるが、テストリスクに対する深度の増加の影響を理解することは、未解決の問題である。 本稿では,テストリスクに対する深さの影響を特徴付けるための新しい線形回帰フレームワークを提案し,深さの増加が線形CNTKのU字型テストリスクにつながることを示す。
• 参考スコア（独自算出の注目度）: 8.380514397417457
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent works have demonstrated that increasing model capacity through width in over-parameterized neural networks leads to a decrease in test risk. For neural networks, however, model capacity can also be increased through depth, yet understanding the impact of increasing depth on test risk remains an open question. In this work, we demonstrate that the test risk of over-parameterized convolutional networks is a U-shaped curve (i.e. monotonically decreasing, then increasing) with increasing depth. We first provide empirical evidence for this phenomenon via image classification experiments using both ResNets and the convolutional neural tangent kernel (CNTK). We then present a novel linear regression framework for characterizing the impact of depth on test risk, and show that increasing depth leads to a U-shaped test risk for the linear CNTK. In particular, we prove that the linear CNTK corresponds to a depth-dependent linear transformation on the original space and characterize properties of this transformation. We then analyze over-parameterized linear regression under arbitrary linear transformations and, in simplified settings, provably identify the depths which minimize each of the bias and variance terms of the test risk.
• Abstract（参考訳）: 近年の研究では、過パラメータニューラルネットワークの幅によるモデル容量の増加が、テストリスクの低下につながることが示されている。 しかし、ニューラルネットワークの場合、モデルキャパシティは深さを通じて増大する可能性があるが、テストリスクに対する深度の増加の影響を理解することは、未解決の問題である。 本研究では, 過パラメータ化畳み込みネットワークのテストリスクが, 深さの増加とともにu字型曲線(単調に減少し, 増大する)であることを実証する。 まず,resnets と convolutional neural tangent kernel (cntk) を用いた画像分類実験により,この現象の実証的証拠を提供する。 次に, 深さがテストリスクに与える影響を特徴付ける新しい線形回帰フレームワークを提案し, 深さの増加がリニアcntkのu字型テストリスクをもたらすことを示した。 特に、線形 CNTK は元の空間上の深さ依存線形変換に対応し、この変換の特性を特徴づける。 次に,任意の線形変換の下での過剰パラメータ付き線形回帰を解析し,簡易な設定でテストリスクのバイアスと分散項を最小化する深さを同定する。

関連論文リスト

• Convergence Analysis for Learning Orthonormal Deep Linear Neural Networks [27.29463801531576]
  本稿では,正規直交深部線形ニューラルネットワークの学習のための収束解析について述べる。 その結果、隠れた層の増加が収束速度にどのように影響するかが明らかになった。
  論文  参考訳（メタデータ） (2023-11-24T18:46:54Z)
• Feature Learning and Generalization in Deep Networks with Orthogonal Weights [1.7956122940209063]
  独立なガウス分布からの数値的な重みを持つディープニューラルネットワークは臨界に調整することができる。 これらのネットワークは、ネットワークの深さとともに線形に成長する変動を示す。 行列のアンサンブルから得られるタン・アクティベーションと重みを持つ長方形のネットワークが、それに対応する事前アクティベーション・揺らぎを持つことを示す。
  論文  参考訳（メタデータ） (2023-10-11T18:00:02Z)
• From Complexity to Clarity: Analytical Expressions of Deep Neural Network Weights via Clifford's Geometric Algebra and Convexity [54.01594785269913]
  我々は,標準正規化損失のトレーニングにおいて,深部ReLUニューラルネットワークの最適重みがトレーニングサンプルのウェッジ積によって与えられることを示した。 トレーニング問題は、トレーニングデータセットの幾何学的構造をエンコードするウェッジ製品機能よりも凸最適化に還元される。
  論文  参考訳（メタデータ） (2023-09-28T15:19:30Z)
• Stabilizing RNN Gradients through Pre-training [3.335932527835653]
  学習理論は、勾配が深さや時間で指数関数的に成長するのを防ぎ、トレーニングを安定させ改善することを提案する。 我々は、既知の安定性理論を拡張し、データとパラメータの分布について最小限の仮定を必要とするディープ・リカレント・ネットワークの幅広いファミリーを包含する。 本稿では,この問題を緩和するための新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2023-08-23T11:48:35Z)
• Bayesian Interpolation with Deep Linear Networks [92.1721532941863]
  ニューラルネットワークの深さ、幅、データセットサイズがモデル品質にどう影響するかを特徴付けることは、ディープラーニング理論における中心的な問題である。 線形ネットワークが無限深度で証明可能な最適予測を行うことを示す。 また、データに依存しない先行法により、広い線形ネットワークにおけるベイズ模型の証拠は無限の深さで最大化されることを示す。
  論文  参考訳（メタデータ） (2022-12-29T20:57:46Z)
• Learning Low Dimensional State Spaces with Overparameterized Recurrent Neural Nets [57.06026574261203]
  我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。 実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2022-10-25T14:45:15Z)
• Efficient NTK using Dimensionality Reduction [5.025654873456756]
  そこで本研究では,事前解析により得られた課題に対して,トレーニングや推論リソースのコストを低減しつつ,保証を得る方法について述べる。 より一般的には、高密度線形層を低複雑性因子化に置き換えた大きな幅ネットワークを解析する方法が提案されている。
  論文  参考訳（メタデータ） (2022-10-10T16:11:03Z)
• The Interplay Between Implicit Bias and Benign Overfitting in Two-Layer Linear Networks [51.1848572349154]
  ノイズの多いデータに完全に適合するニューラルネットワークモデルは、見当たらないテストデータにうまく一般化できる。 我々は,2層線形ニューラルネットワークを2乗損失の勾配流で補間し,余剰リスクを導出する。
  論文  参考訳（メタデータ） (2021-08-25T22:01:01Z)
• Attribute-Guided Adversarial Training for Robustness to Natural Perturbations [64.35805267250682]
  本稿では,属性空間への分類器の露出を最大化するために,新しいサンプルを生成することを学習する逆学習手法を提案する。 我々のアプローチは、ディープニューラルネットワークが自然に発生する摂動に対して堅牢であることを可能にする。
  論文  参考訳（メタデータ） (2020-12-03T10:17:30Z)
• DL-Reg: A Deep Learning Regularization Technique using Linear Regression [4.1359299555083595]
  本稿では,DL-Regと呼ばれる新しいディープラーニング正規化手法を提案する。 ネットワークをできるだけ線形に振る舞うように明示的に強制することで、ディープネットワークの非線形性をある程度まで慎重に減少させる。 DL-Regの性能は、いくつかのベンチマークデータセット上で最先端のディープネットワークモデルをトレーニングすることで評価される。
  論文  参考訳（メタデータ） (2020-10-31T21:53:24Z)
• Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
  本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
  論文  参考訳（メタデータ） (2020-07-03T01:37:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。