論文の概要: The Efficacy of $L_1$ Regularization in Two-Layer Neural Networks

• arxiv url: http://arxiv.org/abs/2010.01048v1
• Date: Fri, 2 Oct 2020 15:23:22 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-12 00:50:03.296489
• Title: The Efficacy of $L_1$ Regularization in Two-Layer Neural Networks
• Title（参考訳）: 2層ニューラルネットワークにおける$L_1$正規化の有効性
• Authors: Gen Li, Yuantao Gu, Jie Ding
• Abstract要約: ニューラルネットワークにおける重要な問題は、最も適切な数の隠れたニューロンを選択し、厳密な統計的リスク境界を得ることである。 我々は、$L_1$正規化が一般化誤差を制御し、入力次元を分散させることができることを示す。 過剰な数のニューロンは、必ずしも適切な正規化の下で一般化誤差を増大させるとは限らない。
• 参考スコア（独自算出の注目度）: 36.753907384994704
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A crucial problem in neural networks is to select the most appropriate number of hidden neurons and obtain tight statistical risk bounds. In this work, we present a new perspective towards the bias-variance tradeoff in neural networks. As an alternative to selecting the number of neurons, we theoretically show that $L_1$ regularization can control the generalization error and sparsify the input dimension. In particular, with an appropriate $L_1$ regularization on the output layer, the network can produce a statistical risk that is near minimax optimal. Moreover, an appropriate $L_1$ regularization on the input layer leads to a risk bound that does not involve the input data dimension. Our analysis is based on a new amalgamation of dimension-based and norm-based complexity analysis to bound the generalization error. A consequent observation from our results is that an excessively large number of neurons do not necessarily inflate generalization errors under a suitable regularization.
• Abstract（参考訳）: ニューラルネットワークの重要な問題は、最も適切な数の隠れたニューロンを選択し、密接な統計上のリスク境界を得ることである。 本研究では,ニューラルネットワークにおけるバイアス分散トレードオフに対する新たな視点を示す。 ニューロン数の選択の代替として、$L_1$正規化が一般化誤差を制御し、入力次元をスパース化できることを示す。 特に、出力層上で適切な$L_1$正規化を行うことで、ネットワークは最小値に近い統計的リスクを生み出すことができる。 さらに、入力層上の適切な$L_1$正規化は、入力データ次元を含まないリスクバウンドにつながる。 本解析は一般化誤差を限定する次元ベースおよびノルムベース複雑性解析の新しい融合に基づいている。 以上の結果から, 過剰な数のニューロンが適切な正規化下では, 必ずしも一般化誤差を膨らませることはないという結論を得た。

関連論文リスト

• Optimized classification with neural ODEs via separability [0.0]
  ニューラル常微分方程式(ニューラルODE)のレンズを通して見た場合、N$点の分類は同時制御問題となる 本研究では,効率的なクラスタ分類に必要なニューロン数を推定することに焦点を当てた。 我々は任意の初期設定から$d$ポイントのクラスタを同時に分類する新しい構成的アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-12-21T12:56:40Z)
• Learning Low Dimensional State Spaces with Overparameterized Recurrent Neural Nets [57.06026574261203]
  我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。 実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2022-10-25T14:45:15Z)
• Normalization effects on deep neural networks [20.48472873675696]
  ニューラルネットワークの出力の統計的挙動に対する$gamma_i$の選択の影響について検討する。 ニューラルネットワークの出力とテスト精度のばらつきの観点からは、$gamma_i$sを1にすることを選択すべきである。
  論文  参考訳（メタデータ） (2022-09-02T17:05:55Z)
• On the Effective Number of Linear Regions in Shallow Univariate ReLU Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
  我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。 我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
  論文  参考訳（メタデータ） (2022-05-18T16:57:10Z)
• Why Lottery Ticket Wins? A Theoretical Perspective of Sample Complexity on Pruned Neural Networks [79.74580058178594]
  目的関数の幾何学的構造を解析することにより、刈り取られたニューラルネットワークを訓練する性能を解析する。 本稿では,ニューラルネットワークモデルがプルーニングされるにつれて,一般化が保証された望ましいモデル近傍の凸領域が大きくなることを示す。
  論文  参考訳（メタデータ） (2021-10-12T01:11:07Z)
• The Separation Capacity of Random Neural Networks [78.25060223808936]
  標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。 我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
  論文  参考訳（メタデータ） (2021-07-31T10:25:26Z)
• The Rate of Convergence of Variation-Constrained Deep Neural Networks [35.393855471751756]
  変動制約のあるニューラルネットワークのクラスは、任意に小さな定数$delta$に対して、ほぼパラメトリックレート$n-1/2+delta$を達成することができることを示す。 その結果、滑らかな関数の近似に必要な神経機能空間は、しばしば知覚されるものほど大きくない可能性が示唆された。
  論文  参考訳（メタデータ） (2021-06-22T21:28:00Z)
• Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
  現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。 ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。 本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-06T19:08:53Z)
• An efficient projection neural network for $\ell_1$-regularized logistic regression [10.517079029721257]
  本稿では, $ell_$-regularized logistics regression のための単純な投影ニューラルネットワークを提案する。 提案したニューラルネットワークは、余分な補助変数や滑らかな近似を必要としない。 また、リアプノフ理論を用いて、提案したニューラルネットワークの収束について検討し、任意の初期値を持つ問題の解に収束することを示す。
  論文  参考訳（メタデータ） (2021-05-12T06:13:44Z)
• Normalization effects on shallow neural networks and related asymptotic expansions [20.48472873675696]
  特に、ニューラルネットワークの正規化に繋がる異なるスケーリングスキームが、ネットワークの統計的出力に与える影響について検討する。 我々は、隠れたユニットの数が無限に増加するにつれて、スケーリングパラメータに関して、ニューラルネットワークの統計的出力をポイントワイズに拡張する。 我々は,ニューラルネットワークの統計的出力のばらつきが,平均場正規化に近づくにつれて,$N$で先行する傾向を示す。
  論文  参考訳（メタデータ） (2020-11-20T16:33:28Z)
• Measuring Model Complexity of Neural Networks with Curve Activation Functions [100.98319505253797]
  本稿では,線形近似ニューラルネットワーク(LANN)を提案する。 ニューラルネットワークのトレーニングプロセスを実験的に検討し、オーバーフィッティングを検出する。 我々は、$L1$と$L2$正規化がモデルの複雑さの増加を抑制することを発見した。
  論文  参考訳（メタデータ） (2020-06-16T07:38:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。