論文の概要: The effect of Leaky ReLUs on the training and generalization of
overparameterized networks
- arxiv url: http://arxiv.org/abs/2402.11942v3
- Date: Sun, 25 Feb 2024 14:46:07 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-27 23:50:49.418700
- Title: The effect of Leaky ReLUs on the training and generalization of
overparameterized networks
- Title（参考訳）: 過パラメータネットワークのトレーニングと一般化におけるLeaky ReLUsの効果
- Authors: Yinglong Guo, Shaohan Li, Gilad Lerman
- Abstract要約: 絶対値活性化関数に対応する$alpha =-1$は、トレーニングエラー境界に対して最適であることを示す。
数値実験は、理論によって導かれる実践的な選択を実証的に支持する。
- 参考スコア（独自算出の注目度）: 12.630316710142413
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We investigate the training and generalization errors of overparameterized
neural networks (NNs) with a wide class of leaky rectified linear unit (ReLU)
functions. More specifically, we carefully upper bound both the convergence
rate of the training error and the generalization error of such NNs and
investigate the dependence of these bounds on the Leaky ReLU parameter,
$\alpha$. We show that $\alpha =-1$, which corresponds to the absolute value
activation function, is optimal for the training error bound. Furthermore, in
special settings, it is also optimal for the generalization error bound.
Numerical experiments empirically support the practical choices guided by the
theory.
- Abstract（参考訳）: 本稿では,オーバーパラメータ付きニューラルネットワーク(nns)の学習と一般化誤差について,リーク正規化線形単位(relu)関数を用いた検討を行う。
具体的には、トレーニングエラーの収束率とこれらのNNの一般化誤差の両方を慎重に上限付けし、Leaky ReLU パラメータ $\alpha$ に対するこれらの境界の依存性を調べる。
絶対値活性化関数に対応する$\alpha =-1$は、トレーニングエラー境界に対して最適であることを示す。
さらに、特別な設定では、一般化誤差境界にも最適である。
数値実験は、理論によって導かれる実践的な選択を実証的に支持する。
関連論文リスト
- Error Feedback under $(L_0,L_1)$-Smoothness: Normalization and Momentum [56.37522020675243]
機械学習の幅広い問題にまたがる正規化誤差フィードバックアルゴリズムに対する収束の最初の証明を提供する。
提案手法では,許容可能なステップサイズが大きくなったため,新しい正規化エラーフィードバックアルゴリズムは,各種タスクにおける非正規化エラーよりも優れていた。
論文 参考訳（メタデータ） (2024-10-22T10:19:27Z) - Modify Training Directions in Function Space to Reduce Generalization
Error [9.821059922409091]
本稿では,ニューラルネットワーク関数空間におけるニューラルタンジェントカーネルとフィッシャー情報行列の固有分解に基づく自然勾配降下法を提案する。
固有分解と統計理論から理論的手法を用いて学習したニューラルネットワーク関数の一般化誤差を明示的に導出する。
論文 参考訳（メタデータ） (2023-07-25T07:11:30Z) - Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。
よりスムーズな関数との補間により、より一般化できることを示す。
論文 参考訳（メタデータ） (2023-05-30T19:37:44Z) - Generalization Analysis for Contrastive Representation Learning [80.89690821916653]
既存の一般化誤差境界は負の例の数$k$に線形に依存する。
対数項まで$k$に依存しないコントラスト学習のための新しい一般化境界を確立する。
論文 参考訳（メタデータ） (2023-02-24T01:03:56Z) - Do highly over-parameterized neural networks generalize since bad
solutions are rare? [0.0]
学習のための経験的リスク最小化(ERM)は、トレーニングエラーをゼロにする。
ある条件下では、エプシロンよりも大きい真の誤差を持つ「悪い」大域最小値の分数は、訓練データ n の個数で指数関数的にゼロになる。
論文 参考訳（メタデータ） (2022-11-07T14:02:07Z) - Instance-Dependent Generalization Bounds via Optimal Transport [51.71650746285469]
既存の一般化境界は、現代のニューラルネットワークの一般化を促進する重要な要因を説明することができない。
データ空間における学習予測関数の局所リプシッツ正則性に依存するインスタンス依存の一般化境界を導出する。
ニューラルネットワークに対する一般化境界を実験的に解析し、有界値が有意義であることを示し、トレーニング中の一般的な正規化方法の効果を捉える。
論文 参考訳（メタデータ） (2022-11-02T16:39:42Z) - Predicting Unreliable Predictions by Shattering a Neural Network [145.3823991041987]
線形ニューラルネットワークは、サブファンクションに分割することができる。
サブファンクションは、独自のアクティベーションパターン、ドメイン、経験的エラーを持っている。
完全なネットワークに対する経験的エラーは、サブファンクションに対する期待として記述できる。
論文 参考訳（メタデータ） (2021-06-15T18:34:41Z) - Double Descent and Other Interpolation Phenomena in GANs [2.7007335372861974]
生成逆数ネットワーク(GAN)における潜在空間次元の関数としての一般化誤差について検討する。
そこで我々は,実出力サンプルと組み合わせて,一対の合成(雑音)入力を利用するGANのための新しい擬似教師付き学習手法を開発した。
解析は主に線形モデルに焦点をあてるが、非線形多層GANの一般化に重要な洞察を与える。
論文 参考訳（メタデータ） (2021-06-07T23:07:57Z) - Understanding and Mitigating the Tradeoff Between Robustness and
Accuracy [88.51943635427709]
逆行訓練は、堅牢なエラーを改善するために、摂動でトレーニングセットを増強する。
拡張摂動が最適線形予測器からノイズのない観測を行う場合であっても,標準誤差は増大する可能性がある。
論文 参考訳（メタデータ） (2020-02-25T08:03:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。