論文の概要: Overcoming Overfitting and Large Weight Update Problem in Linear Rectifiers: Thresholded Exponential Rectified Linear Units

• arxiv url: http://arxiv.org/abs/2006.02797v1
• Date: Thu, 4 Jun 2020 11:55:47 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-25 08:59:28.391775
• Title: Overcoming Overfitting and Large Weight Update Problem in Linear Rectifiers: Thresholded Exponential Rectified Linear Units
• Title（参考訳）: リニア整流器におけるオーバーフィッティングの克服と大重量更新問題:しきい値付き指数的整流線形単位
• Authors: Vijay Pandey
• Abstract要約: TEELU(Thresholded Indexic rectified linear unit)活性化関数は, オーバーフィッティングの軽減に有効である。 我々は,他のアクティベーションデータセットと比較して,TERELUアクティベーション手法を考慮し,ニューラルネットワークを用いて様々な性能を示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In past few years, linear rectified unit activation functions have shown its significance in the neural networks, surpassing the performance of sigmoid activations. RELU (Nair & Hinton, 2010), ELU (Clevert et al., 2015), PRELU (He et al., 2015), LRELU (Maas et al., 2013), SRELU (Jin et al., 2016), ThresholdedRELU, all these linear rectified activation functions have its own significance over others in some aspect. Most of the time these activation functions suffer from bias shift problem due to non-zero output mean, and high weight update problem in deep complex networks due to unit gradient, which results in slower training, and high variance in model prediction respectively. In this paper, we propose, "Thresholded exponential rectified linear unit" (TERELU) activation function that works better in alleviating in overfitting: large weight update problem. Along with alleviating overfitting problem, this method also gives good amount of non-linearity as compared to other linear rectifiers. We will show better performance on the various datasets using neural networks, considering TERELU activation method compared to other activations.
• Abstract（参考訳）: 過去数年間、線形整流単位活性化関数はニューラルネットワークにおいてその重要性を示し、sgmoidアクティベーションの性能を上回っている。 RELU (Nair & Hinton, 2010), ELU (Clevert et al., 2015), PRELU (He et al., 2015), LRELU (Maas et al., 2013), SRELU (Jin et al., 2016), ThresholdedRELU, これらの線形整形活性化関数は、ある点において他の点よりもそれぞれ重要である。 これらのアクティベーション関数はほとんどの場合、ゼロでない出力平均によるバイアスシフト問題や、単位勾配による深層ネットワークの重み付き更新問題に悩まされ、トレーニングが遅くなり、モデル予測のばらつきが高まる。 本稿では,過剰適合の軽減に有効である「三値指数整合線形単位」(TERELU)の活性化関数を提案する。 オーバーフィッティング問題の緩和とともに、この方法は他の線形整流器と比較して十分な非線形性を与える。 我々は,他のアクティベーションと比較して,TERELUアクティベーション法を考慮し,ニューラルネットワークを用いた各種データセットの性能向上を示す。

関連論文リスト

• Activation function optimization method: Learnable series linear units (LSLUs) [12.089173508371246]
  LSLU (Learnable Series Linear Units) と呼ばれる直列学習可能なac-tivation関数を提案する。 この方法は、精度を向上しつつ、ディープラーニングネットワークを単純化する。 CIFAR10, CIFAR100および特定のタスクデータセット(例えばSilkworm)上でのLSLUの性能を評価する。
  論文  参考訳（メタデータ） (2024-08-28T11:12:27Z)
• Linearization of ReLU Activation Function for Neural Network-Embedded Optimization:Optimal Day-Ahead Energy Scheduling [0.2900810893770134]
  電池劣化ニューラルネットワークに基づくマイクログリッドデイアヘッドエネルギースケジューリングのような応用では、訓練された学習モデルの入力特徴は最適化モデルで解決すべき変数である。 ニューラルネットワークにおける非線形アクティベーション関数の使用は、解けなければそのような問題を極端に解決し難いものにする。 本稿では, 非線形活性化関数を, 広く用いられている整流線形単位(ReLU)関数に着目して線形化する方法について検討した。
  論文  参考訳（メタデータ） (2023-10-03T02:47:38Z)
• Parametric Leaky Tanh: A New Hybrid Activation Function for Deep Learning [0.0]
  活性化機能(AF)はディープニューラルネットワーク(DNN)の重要な構成要素である 本稿では,Tanh と Leaky ReLU の双方の活性化関数の強みを組み合わせたハイブリッド活性化関数を提案する。 PLanh はすべての点で微分可能であり、負の入力に対する非ゼロ勾配を保証することで 'dying ReLU' 問題に対処する。
  論文  参考訳（メタデータ） (2023-08-11T08:59:27Z)
• The Implicit Bias of Minima Stability in Multivariate Shallow ReLU Networks [53.95175206863992]
  本研究では,2次損失を持つ1層多変量ReLUネットワークをトレーニングする際に,勾配勾配勾配が収束する解のタイプについて検討する。 我々は、浅いReLUネットワークが普遍近似器であるにもかかわらず、安定した浅層ネットワークは存在しないことを証明した。
  論文  参考訳（メタデータ） (2023-06-30T09:17:39Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• Theoretical Characterization of the Generalization Performance of Overfitted Meta-Learning [70.52689048213398]
  本稿では,ガウス的特徴を持つ線形回帰モデルの下で,過剰適合型メタラーニングの性能について検討する。 シングルタスク線形回帰には存在しない新しい興味深い性質が見つかる。 本分析は,各訓練課題における基礎的真理のノイズや多様性・変動が大きい場合には,良心過剰がより重要かつ容易に観察できることを示唆する。
  論文  参考訳（メタデータ） (2023-04-09T20:36:13Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Graph-adaptive Rectified Linear Unit for Graph Neural Networks [64.92221119723048]
  グラフニューラルネットワーク(GNN)は、従来の畳み込みを非ユークリッドデータでの学習に拡張することで、目覚ましい成功を収めた。 本稿では,周辺情報を利用した新しいパラメトリックアクティベーション機能であるグラフ適応整流線形ユニット(GRELU)を提案する。 我々は,GNNのバックボーンと様々な下流タスクによって,プラグアンドプレイGRELU法が効率的かつ効果的であることを示す包括的実験を行った。
  論文  参考訳（メタデータ） (2022-02-13T10:54:59Z)
• LiSHT: Non-Parametric Linearly Scaled Hyperbolic Tangent Activation Function for Neural Networks [14.943863837083496]
  我々は,Tanhを線形にスケーリングすることで,ニューラルネットワーク(NN)のための線形スケールハイパーボリックタンジェント(LiSHT)を提案する。 マルチレイヤ・パーセプトロン(MLP)、Residual Network(ResNet)、Long-Short term memory(LSTM)を用いて、データ分類、画像分類、つぶやき分類タスクにおいて優れた性能を示す。
  論文  参考訳（メタデータ） (2019-01-01T02:24:06Z)
• Gaussian Error Linear Units (GELUs) [58.195342948092964]
  本稿では,入力の重み付けを行うニューラルネットワークアクティベーション関数を提案する。 コンピュータビジョン、自然言語処理、音声タスクのすべてにおいて、パフォーマンスが改善されている。
  論文  参考訳（メタデータ） (2016-06-27T19:20:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。