論文の概要: Effects of the Nonlinearity in Activation Functions on the Performance
of Deep Learning Models
- arxiv url: http://arxiv.org/abs/2010.07359v1
- Date: Wed, 14 Oct 2020 18:48:59 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-07 12:45:38.950234
- Title: Effects of the Nonlinearity in Activation Functions on the Performance
of Deep Learning Models
- Title（参考訳）: 深層学習モデルの性能に及ぼす活性化関数の非線形性の影響
- Authors: Nalinda Kulathunga, Nishath Rajiv Ranasinghe, Daniel Vrinceanu,
Zackary Kinsman, Lei Huang, Yunjiao Wang
- Abstract要約: 本稿では、ReLUやL-ReLUを異なるモデルアーキテクチャやデータドメインのアクティベーション関数として使用する際のモデル性能について検討する。
モデル内のトレーニング可能なパラメータの数が比較的少ない場合,L-ReLUの適用はほとんど有効であることがわかった。
さらに, 画像分類モデルはL-ReLUと完全に連結した層でよく機能することがわかった。
- 参考スコア（独自算出の注目度）: 4.628405501302229
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The nonlinearity of activation functions used in deep learning models are
crucial for the success of predictive models. There are several commonly used
simple nonlinear functions, including Rectified Linear Unit (ReLU) and
Leaky-ReLU (L-ReLU). In practice, these functions remarkably enhance the model
accuracy. However, there is limited insight into the functionality of these
nonlinear activation functions in terms of why certain models perform better
than others. Here, we investigate the model performance when using ReLU or
L-ReLU as activation functions in different model architectures and data
domains. Interestingly, we found that the application of L-ReLU is mostly
effective when the number of trainable parameters in a model is relatively
small. Furthermore, we found that the image classification models seem to
perform well with L-ReLU in fully connected layers, especially when pre-trained
models such as the VGG-16 are used for the transfer learning.
- Abstract（参考訳）: ディープラーニングモデルにおける活性化関数の非線形性は予測モデルの成功に不可欠である。
Rectified Linear Unit (ReLU) や Leaky-ReLU (L-ReLU) など、一般的な非線形関数はいくつかある。
実際、これらの機能はモデルの精度を著しく向上させる。
しかし、あるモデルが他のモデルよりも優れた性能を持つ理由に関して、これらの非線形活性化関数の機能についての洞察は限られている。
本稿では、ReLUやL-ReLUを異なるモデルアーキテクチャやデータドメインのアクティベーション機能として使用する際のモデル性能について検討する。
興味深いことに、モデル内のトレーニング可能なパラメータの数が比較的少ない場合、L-ReLUの適用はほとんど効果的であることがわかった。
さらに,VGG-16などの事前学習モデルを用いた場合,画像分類モデルはL-ReLUと完全連結層で良好に機能することがわかった。
関連論文リスト
- Evaluating Model Performance with Hard-Swish Activation Function Adjustments [0.0]
本研究では,ReLU,Swish,Hard-Swishのアクティベーション機能を用いた画像データセット間のモデルの性能評価を行った。
CIFAR-10データセットの精度は2.06%向上し,ATLASデータセットの精度は0.30%向上した。
論文 参考訳（メタデータ） (2024-10-09T13:43:34Z) - Activation function optimization method: Learnable series linear units (LSLUs) [12.089173508371246]
LSLU (Learnable Series Linear Units) と呼ばれる直列学習可能なac-tivation関数を提案する。
この方法は、精度を向上しつつ、ディープラーニングネットワークを単純化する。
CIFAR10, CIFAR100および特定のタスクデータセット(例えばSilkworm)上でのLSLUの性能を評価する。
論文 参考訳（メタデータ） (2024-08-28T11:12:27Z) - A Method on Searching Better Activation Functions [15.180864683908878]
深層ニューラルネットワークにおける静的活性化関数を設計するためのエントロピーに基づくアクティベーション関数最適化(EAFO)手法を提案する。
我々は、CRRELU(Correction Regularized ReLU)として知られるReLUから新しいアクティベーション関数を導出する。
論文 参考訳（メタデータ） (2024-05-19T03:48:05Z) - Learning Objective-Specific Active Learning Strategies with Attentive
Neural Processes [72.75421975804132]
学び アクティブラーニング(LAL)は、アクティブラーニング戦略自体を学ぶことを提案し、与えられた設定に適応できるようにする。
能動学習問題の対称性と独立性を利用した新しい分類法を提案する。
私たちのアプローチは、筋電図から学ぶことに基づいており、モデルに標準ではない目的に適応する能力を与えます。
論文 参考訳（メタデータ） (2023-09-11T14:16:37Z) - Transformers with Learnable Activation Functions [63.98696070245065]
我々は、Rational Activation Function (RAF) を用いて、入力データに基づいてトレーニング中の最適なアクティベーション関数を学習する。
RAFは、学習されたアクティベーション関数に従って事前学習されたモデルを分析し、解釈するための新しい研究方向を開く。
論文 参考訳（メタデータ） (2022-08-30T09:47:31Z) - Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。
本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
論文 参考訳（メタデータ） (2021-06-17T17:26:31Z) - Non-linear Functional Modeling using Neural Networks [6.624726878647541]
ニューラルネットワークに基づく関数型データのための非線形モデルの新たなクラスを導入する。
提案するフレームワークには,連続的な隠蔽層を持つ関数型ニューラルネットワークと,ベース拡張と連続隠蔽層を利用する第2バージョンという,2つのバリエーションがある。
論文 参考訳（メタデータ） (2021-04-19T14:59:55Z) - Sufficiently Accurate Model Learning for Planning [119.80502738709937]
本稿では,制約付きSufficiently Accurateモデル学習手法を提案する。
これはそのような問題の例を示し、いくつかの近似解がいかに近いかという定理を提示する。
近似解の質は、関数のパラメータ化、損失と制約関数の滑らかさ、モデル学習におけるサンプルの数に依存する。
論文 参考訳（メタデータ） (2021-02-11T16:27:31Z) - Non-parametric Models for Non-negative Functions [48.7576911714538]
同じ良い線形モデルから非負関数に対する最初のモデルを提供する。
我々は、それが表現定理を認め、凸問題に対する効率的な二重定式化を提供することを証明した。
論文 参考訳（メタデータ） (2020-07-08T07:17:28Z) - Model-Augmented Actor-Critic: Backpropagating through Paths [81.86992776864729]
現在のモデルに基づく強化学習アプローチでは、単に学習されたブラックボックスシミュレータとしてモデルを使用する。
その微分可能性を利用してモデルをより効果的に活用する方法を示す。
論文 参考訳（メタデータ） (2020-05-16T19:18:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。