論文の概要: TaLU: A Hybrid Activation Function Combining Tanh and Rectified Linear
Unit to Enhance Neural Networks
- arxiv url: http://arxiv.org/abs/2305.04402v2
- Date: Fri, 19 May 2023 15:28:10 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-22 18:29:19.355672
- Title: TaLU: A Hybrid Activation Function Combining Tanh and Rectified Linear
Unit to Enhance Neural Networks
- Title（参考訳）: TaLU: ニューラルネットワークの強化にTanhとrectified Linear Unitを組み合わせたハイブリッド活性化関数
- Authors: Md. Mehedi Hasan, Md. Ali Hossain, Azmain Yakin Srizon, Abu Sayeed
- Abstract要約: TaLUはTanhとReLUを組み合わせた活性化機能である。
MNIST と CIFAR-10 の深層学習モデルについて検討した。
- 参考スコア（独自算出の注目度）: 1.3477333339913569
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The application of the deep learning model in classification plays an
important role in the accurate detection of the target objects. However, the
accuracy is affected by the activation function in the hidden and output layer.
In this paper, an activation function called TaLU, which is a combination of
Tanh and Rectified Linear Units (ReLU), is used to improve the prediction. ReLU
activation function is used by many deep learning researchers for its
computational efficiency, ease of implementation, intuitive nature, etc.
However, it suffers from a dying gradient problem. For instance, when the input
is negative, its output is always zero because its gradient is zero. A number
of researchers used different approaches to solve this issue. Some of the most
notable are LeakyReLU, Softplus, Softsign, ELU, ThresholdedReLU, etc. This
research developed TaLU, a modified activation function combining Tanh and
ReLU, which mitigates the dying gradient problem of ReLU. The deep learning
model with the proposed activation function was tested on MNIST and CIFAR-10,
and it outperforms ReLU and some other studied activation functions in terms of
accuracy(upto 6% in most cases, when used with Batch Normalization and a
reasonable learning rate).
- Abstract（参考訳）: 分類におけるディープラーニングモデルの適用は、ターゲットオブジェクトの正確な検出において重要な役割を果たす。
しかし、その精度は、隠蔽・出力層における活性化関数に影響される。
本稿では,tanh と rectified linear units (relu) の組み合わせである talu と呼ばれる活性化関数を用いて予測精度を向上させる。
reluアクティベーション関数は、計算効率、実装の容易さ、直感的な性質など、多くのディープラーニング研究者によって使用されている。
しかし、それは衰退する勾配問題に悩まされている。
例えば、入力が負の場合、その勾配がゼロであるため、出力は常にゼロとなる。
多くの研究者がこの問題を解決するために異なるアプローチを用いた。
最も有名なものは、LeakyReLU、Softplus、Softsign、ELU、ThresholdedReLUなどである。
本研究では,TanhとReLUを組み合わせた活性化機能であるTaLUを開発した。
提案したアクティベーション関数を用いた深層学習モデルをMNISTとCIFAR-10でテストし、ReLUや他の研究されたアクティベーション関数を精度で比較した(多くの場合、バッチ正規化と合理的学習率で使用した場合は6%)。
関連論文リスト
- Activation function optimization method: Learnable series linear units (LSLUs) [12.089173508371246]
LSLU (Learnable Series Linear Units) と呼ばれる直列学習可能なac-tivation関数を提案する。
この方法は、精度を向上しつつ、ディープラーニングネットワークを単純化する。
CIFAR10, CIFAR100および特定のタスクデータセット(例えばSilkworm)上でのLSLUの性能を評価する。
論文 参考訳（メタデータ） (2024-08-28T11:12:27Z) - ReLU$^2$ Wins: Discovering Efficient Activation Functions for Sparse
LLMs [91.31204876440765]
本稿では、ニューロンの出力の等級と調整された等級しきい値によってニューロンの活性化を定義する一般的な方法を提案する。
スパース計算における最も効率的なアクティベーション関数を見つけるために,本手法を提案する。
我々は、ReLU、SwiGLU、ReGLU、ReLU$2$といった異なるアクティベーション機能を利用したLCMの徹底的な実験を行う。
論文 参考訳（メタデータ） (2024-02-06T08:45:51Z) - Parametric Leaky Tanh: A New Hybrid Activation Function for Deep
Learning [0.0]
活性化機能(AF)はディープニューラルネットワーク(DNN)の重要な構成要素である
本稿では,Tanh と Leaky ReLU の双方の活性化関数の強みを組み合わせたハイブリッド活性化関数を提案する。
PLanh はすべての点で微分可能であり、負の入力に対する非ゼロ勾配を保証することで 'dying ReLU' 問題に対処する。
論文 参考訳（メタデータ） (2023-08-11T08:59:27Z) - Globally Optimal Training of Neural Networks with Threshold Activation
Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。
ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文 参考訳（メタデータ） (2023-03-06T18:59:13Z) - Transformers with Learnable Activation Functions [63.98696070245065]
我々は、Rational Activation Function (RAF) を用いて、入力データに基づいてトレーニング中の最適なアクティベーション関数を学習する。
RAFは、学習されたアクティベーション関数に従って事前学習されたモデルを分析し、解釈するための新しい研究方向を開く。
論文 参考訳（メタデータ） (2022-08-30T09:47:31Z) - Deeper Learning with CoLU Activation [0.0]
CoLUは、プロパティにおいてSwishやMishに似たアクティベーション機能である。
CoLUは通常、より深いニューラルネットワーク上の他の機能よりも優れていることが観察されている。
論文 参考訳（メタデータ） (2021-12-18T21:11:11Z) - Growing Cosine Unit: A Novel Oscillatory Activation Function That Can
Speedup Training and Reduce Parameters in Convolutional Neural Networks [0.1529342790344802]
畳み込みニューラルネットワークは多くの社会的に重要で経済的に重要な問題を解くことに成功した。
ディープネットワークのトレーニングを可能にする重要な発見は、Rectified Linear Unit (ReLU) アクティベーション機能の採用であった。
新しい活性化関数 C(z) = z cos z は様々なアーキテクチャ上で Sigmoids, Swish, Mish, ReLU より優れる。
論文 参考訳（メタデータ） (2021-08-30T01:07:05Z) - Comparisons among different stochastic selection of activation layers
for convolutional neural networks for healthcare [77.99636165307996]
ニューラルネットワークのアンサンブルを用いて生体医用画像の分類を行う。
ReLU, leaky ReLU, Parametric ReLU, ELU, Adaptive Piecewice Linear Unit, S-Shaped ReLU, Swish, Mish, Mexican Linear Unit, Parametric Deformable Linear Unit, Soft Root Sign。
論文 参考訳（メタデータ） (2020-11-24T01:53:39Z) - Dynamic ReLU [74.973224160508]
本稿では、すべてのインプット要素上のハイパー関数によって生成されるパラメータの動的入力である動的ReLU(DY-ReLU)を提案する。
静的に比較すると、DY-ReLUは余分な計算コストは無視できるが、表現能力ははるかに高い。
単にDY-ReLUをMobileNetV2に使用することで、ImageNet分類のトップ-1の精度は72.0%から76.2%に向上し、追加のFLOPは5%に留まった。
論文 参考訳（メタデータ） (2020-03-22T23:45:35Z) - Investigating the interaction between gradient-only line searches and
different activation functions [0.0]
勾配専用線探索(GOLS)は、ニューラルネットワークトレーニングにおける不連続損失関数の探索方向に沿ったステップサイズを適応的に決定する。
GOLSは様々なアクティベーション機能に対して堅牢であるが,標準フィードフォワードアーキテクチャにおけるRectified Linear Unit(ReLU)アクティベーション機能に敏感であることがわかった。
論文 参考訳（メタデータ） (2020-02-23T12:28:27Z) - Gaussian Error Linear Units (GELUs) [58.195342948092964]
本稿では,入力の重み付けを行うニューラルネットワークアクティベーション関数を提案する。
コンピュータビジョン、自然言語処理、音声タスクのすべてにおいて、パフォーマンスが改善されている。
論文 参考訳（メタデータ） (2016-06-27T19:20:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。