論文の概要: Parametric Leaky Tanh: A New Hybrid Activation Function for Deep Learning

• arxiv url: http://arxiv.org/abs/2310.07720v1
• Date: Fri, 11 Aug 2023 08:59:27 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-23 03:13:25.161943
• Title: Parametric Leaky Tanh: A New Hybrid Activation Function for Deep Learning
• Title（参考訳）: Parametric Leaky Tanh: ディープラーニングのための新しいハイブリッドアクティベーション機能
• Authors: Stamatis Mastromichalakis
• Abstract要約: 活性化機能(AF)はディープニューラルネットワーク(DNN)の重要な構成要素である 本稿では,Tanh と Leaky ReLU の双方の活性化関数の強みを組み合わせたハイブリッド活性化関数を提案する。 PLanh はすべての点で微分可能であり、負の入力に対する非ゼロ勾配を保証することで 'dying ReLU' 問題に対処する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Activation functions (AFs) are crucial components of deep neural networks (DNNs), having a significant impact on their performance. An activation function in a DNN is typically a smooth, nonlinear function that transforms an input signal into an output signal for the subsequent layer. In this paper, we propose the Parametric Leaky Tanh (PLTanh), a novel hybrid activation function designed to combine the strengths of both the Tanh and Leaky ReLU (LReLU) activation functions. PLTanh is differentiable at all points and addresses the 'dying ReLU' problem by ensuring a non-zero gradient for negative inputs, consistent with the behavior of LReLU. By integrating the unique advantages of these two diverse activation functions, PLTanh facilitates the learning of more intricate nonlinear relationships within the network. This paper presents an empirical evaluation of PLTanh against established activation functions, namely ReLU, LReLU, and ALReLU utilizing five diverse datasets.
• Abstract（参考訳）: 活性化関数(AF)はディープニューラルネットワーク(DNN)の重要な構成要素であり、その性能に大きな影響を及ぼす。 DNNのアクティベーション関数は典型的にはスムーズで非線形な関数であり、入力信号を次の層の出力信号に変換する。 本稿では,tanh と leaky relu (lrelu) の両方の活性化関数の強度を結合した新しいハイブリッド活性化関数であるparametric leaky tanh (pltanh)を提案する。 PLTanh はすべての点で微分可能であり、LReLU の振舞いと一致する負の入力に対する非ゼロ勾配を保証することで 'dying ReLU' 問題に対処する。 これら2つの多様な活性化関数のユニークな利点を統合することにより、pltanhはネットワーク内のより複雑な非線形関係の学習を容易にする。 本稿では,PLTanhが確立した活性化機能(ReLU,LRELU,ALRELU)に対して,5つの多様なデータセットを用いて実証評価を行った。

関連論文リスト

• Deriving Activation Functions via Integration [0.0]
  活性化関数は、ディープニューラルネットワークに非線形性を導入する上で重要な役割を果たす。 そこで,本研究では,それらの勾配に着目し,統合によって対応する関数を導出することにより,活性化関数を設計する新しい手法を提案する。 本研究は,ELU活性化関数に適用したトレーニング可能なアフィン変換を統合することで導かれる,訓練可能な一方向活性化関数である指数線形ユニット(xIELU)の積分を導入する。
  論文  参考訳（メタデータ） (2024-11-20T03:24:21Z)
• Sparsing Law: Towards Large Language Models with Greater Activation Sparsity [62.09617609556697]
  活性化空間性は、除去できる活性化出力の中に、かなり弱い分散要素が存在することを表す。 PPL-$p%$ sparsity, a accurate and performance-aware activation sparsity metric。 我々は、SiLUよりも活性化関数としてReLUが効率的であることを示し、より多くのトレーニングデータを利用してアクティベーション空間を改善することができることを示した。
  論文  参考訳（メタデータ） (2024-11-04T17:59:04Z)
• ReLU$^2$ Wins: Discovering Efficient Activation Functions for Sparse LLMs [91.31204876440765]
  本稿では、ニューロンの出力の等級と調整された等級しきい値によってニューロンの活性化を定義する一般的な方法を提案する。 スパース計算における最も効率的なアクティベーション関数を見つけるために,本手法を提案する。 我々は、ReLU、SwiGLU、ReGLU、ReLU$2$といった異なるアクティベーション機能を利用したLCMの徹底的な実験を行う。
  論文  参考訳（メタデータ） (2024-02-06T08:45:51Z)
• Generalized Activation via Multivariate Projection [46.837481855573145]
  活性化関数はニューラルネットワークに非線形性を導入するのに不可欠である。 我々は、ReLU を R から非負半直線 R+ への射影とみなす。 一般化された射影作用素でReLUを2次錐(SOC)射影のような凸錐に置換することでReLUを拡張する。
  論文  参考訳（メタデータ） (2023-09-29T12:44:27Z)
• Layer-wise Feedback Propagation [53.00944147633484]
  本稿では、ニューラルネットワークのような予測器のための新しいトレーニング手法であるLFP(Layer-wise Feedback Propagation)を提案する。 LFPは、与えられたタスクの解決に対するそれぞれの貢献に基づいて、個々のコネクションに報酬を割り当てる。 各種モデルやデータセットの勾配降下に匹敵する性能を達成できることの有効性を実証する。
  論文  参考訳（メタデータ） (2023-08-23T10:48:28Z)
• Saturated Non-Monotonic Activation Functions [21.16866749728754]
  SGELU, SSiLU, SMishはGELU, SiLU, Mishの負の部分とReLUの正の部分から構成される。 CIFAR-100における画像分類実験の結果,提案するアクティベーション関数は,複数のディープラーニングアーキテクチャにおいて,高い有効性と,最先端のベースラインよりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2023-05-12T15:01:06Z)
• TaLU: A Hybrid Activation Function Combining Tanh and Rectified Linear Unit to Enhance Neural Networks [1.3477333339913569]
  TaLUはTanhとReLUを組み合わせた活性化機能である。 MNIST と CIFAR-10 の深層学習モデルについて検討した。
  論文  参考訳（メタデータ） (2023-05-08T01:13:59Z)
• Nish: A Novel Negative Stimulated Hybrid Activation Function [5.482532589225552]
  負刺激ハイブリッド活性化関数(Nish)と呼ばれる新しい非単調活性化関数を提案する。 これは、0より大きい値に対するRectified Linear Unit (ReLU)関数や、0より小さい値に対する正弦-正弦波関数のように振る舞う。 提案関数はシグモイド波と正弦波を包含し、従来のReLU活性化に対する新しいダイナミクスを可能にする。
  論文  参考訳（メタデータ） (2022-10-17T13:32:52Z)
• Exploring Linear Feature Disentanglement For Neural Networks [63.20827189693117]
  Sigmoid、ReLU、Tanhなどの非線形活性化関数は、ニューラルネットワーク(NN)において大きな成功を収めた。 サンプルの複雑な非線形特性のため、これらの活性化関数の目的は、元の特徴空間から線形分離可能な特徴空間へサンプルを投影することである。 この現象は、現在の典型的なNNにおいて、すべての特徴がすべての非線形関数によって変換される必要があるかどうかを探求することに興味をそそる。
  論文  参考訳（メタデータ） (2022-03-22T13:09:17Z)
• Graph-adaptive Rectified Linear Unit for Graph Neural Networks [64.92221119723048]
  グラフニューラルネットワーク(GNN)は、従来の畳み込みを非ユークリッドデータでの学習に拡張することで、目覚ましい成功を収めた。 本稿では,周辺情報を利用した新しいパラメトリックアクティベーション機能であるグラフ適応整流線形ユニット(GRELU)を提案する。 我々は,GNNのバックボーンと様々な下流タスクによって,プラグアンドプレイGRELU法が効率的かつ効果的であることを示す包括的実験を行った。
  論文  参考訳（メタデータ） (2022-02-13T10:54:59Z)
• Investigating the interaction between gradient-only line searches and different activation functions [0.0]
  勾配専用線探索(GOLS)は、ニューラルネットワークトレーニングにおける不連続損失関数の探索方向に沿ったステップサイズを適応的に決定する。 GOLSは様々なアクティベーション機能に対して堅牢であるが,標準フィードフォワードアーキテクチャにおけるRectified Linear Unit(ReLU)アクティベーション機能に敏感であることがわかった。
  論文  参考訳（メタデータ） (2020-02-23T12:28:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。