論文の概要: STL: A Signed and Truncated Logarithm Activation Function for Neural Networks

• arxiv url: http://arxiv.org/abs/2307.16389v1
• Date: Mon, 31 Jul 2023 03:41:14 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-01 16:00:06.953544
• Title: STL: A Signed and Truncated Logarithm Activation Function for Neural Networks
• Title（参考訳）: STL: ニューラルネットワークのための符号付きトリニクテッド対数活性化関数
• Authors: Yuanhao Gong
• Abstract要約: 活性化関数はニューラルネットワークにおいて重要な役割を果たす。 本稿では,アクティベーション関数として符号付きおよび切り離された対数関数を提案する。 提案された活性化関数は、広範囲のニューラルネットワークに適用できる。
• 参考スコア（独自算出の注目度）: 5.9622541907827875
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Activation functions play an essential role in neural networks. They provide the non-linearity for the networks. Therefore, their properties are important for neural networks' accuracy and running performance. In this paper, we present a novel signed and truncated logarithm function as activation function. The proposed activation function has significantly better mathematical properties, such as being odd function, monotone, differentiable, having unbounded value range, and a continuous nonzero gradient. These properties make it an excellent choice as an activation function. We compare it with other well-known activation functions in several well-known neural networks. The results confirm that it is the state-of-the-art. The suggested activation function can be applied in a large range of neural networks where activation functions are necessary.
• Abstract（参考訳）: 活性化関数はニューラルネットワークにおいて重要な役割を果たす。 それらはネットワークの非線形性を提供する。 したがって、その特性はニューラルネットワークの精度と実行性能にとって重要である。 本稿では,アクティベーション機能として符号付きおよび切り離された対数関数を提案する。 提案する活性化関数は、奇関数、単調、微分可能、非有界値範囲、連続非零勾配といった数学的性質がかなり優れている。 これらの性質は活性化関数として優れた選択となる。 いくつかのよく知られたニューラルネットワークにおいて、他のよく知られたアクティベーション関数と比較する。 結果はそれが最先端であることを確認した。 提案するアクティベーション関数は、アクティベーション関数が必要な広い範囲のニューラルネットワークに適用することができる。

関連論文リスト

• Latent Assistance Networks: Rediscovering Hyperbolic Tangents in RL [8.647614188619315]
  活性化関数は、ニューラルネットワークの重要な構成要素の1つである。 本稿では,活性化機能が神経細胞の発生と有効ランクの大きさにどのように影響するかを考察する。 アタリ領域では、学習の高速化、死んだ神経細胞の減少、効果的なランクの向上が示される。
  論文  参考訳（メタデータ） (2024-06-13T13:03:37Z)
• TSSR: A Truncated and Signed Square Root Activation Function for Neural Networks [5.9622541907827875]
  我々は、Trncated and Signed Square Root (TSSR) 関数と呼ばれる新しいアクティベーション関数を導入する。 この関数は奇数、非線形、単調、微分可能であるため特異である。 ニューラルネットワークの数値安定性を改善する可能性がある。
  論文  参考訳（メタデータ） (2023-08-09T09:40:34Z)
• Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
  線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。 ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
  論文  参考訳（メタデータ） (2023-04-17T14:23:43Z)
• Provable Data Subset Selection For Efficient Neural Network Training [73.34254513162898]
  本稿では,任意の放射基底関数ネットワーク上での入力データの損失を近似する,emphRBFNNのコアセットを構成するアルゴリズムについて紹介する。 次に、一般的なネットワークアーキテクチャやデータセット上で、関数近似とデータセットサブセットの選択に関する経験的評価を行う。
  論文  参考訳（メタデータ） (2023-03-09T10:08:34Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Evaluating CNN with Oscillatory Activation Function [0.0]
  画像から高次元の複雑な特徴を学習できるCNNは、アクティベーション関数によって導入された非線形性である。 本稿では、発振活性化関数(GCU)と、ReLu、PReLu、Mishなどの一般的なアクティベーション関数を用いて、MNISTおよびCIFAR10データセット上でのCNNアーキテクチャALexNetの性能について検討する。
  論文  参考訳（メタデータ） (2022-11-13T11:17:13Z)
• Nish: A Novel Negative Stimulated Hybrid Activation Function [5.482532589225552]
  負刺激ハイブリッド活性化関数(Nish)と呼ばれる新しい非単調活性化関数を提案する。 これは、0より大きい値に対するRectified Linear Unit (ReLU)関数や、0より小さい値に対する正弦-正弦波関数のように振る舞う。 提案関数はシグモイド波と正弦波を包含し、従来のReLU活性化に対する新しいダイナミクスを可能にする。
  論文  参考訳（メタデータ） (2022-10-17T13:32:52Z)
• The Connection Between Approximation, Depth Separation and Learnability in Neural Networks [70.55686685872008]
  学習可能性と近似能力の関係について検討する。 対象関数の深いネットワークでの学習性は、より単純なクラスがターゲットを近似する能力に依存することを示す。
  論文  参考訳（メタデータ） (2021-01-31T11:32:30Z)
• UNIPoint: Universally Approximating Point Processes Intensities [125.08205865536577]
  学習可能な関数のクラスが任意の有効な強度関数を普遍的に近似できることを示す。 ニューラルポイントプロセスモデルであるUNIPointを実装し,各イベントの基底関数の和をパラメータ化するために,リカレントニューラルネットワークを用いた。
  論文  参考訳（メタデータ） (2020-07-28T09:31:56Z)
• Trainable Activation Function in Image Classification [0.0]
  本稿では、ディープニューラルネットワークにおいてアクティベーション機能をトレーニング可能にする方法について論じる。 アクティベーション関数を連続的に変動させる異なるアクティベーション関数の直列結合と線形結合を用いる。
  論文  参考訳（メタデータ） (2020-04-28T03:50:53Z)
• Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
  XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。 コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2020-02-02T21:09:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。