論文の概要: Review and Comparison of Commonly Used Activation Functions for Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2010.09458v1
• Date: Thu, 15 Oct 2020 11:09:34 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-07 02:50:17.171456
• Title: Review and Comparison of Commonly Used Activation Functions for Deep Neural Networks
• Title（参考訳）: 深層ニューラルネットワークにおける一般的なアクティベーション関数のレビューと比較
• Authors: Tomasz Szanda{\l}a
• Abstract要約: ニューラルネットワーク計算において最も適切なアクティベーション関数を選択することは重要である。 本稿では,Swish,ReLU,Sigmoidなどの一般的な添加関数について検討する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The primary neural networks decision-making units are activation functions. Moreover, they evaluate the output of networks neural node; thus, they are essential for the performance of the whole network. Hence, it is critical to choose the most appropriate activation function in neural networks calculation. Acharya et al. (2018) suggest that numerous recipes have been formulated over the years, though some of them are considered deprecated these days since they are unable to operate properly under some conditions. These functions have a variety of characteristics, which are deemed essential to successfully learning. Their monotonicity, individual derivatives, and finite of their range are some of these characteristics (Bach 2017). This research paper will evaluate the commonly used additive functions, such as swish, ReLU, Sigmoid, and so forth. This will be followed by their properties, own cons and pros, and particular formula application recommendations.
• Abstract（参考訳）: 主要なニューラルネットワーク決定ユニットはアクティベーション関数である。 さらに、ネットワークニューラルノードの出力を評価し、ネットワーク全体のパフォーマンスに不可欠である。 したがって、ニューラルネットワーク計算において最も適切なアクティベーション関数を選択することが重要である。 Acharya et al. (2018) は、多くのレシピが長年にわたって定式化されてきたことを示唆しているが、一部のレシピは、ある条件下で適切に動作できないため、近年は廃止されていると考えられている。 これらの関数は様々な特性を持ち、学習に欠かせないものと考えられている。 それらの単調性、個々の微分、およびそれらの範囲の有限性はこれらの性質のいくつかである(Bach 2017)。 本稿では,swish,relu,sgmoid等,一般的に用いられる付加関数について検討する。 この後、プロパティ、独自のconsとpro、および特定の公式アプリケーション推奨が続く。

関連論文リスト

• Not All Diffusion Model Activations Have Been Evaluated as Discriminative Features [115.33889811527533]
  拡散モデルは当初、画像生成のために設計されている。 近年の研究では、バックボーンの内部シグナルはアクティベーションと呼ばれ、様々な識別タスクの高密度な特徴として機能することが示されている。
  論文  参考訳（メタデータ） (2024-10-04T16:05:14Z)
• Activations Through Extensions: A Framework To Boost Performance Of Neural Networks [6.302159507265204]
  活性化関数はニューラルネットワークの非線形性であり、入力と出力の間の複雑なマッピングを学習することができる。 本稿では,アクティベーション関数に関するいくつかの研究を統合するフレームワークを提案し,これらの成果を理論的に説明する。
  論文  参考訳（メタデータ） (2024-08-07T07:36:49Z)
• TSSR: A Truncated and Signed Square Root Activation Function for Neural Networks [5.9622541907827875]
  我々は、Trncated and Signed Square Root (TSSR) 関数と呼ばれる新しいアクティベーション関数を導入する。 この関数は奇数、非線形、単調、微分可能であるため特異である。 ニューラルネットワークの数値安定性を改善する可能性がある。
  論文  参考訳（メタデータ） (2023-08-09T09:40:34Z)
• STL: A Signed and Truncated Logarithm Activation Function for Neural Networks [5.9622541907827875]
  活性化関数はニューラルネットワークにおいて重要な役割を果たす。 本稿では,アクティベーション関数として符号付きおよび切り離された対数関数を提案する。 提案された活性化関数は、広範囲のニューラルネットワークに適用できる。
  論文  参考訳（メタデータ） (2023-07-31T03:41:14Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
  線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。 ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
  論文  参考訳（メタデータ） (2023-04-17T14:23:43Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Benefits of Overparameterized Convolutional Residual Networks: Function Approximation under Smoothness Constraint [48.25573695787407]
  大規模なConvResNetは関数の値から目的関数を近似できるだけでなく、一階スムーズ性も十分に発揮できることを示す。 我々の理論は、実際にディープ・ワイド・ネットワークを使うことの利点を部分的に正当化している。
  論文  参考訳（メタデータ） (2022-06-09T15:35:22Z)
• Activation Functions in Artificial Neural Networks: A Systematic Overview [0.3553493344868413]
  活性化関数は人工ニューロンの出力を形成する。 本稿では、一般的なアクティベーション関数とその特性の解析的かつ最新の概要を提供する。
  論文  参考訳（メタデータ） (2021-01-25T08:55:26Z)
• A Use of Even Activation Functions in Neural Networks [0.35172332086962865]
  本稿では,データ構造に関する既存の知識や仮説を統合するために,独自のアクティベーション関数を構築する方法を提案する。 完全に接続されたレイヤの1つで偶発的なアクティベーション関数を使用することで、ニューラルネットワークの性能が向上することを示す。
  論文  参考訳（メタデータ） (2020-11-23T20:33:13Z)
• Deep Polynomial Neural Networks [77.70761658507507]
  $Pi$Netsは拡張に基づいた関数近似の新しいクラスである。 $Pi$Netsは、画像生成、顔検証、および3Dメッシュ表現学習という3つの困難なタスクで、最先端の結果を生成する。
  論文  参考訳（メタデータ） (2020-06-20T16:23:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。