論文の概要: A Survey on Activation Functions and their relation with Xavier and He
Normal Initialization
- arxiv url: http://arxiv.org/abs/2004.06632v1
- Date: Wed, 18 Mar 2020 18:17:56 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-22 09:32:37.751421
- Title: A Survey on Activation Functions and their relation with Xavier and He
Normal Initialization
- Title(参考訳): 活性化機能とXavierおよびHe正規初期化との関連性に関する調査
- Authors: Leonid Datta
- Abstract要約: 本研究は,活性化関数の重要/必要特性と最も広く用いられている活性化関数について考察する。
また、これらの活性化関数と2つの重み初期化法との関係についても検討する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: In artificial neural network, the activation function and the weight
initialization method play important roles in training and performance of a
neural network. The question arises is what properties of a function are
important/necessary for being a well-performing activation function. Also, the
most widely used weight initialization methods - Xavier and He normal
initialization have fundamental connection with activation function. This
survey discusses the important/necessary properties of activation function and
the most widely used activation functions (sigmoid, tanh, ReLU, LReLU and
PReLU). This survey also explores the relationship between these activation
functions and the two weight initialization methods - Xavier and He normal
initialization.
- Abstract(参考訳): ニューラルネットワークでは、活性化関数と重み初期化法は、ニューラルネットワークのトレーニングとパフォーマンスにおいて重要な役割を果たす。
問題は、機能の性質が、よく機能するアクティベーション機能として重要/必要であるかどうかである。
また、最も広く使われている重み初期化法(xavierとhe normal initialization)は、アクティベーション関数と基本的な関係がある。
本研究は活性化機能と最も広く利用されている活性化機能(sgmoid, tanh, relu, lrelu, prelu)の重要/必要特性について述べる。
また,これらの活性化関数と2つの重み初期化法 (xavier と he normal initialization) との関係についても検討した。
関連論文リスト
- ReLU$^2$ Wins: Discovering Efficient Activation Functions for Sparse
LLMs [91.31204876440765]
本稿では、ニューロンの出力の等級と調整された等級しきい値によってニューロンの活性化を定義する一般的な方法を提案する。
スパース計算における最も効率的なアクティベーション関数を見つけるために,本手法を提案する。
我々は、ReLU、SwiGLU、ReGLU、ReLU$2$といった異なるアクティベーション機能を利用したLCMの徹底的な実験を行う。
論文 参考訳(メタデータ) (2024-02-06T08:45:51Z) - STL: A Signed and Truncated Logarithm Activation Function for Neural
Networks [5.9622541907827875]
活性化関数はニューラルネットワークにおいて重要な役割を果たす。
本稿では,アクティベーション関数として符号付きおよび切り離された対数関数を提案する。
提案された活性化関数は、広範囲のニューラルネットワークに適用できる。
論文 参考訳(メタデータ) (2023-07-31T03:41:14Z) - Globally Optimal Training of Neural Networks with Threshold Activation
Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。
ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文 参考訳(メタデータ) (2023-03-06T18:59:13Z) - Evaluating CNN with Oscillatory Activation Function [0.0]
画像から高次元の複雑な特徴を学習できるCNNは、アクティベーション関数によって導入された非線形性である。
本稿では、発振活性化関数(GCU)と、ReLu、PReLu、Mishなどの一般的なアクティベーション関数を用いて、MNISTおよびCIFAR10データセット上でのCNNアーキテクチャALexNetの性能について検討する。
論文 参考訳(メタデータ) (2022-11-13T11:17:13Z) - How important are activation functions in regression and classification?
A survey, performance comparison, and future directions [0.0]
我々は過去に採用されてきたアクティベーション機能と現在の最先端技術について調査する。
近年,科学計算に関わる問題を解くために,物理インフォームド機械学習フレームワークが登場している。
論文 参考訳(メタデータ) (2022-09-06T17:51:52Z) - Transformers with Learnable Activation Functions [63.98696070245065]
我々は、Rational Activation Function (RAF) を用いて、入力データに基づいてトレーニング中の最適なアクティベーション関数を学習する。
RAFは、学習されたアクティベーション関数に従って事前学習されたモデルを分析し、解釈するための新しい研究方向を開く。
論文 参考訳(メタデータ) (2022-08-30T09:47:31Z) - Provable General Function Class Representation Learning in Multitask
Bandits and MDPs [58.624124220900306]
マルチタスク表現学習は、サンプル効率を高めるために強化学習において一般的なアプローチである。
本研究では,解析結果を一般関数クラス表現に拡張する。
バンディットと線形MDPの一般関数クラスにおけるマルチタスク表現学習の利点を理論的に検証する。
論文 参考訳(メタデータ) (2022-05-31T11:36:42Z) - Activation Functions: Dive into an optimal activation function [1.52292571922932]
既存のアクティベーション関数の重み付け和として定義することで、最適なアクティベーション関数を求める。
この研究は、ReLU、tanh、 sinという3つのアクティベーション関数を3つの人気のある画像データセットに使用しています。
論文 参考訳(メタデータ) (2022-02-24T12:44:11Z) - Evolution of Activation Functions: An Empirical Investigation [0.30458514384586394]
本研究は、完全に新しい活性化関数の探索を自動化する進化的アルゴリズムを提案する。
これらの新しい活性化関数を、既存の一般的なアクティベーション関数と比較する。
論文 参考訳(メタデータ) (2021-05-30T20:08:20Z) - UNIPoint: Universally Approximating Point Processes Intensities [125.08205865536577]
学習可能な関数のクラスが任意の有効な強度関数を普遍的に近似できることを示す。
ニューラルポイントプロセスモデルであるUNIPointを実装し,各イベントの基底関数の和をパラメータ化するために,リカレントニューラルネットワークを用いた。
論文 参考訳(メタデータ) (2020-07-28T09:31:56Z) - Revisiting Initialization of Neural Networks [72.24615341588846]
ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。
Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
論文 参考訳(メタデータ) (2020-04-20T18:12:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。