Fugu-MT 論文翻訳(概要): A Survey on Activation Functions and their relation with Xavier and He Normal Initialization

論文の概要: A Survey on Activation Functions and their relation with Xavier and He Normal Initialization

arxiv url: http://arxiv.org/abs/2004.06632v1
Date: Wed, 18 Mar 2020 18:17:56 GMT
ステータス: 処理完了
システム内更新日: 2022-12-22 09:32:37.751421
Title: A Survey on Activation Functions and their relation with Xavier and He Normal Initialization
Title（参考訳）: 活性化機能とXavierおよびHe正規初期化との関連性に関する調査
Authors: Leonid Datta
Abstract要約: 本研究は,活性化関数の重要/必要特性と最も広く用いられている活性化関数について考察する。また、これらの活性化関数と2つの重み初期化法との関係についても検討する。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/publicdomain/zero/1.0/
Abstract: In artificial neural network, the activation function and the weight initialization method play important roles in training and performance of a neural network. The question arises is what properties of a function are important/necessary for being a well-performing activation function. Also, the most widely used weight initialization methods - Xavier and He normal initialization have fundamental connection with activation function. This survey discusses the important/necessary properties of activation function and the most widely used activation functions (sigmoid, tanh, ReLU, LReLU and PReLU). This survey also explores the relationship between these activation functions and the two weight initialization methods - Xavier and He normal initialization.
Abstract（参考訳）: ニューラルネットワークでは、活性化関数と重み初期化法は、ニューラルネットワークのトレーニングとパフォーマンスにおいて重要な役割を果たす。問題は、機能の性質が、よく機能するアクティベーション機能として重要/必要であるかどうかである。また、最も広く使われている重み初期化法(xavierとhe normal initialization)は、アクティベーション関数と基本的な関係がある。本研究は活性化機能と最も広く利用されている活性化機能(sgmoid, tanh, relu, lrelu, prelu)の重要/必要特性について述べる。また,これらの活性化関数と2つの重み初期化法 (xavier と he normal initialization) との関係についても検討した。

関連論文リスト

Sparsing Law: Towards Large Language Models with Greater Activation Sparsity [62.09617609556697]
活性化空間性は、除去できる活性化出力の中に、かなり弱い分散要素が存在することを表す。 PPL-$p%$ sparsity, a accurate and performance-aware activation sparsity metric。我々は、SiLUよりも活性化関数としてReLUが効率的であることを示し、より多くのトレーニングデータを利用してアクティベーション空間を改善することができることを示した。
論文参考訳（メタデータ） (2024-11-04T17:59:04Z)
Not All Diffusion Model Activations Have Been Evaluated as Discriminative Features [115.33889811527533]
拡散モデルは当初、画像生成のために設計されている。近年の研究では、バックボーンの内部シグナルはアクティベーションと呼ばれ、様々な識別タスクの高密度な特徴として機能することが示されている。
論文参考訳（メタデータ） (2024-10-04T16:05:14Z)
Active Learning for Derivative-Based Global Sensitivity Analysis with Gaussian Processes [70.66864668709677]
高価なブラックボックス関数のグローバル感度解析におけるアクティブラーニングの問題点を考察する。関数評価は高価であるため,最も価値の高い実験資源の優先順位付けにアクティブラーニングを利用する。本稿では,デリバティブに基づくグローバル感度測定の重要量を直接対象とする,新たな能動的学習獲得関数を提案する。
論文参考訳（メタデータ） (2024-07-13T01:41:12Z)
STL: A Signed and Truncated Logarithm Activation Function for Neural Networks [5.9622541907827875]
活性化関数はニューラルネットワークにおいて重要な役割を果たす。本稿では,アクティベーション関数として符号付きおよび切り離された対数関数を提案する。提案された活性化関数は、広範囲のニューラルネットワークに適用できる。
論文参考訳（メタデータ） (2023-07-31T03:41:14Z)
Evaluating CNN with Oscillatory Activation Function [0.0]
画像から高次元の複雑な特徴を学習できるCNNは、アクティベーション関数によって導入された非線形性である。本稿では、発振活性化関数(GCU)と、ReLu、PReLu、Mishなどの一般的なアクティベーション関数を用いて、MNISTおよびCIFAR10データセット上でのCNNアーキテクチャALexNetの性能について検討する。
論文参考訳（メタデータ） (2022-11-13T11:17:13Z)
How important are activation functions in regression and classification? A survey, performance comparison, and future directions [0.0]
我々は過去に採用されてきたアクティベーション機能と現在の最先端技術について調査する。近年,科学計算に関わる問題を解くために,物理インフォームド機械学習フレームワークが登場している。
論文参考訳（メタデータ） (2022-09-06T17:51:52Z)
Transformers with Learnable Activation Functions [63.98696070245065]
我々は、Rational Activation Function (RAF) を用いて、入力データに基づいてトレーニング中の最適なアクティベーション関数を学習する。 RAFは、学習されたアクティベーション関数に従って事前学習されたモデルを分析し、解釈するための新しい研究方向を開く。
論文参考訳（メタデータ） (2022-08-30T09:47:31Z)
Provable General Function Class Representation Learning in Multitask Bandits and MDPs [58.624124220900306]
マルチタスク表現学習は、サンプル効率を高めるために強化学習において一般的なアプローチである。本研究では,解析結果を一般関数クラス表現に拡張する。バンディットと線形MDPの一般関数クラスにおけるマルチタスク表現学習の利点を理論的に検証する。
論文参考訳（メタデータ） (2022-05-31T11:36:42Z)
Activation Functions: Dive into an optimal activation function [1.52292571922932]
既存のアクティベーション関数の重み付け和として定義することで、最適なアクティベーション関数を求める。この研究は、ReLU、tanh、 sinという3つのアクティベーション関数を3つの人気のある画像データセットに使用しています。
論文参考訳（メタデータ） (2022-02-24T12:44:11Z)
Evolution of Activation Functions: An Empirical Investigation [0.30458514384586394]
本研究は、完全に新しい活性化関数の探索を自動化する進化的アルゴリズムを提案する。これらの新しい活性化関数を、既存の一般的なアクティベーション関数と比較する。
論文参考訳（メタデータ） (2021-05-30T20:08:20Z)
Revisiting Initialization of Neural Networks [72.24615341588846]
ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。 Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
論文参考訳（メタデータ） (2020-04-20T18:12:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。