論文の概要: Stochastic Adaptive Activation Function
- arxiv url: http://arxiv.org/abs/2210.11672v1
- Date: Fri, 21 Oct 2022 01:57:25 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-24 13:16:11.217395
- Title: Stochastic Adaptive Activation Function
- Title（参考訳）: 確率適応活性化関数
- Authors: Kyungsu Lee, Jaeseung Yang, Haeyun Lee, and Jae Youn Hwang
- Abstract要約: 本研究では,単位の位置や入力の文脈に応じて,異なるしきい値と適応的なアクティベーションを促進する,シンプルで効果的なアクティベーション関数を提案する。
実験により,我々のアクティベーション関数は,多くのディープラーニングアプリケーションにおいて,より正確な予測と早期収束の利点を享受できることを示した。
- 参考スコア（独自算出の注目度）: 1.9199289015460212
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The simulation of human neurons and neurotransmission mechanisms has been
realized in deep neural networks based on the theoretical implementations of
activation functions. However, recent studies have reported that the threshold
potential of neurons exhibits different values according to the locations and
types of individual neurons, and that the activation functions have limitations
in terms of representing this variability. Therefore, this study proposes a
simple yet effective activation function that facilitates different thresholds
and adaptive activations according to the positions of units and the contexts
of inputs. Furthermore, the proposed activation function mathematically
exhibits a more generalized form of Swish activation function, and thus we
denoted it as Adaptive SwisH (ASH). ASH highlights informative features that
exhibit large values in the top percentiles in an input, whereas it rectifies
low values. Most importantly, ASH exhibits trainable, adaptive, and
context-aware properties compared to other activation functions. Furthermore,
ASH represents general formula of the previously studied activation function
and provides a reasonable mathematical background for the superior performance.
To validate the effectiveness and robustness of ASH, we implemented ASH into
many deep learning models for various tasks, including classification,
detection, segmentation, and image generation. Experimental analysis
demonstrates that our activation function can provide the benefits of more
accurate prediction and earlier convergence in many deep learning applications.
- Abstract（参考訳）: ヒトニューロンのシミュレーションと神経伝達機構は、活性化関数の理論的実装に基づくディープニューラルネットワークで実現されている。
しかし、近年の研究では、ニューロンの閾値電位は個々のニューロンの位置や種類によって異なる値を示し、活性化関数は、この変動性を表す点で制限されていると報告されている。
そこで本研究では,単位の位置や入力の文脈に応じて異なるしきい値や適応的なアクティベーションを容易にする,単純かつ効果的なアクティベーション関数を提案する。
さらに,提案したアクティベーション関数は,より一般化されたSwishアクティベーション関数を数学的に示し,Adaptive SwisH (ASH) と表現した。
ASHは入力中のトップパーセンタイルに大きな値を示す情報的特徴を強調し、低い値を修正する。
最も重要なことは、ASHは、他のアクティベーション機能と比較して、トレーニング可能、適応可能、およびコンテキスト対応の特性を示すことである。
さらに、ASHは以前に研究した活性化関数の一般公式を表し、優れた性能の数学的背景を提供する。
ASHの有効性とロバスト性を検証するため,分類,検出,セグメンテーション,画像生成など,さまざまなタスクの深層学習モデルにASHを実装した。
実験により,我々のアクティベーション関数は,多くのディープラーニングアプリケーションにおいて,より正確な予測と早期収束の利点を享受できることを示した。
関連論文リスト
- Not All Diffusion Model Activations Have Been Evaluated as Discriminative Features [115.33889811527533]
拡散モデルは当初、画像生成のために設計されている。
近年の研究では、バックボーンの内部シグナルはアクティベーションと呼ばれ、様々な識別タスクの高密度な特徴として機能することが示されている。
論文 参考訳（メタデータ） (2024-10-04T16:05:14Z) - Active Learning for Derivative-Based Global Sensitivity Analysis with Gaussian Processes [70.66864668709677]
高価なブラックボックス関数のグローバル感度解析におけるアクティブラーニングの問題点を考察する。
関数評価は高価であるため,最も価値の高い実験資源の優先順位付けにアクティブラーニングを利用する。
本稿では,デリバティブに基づくグローバル感度測定の重要量を直接対象とする,新たな能動的学習獲得関数を提案する。
論文 参考訳（メタデータ） (2024-07-13T01:41:12Z) - TSSR: A Truncated and Signed Square Root Activation Function for Neural
Networks [5.9622541907827875]
我々は、Trncated and Signed Square Root (TSSR) 関数と呼ばれる新しいアクティベーション関数を導入する。
この関数は奇数、非線形、単調、微分可能であるため特異である。
ニューラルネットワークの数値安定性を改善する可能性がある。
論文 参考訳（メタデータ） (2023-08-09T09:40:34Z) - GELU Activation Function in Deep Learning: A Comprehensive Mathematical
Analysis and Performance [2.458437232470188]
GELU活性化関数の可微分性, 有界性, 定常性, 滑らか性について検討した。
GELUは,他のアクティベーション機能と比較して優れた性能を示した。
論文 参考訳（メタデータ） (2023-05-20T03:22:43Z) - Globally Optimal Training of Neural Networks with Threshold Activation
Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。
ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文 参考訳（メタデータ） (2023-03-06T18:59:13Z) - A Neural Active Inference Model of Perceptual-Motor Learning [62.39667564455059]
アクティブ推論フレームワーク(英: active inference framework、AIF)は、現代の神経科学を基盤とした、有望な新しい計算フレームワークである。
本研究では,ヒトの視覚行動指導において,AIFが期待する役割を捉える能力をテストする。
本稿では,多次元世界状態から自由エネルギーの一次元分布にマッピングする先行関数の新たな定式化について述べる。
論文 参考訳（メタデータ） (2022-11-16T20:00:38Z) - How important are activation functions in regression and classification?
A survey, performance comparison, and future directions [0.0]
我々は過去に採用されてきたアクティベーション機能と現在の最先端技術について調査する。
近年,科学計算に関わる問題を解くために,物理インフォームド機械学習フレームワークが登場している。
論文 参考訳（メタデータ） (2022-09-06T17:51:52Z) - Transformers with Learnable Activation Functions [63.98696070245065]
我々は、Rational Activation Function (RAF) を用いて、入力データに基づいてトレーニング中の最適なアクティベーション関数を学習する。
RAFは、学習されたアクティベーション関数に従って事前学習されたモデルを分析し、解釈するための新しい研究方向を開く。
論文 参考訳（メタデータ） (2022-08-30T09:47:31Z) - A survey on modern trainable activation functions [0.0]
本稿では,訓練可能なアクティベーション関数の分類法を提案し,近年のモデルと過去のモデルの共通性と特異性を強調した。
提案手法の多くは、固定的な(訓練不能な)アクティベーション関数を使用するニューロン層の追加と等価であることを示す。
論文 参考訳（メタデータ） (2020-05-02T12:38:43Z) - Towards Efficient Processing and Learning with Spikes: New Approaches
for Multi-Spike Learning [59.249322621035056]
各種タスクにおける他のベースラインよりも優れた性能を示すための2つの新しいマルチスパイク学習ルールを提案する。
特徴検出タスクでは、教師なしSTDPの能力と、その制限を提示する能力を再検討する。
提案した学習ルールは,特定の制約を適用せずに,幅広い条件で確実にタスクを解くことができる。
論文 参考訳（メタデータ） (2020-05-02T06:41:20Z) - Evolutionary Optimization of Deep Learning Activation Functions [15.628118691027328]
進化的アルゴリズムは、Rectified Linear Unit(ReLU)より優れている新しいアクティベーション関数を発見できることを示す。
ReLUを活性化関数に置き換えると、統計的にネットワークの精度が向上する。
これらの新しい活性化関数は、タスク間で高いパフォーマンスを達成するために一般化される。
論文 参考訳（メタデータ） (2020-02-17T19:54:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。