論文の概要: A New Artificial Neuron Proposal with Trainable Simultaneous Local and
Global Activation Function
- arxiv url: http://arxiv.org/abs/2101.06100v1
- Date: Fri, 15 Jan 2021 13:34:49 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-28 11:12:58.484603
- Title: A New Artificial Neuron Proposal with Trainable Simultaneous Local and
Global Activation Function
- Title（参考訳）: 学習可能な局所的および大域的活性化機能を有する新しい人工ニューロンの提案
- Authors: Tiago A. E. Ferreira and Marios Mattheakis and Pavlos Protopapas
- Abstract要約: 本研究は,グローバルニューロンとローカルニューロンの2成分からなる学習可能な活性化機能を持つ,新しい人工ニューロンであるglobal-local neuronを提案する。
実験により、Global-Local Neuron Network は、sine や hyperbolic tangent の活性化機能を持つ単純なニューラルネットワークと比較して、優れた性能を示した。
- 参考スコア（独自算出の注目度）: 1.6371837018687636
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: The activation function plays a fundamental role in the artificial neural
network learning process. However, there is no obvious choice or procedure to
determine the best activation function, which depends on the problem. This
study proposes a new artificial neuron, named global-local neuron, with a
trainable activation function composed of two components, a global and a local.
The global component term used here is relative to a mathematical function to
describe a general feature present in all problem domain. The local component
is a function that can represent a localized behavior, like a transient or a
perturbation. This new neuron can define the importance of each activation
function component in the learning phase. Depending on the problem, it results
in a purely global, or purely local, or a mixed global and local activation
function after the training phase. Here, the trigonometric sine function was
employed for the global component and the hyperbolic tangent for the local
component. The proposed neuron was tested for problems where the target was a
purely global function, or purely local function, or a composition of two
global and local functions. Two classes of test problems were investigated,
regression problems and differential equations solving. The experimental tests
demonstrated the Global-Local Neuron network's superior performance, compared
with simple neural networks with sine or hyperbolic tangent activation
function, and with a hybrid network that combines these two simple neural
networks.
- Abstract（参考訳）: 活性化関数は、ニューラルネットワーク学習プロセスにおいて基本的な役割を果たす。
しかし、最適なアクティベーション関数を決定するための明確な選択や手順は、問題によって異なる。
本研究は,グローバルニューロンとローカルニューロンの2成分からなる学習可能な活性化機能を持つ,新しい人工ニューロンであるglobal-local neuronを提案する。
ここで用いられる大域的成分項は、すべての問題領域に存在する一般的な特徴を記述する数学的関数に対して相対的である。
ローカルコンポーネントは、過渡性や摂動のような局所的な振る舞いを表現できる関数である。
この新しいニューロンは、学習段階における各活性化関数コンポーネントの重要性を定義することができる。
問題によっては、純粋なグローバル、または純粋にローカル、あるいはトレーニングフェーズ後のグローバルとローカルのアクティベーション関数が混在する。
ここでは, 大域成分には三角関数, 局所成分には双曲接を用いていた。
提案するニューロンは,対象が純粋に大域的な機能,あるいは純粋に局所的な機能,あるいは二つの大域的機能と局所的な機能の組み合わせである問題に対してテストを行った。
回帰問題と微分方程式解の2つのクラスについて検討した。
実験により、Global-Local Neuron Networkは、正弦あるいは双曲的タンジェント活性化機能を持つ単純なニューラルネットワークと、これら2つの単純なニューラルネットワークを組み合わせたハイブリッドネットワークと比較して、優れた性能を示した。
関連論文リスト
- Simple and Effective Transfer Learning for Neuro-Symbolic Integration [50.592338727912946]
この問題の潜在的な解決策はNeuro-Symbolic Integration (NeSy)であり、ニューラルアプローチとシンボリック推論を組み合わせる。
これらの手法のほとんどは、認識をシンボルにマッピングするニューラルネットワークと、下流タスクの出力を予測する論理的論理的推論を利用する。
それらは、緩やかな収束、複雑な知覚タスクの学習困難、局所的なミニマへの収束など、いくつかの問題に悩まされている。
本稿では,これらの問題を改善するための簡易かつ効果的な方法を提案する。
論文 参考訳（メタデータ） (2024-02-21T15:51:01Z) - Emergent Modularity in Pre-trained Transformers [127.08792763817496]
モジュラリティの主な特徴は、ニューロンの機能的特殊化と機能に基づくニューロングループ化である。
事前学習中にモジュラリティがどのように出現するかを調べた結果,モジュール構造が早期に安定していることが判明した。
このことはトランスフォーマーがまずモジュラ構造を構築し、次にきめ細かいニューロン関数を学ぶことを示唆している。
論文 参考訳（メタデータ） (2023-05-28T11:02:32Z) - Two-argument activation functions learn soft XOR operations like
cortical neurons [6.88204255655161]
本研究では,基底と円錐状デンドライトに類似した2つの入力引数で正準活性化関数を学習する。
顕著なことに、結果として生じる非線形性はしばしばソフトなXOR関数を生成する。
これらの非線形性を持つネットワークは、一致したパラメータ数を持つ従来のReLU非線形性よりも高速に学習し、性能が向上する。
論文 参考訳（メタデータ） (2021-10-13T17:06:20Z) - Growing Cosine Unit: A Novel Oscillatory Activation Function That Can
Speedup Training and Reduce Parameters in Convolutional Neural Networks [0.1529342790344802]
畳み込みニューラルネットワークは多くの社会的に重要で経済的に重要な問題を解くことに成功した。
ディープネットワークのトレーニングを可能にする重要な発見は、Rectified Linear Unit (ReLU) アクティベーション機能の採用であった。
新しい活性化関数 C(z) = z cos z は様々なアーキテクチャ上で Sigmoids, Swish, Mish, ReLU より優れる。
論文 参考訳（メタデータ） (2021-08-30T01:07:05Z) - Activation Functions in Artificial Neural Networks: A Systematic
Overview [0.3553493344868413]
活性化関数は人工ニューロンの出力を形成する。
本稿では、一般的なアクティベーション関数とその特性の解析的かつ最新の概要を提供する。
論文 参考訳（メタデータ） (2021-01-25T08:55:26Z) - Topological obstructions in neural networks learning [67.8848058842671]
損失勾配関数フローのグローバル特性について検討する。
損失関数とそのモースコンプレックスの位相データ解析を用いて,損失面の大域的特性と勾配軌道に沿った局所的挙動を関連付ける。
論文 参考訳（メタデータ） (2020-12-31T18:53:25Z) - Comparisons among different stochastic selection of activation layers
for convolutional neural networks for healthcare [77.99636165307996]
ニューラルネットワークのアンサンブルを用いて生体医用画像の分類を行う。
ReLU, leaky ReLU, Parametric ReLU, ELU, Adaptive Piecewice Linear Unit, S-Shaped ReLU, Swish, Mish, Mexican Linear Unit, Parametric Deformable Linear Unit, Soft Root Sign。
論文 参考訳（メタデータ） (2020-11-24T01:53:39Z) - UNIPoint: Universally Approximating Point Processes Intensities [125.08205865536577]
学習可能な関数のクラスが任意の有効な強度関数を普遍的に近似できることを示す。
ニューラルポイントプロセスモデルであるUNIPointを実装し,各イベントの基底関数の和をパラメータ化するために,リカレントニューラルネットワークを用いた。
論文 参考訳（メタデータ） (2020-07-28T09:31:56Z) - Advantages of biologically-inspired adaptive neural activation in RNNs
during learning [10.357949759642816]
生体ニューロンの入力周波数応答曲線にインスパイアされた非線形活性化関数のパラメトリックファミリーを導入する。
アクティベーション適応はタスク固有のソリューションを提供し、場合によっては学習速度と性能の両方を改善する。
論文 参考訳（メタデータ） (2020-06-22T13:49:52Z) - Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。
コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
論文 参考訳（メタデータ） (2020-02-02T21:09:39Z) - Learning Neural Activations [2.842794675894731]
人工ニューラルネットワークにおける各ニューロンの活性化関数がデータのみから学習されるとどうなるかを検討する。
これは、各ニューロンの活性化機能を、元のネットワーク内のすべてのニューロンによって共有される小さなニューラルネットワークとしてモデル化することで達成される。
論文 参考訳（メタデータ） (2019-12-27T15:52:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。