論文の概要: A new activation for neural networks and its approximation
- arxiv url: http://arxiv.org/abs/2210.10264v1
- Date: Wed, 19 Oct 2022 02:59:31 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-20 15:56:30.836898
- Title: A new activation for neural networks and its approximation
- Title(参考訳): ニューラルネットワークの新たな活性化とその近似
- Authors: Jianfei Li, Han Feng and Ding-Xuan Zhou
- Abstract要約: そこで我々は,DLUと呼ばれる新しいアクティベーション関数を提案し,その様々な滑らかさと構造を持つ関数に対する近似能力について検討する。
我々の理論的結果は、DLUネットワークが有理およびReLUネットワークで競合近似性能を処理できることを示し、いくつかの利点がある。
- 参考スコア(独自算出の注目度): 8.164433158925593
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep learning with deep neural networks (DNNs) has attracted tremendous
attention from various fields of science and technology recently. Activation
functions for a DNN define the output of a neuron given an input or set of
inputs. They are essential and inevitable in learning non-linear
transformations and performing diverse computations among successive neuron
layers. Thus, the design of activation functions is still an important topic in
deep learning research. Meanwhile, theoretical studies on the approximation
ability of DNNs with activation functions have been investigated within the
last few years. In this paper, we propose a new activation function, named as
"DLU", and investigate its approximation ability for functions with various
smoothness and structures. Our theoretical results show that DLU networks can
process competitive approximation performance with rational and ReLU networks,
and have some advantages. Numerical experiments are conducted comparing DLU
with the existing activations-ReLU, Leaky ReLU, and ELU, which illustrate the
good practical performance of DLU.
- Abstract(参考訳): 深層ニューラルネットワーク(dnn)を用いたディープラーニングは、近年、さまざまな科学や技術分野から注目を集めている。
DNNの活性化関数は入力または入力セットが与えられたニューロンの出力を定義する。
これらは非線形変換を学習し、連続するニューロン層間で様々な計算を行う上で必須かつ必然的である。
したがって、アクティベーション関数の設計は、ディープラーニング研究において依然として重要なトピックである。
一方,近年,活性化機能を有するdnnの近似能力に関する理論的研究が進められている。
本稿では「DLU」と呼ばれる新しいアクティベーション関数を提案し,その様々な滑らかさと構造を持つ関数に対する近似能力について検討する。
我々の理論的結果は、DLUネットワークが有理およびReLUネットワークで競合近似性能を処理できることを示し、いくつかの利点がある。
DLUと既存のアクティベーションであるReLU、Leaky ReLU、ELUを比較し、DLUの実用的な性能を示す数値実験を行った。
関連論文リスト
- Feed-Forward Neural Networks as a Mixed-Integer Program [0.0]
本研究は手書き桁分類モデルを用いた実験を通じて提案手法の訓練と評価に焦点をあてる。
この研究は、トレーニングされたReLU NNの性能を評価し、NNのトレーニングプロセスの強化におけるMIP定式化の有効性に光を当てる。
論文 参考訳(メタデータ) (2024-02-09T02:23:37Z) - Artificial to Spiking Neural Networks Conversion for Scientific Machine
Learning [24.799635365988905]
物理インフォームドニューラルネットワーク(PINN)をスパイキングニューラルネットワーク(SNN)に変換する手法を提案する。
SNNは従来のニューラルネットワーク(ANN)と比較してエネルギー効率が高いと期待されている
論文 参考訳(メタデータ) (2023-08-31T00:21:27Z) - Graph Neural Networks Provably Benefit from Structural Information: A
Feature Learning Perspective [53.999128831324576]
グラフニューラルネットワーク(GNN)は、グラフ表現学習の先駆けとなった。
本研究では,特徴学習理論の文脈におけるグラフ畳み込みの役割について検討する。
論文 参考訳(メタデータ) (2023-06-24T10:21:11Z) - Computational and Storage Efficient Quadratic Neurons for Deep Neural
Networks [10.379191500493503]
実験により、提案した二次ニューロン構造は、様々なタスクにおいて優れた計算効率と記憶効率を示すことが示された。
本研究は、2次計算情報の高度活用によって区別される2次ニューロンアーキテクチャを導入する。
論文 参考訳(メタデータ) (2023-06-10T11:25:31Z) - Transferability of coVariance Neural Networks and Application to
Interpretable Brain Age Prediction using Anatomical Features [119.45320143101381]
グラフ畳み込みネットワーク(GCN)は、トポロジー駆動のグラフ畳み込み演算を利用して、推論タスクのためにグラフをまたいだ情報を結合する。
我々は、共分散行列をグラフとして、共分散ニューラルネットワーク(VNN)の形でGCNを研究した。
VNNは、GCNからスケールフリーなデータ処理アーキテクチャを継承し、ここでは、共分散行列が極限オブジェクトに収束するデータセットに対して、VNNが性能の転送可能性を示すことを示す。
論文 参考訳(メタデータ) (2023-05-02T22:15:54Z) - Linear Leaky-Integrate-and-Fire Neuron Model Based Spiking Neural
Networks and Its Mapping Relationship to Deep Neural Networks [7.840247953745616]
スパイキングニューラルネットワーク(SNN)は、生物学的可視性や教師なし学習能力など、脳にインスパイアされた機械学習アルゴリズムである。
本稿では,リニアリーキー・インテグレート・アンド・ファイア・モデル(LIF/SNN)の生物学的パラメータとReLU-AN/Deep Neural Networks(DNN)のパラメータとの正確な数学的マッピングを確立する。
論文 参考訳(メタデータ) (2022-05-31T17:02:26Z) - Self-Supervised Learning of Event-Based Optical Flow with Spiking Neural
Networks [3.7384509727711923]
ニューロモルフィックコンピューティングの大きな課題は、従来の人工ニューラルネットワーク(ANN)の学習アルゴリズムがスパイクニューラルネットワーク(SNN)に直接転送されないことである。
本稿では,イベントベースカメラ入力からの光フロー推定における自己教師型学習問題に着目した。
提案するANNとSNNの性能は,自己教師型で訓練された現在の最先端のANNと同等であることを示す。
論文 参考訳(メタデータ) (2021-06-03T14:03:41Z) - Neuroevolution of a Recurrent Neural Network for Spatial and Working
Memory in a Simulated Robotic Environment [57.91534223695695]
我々は,ラットで観察される行動と神経活動を再現する進化的アルゴリズムを用いて,生物学的に有意なリカレントニューラルネットワーク(RNN)でウェイトを進化させた。
提案手法は, 進化したRNNの動的活動が, 興味深く複雑な認知行動をどのように捉えているかを示す。
論文 参考訳(メタデータ) (2021-02-25T02:13:52Z) - How Neural Networks Extrapolate: From Feedforward to Graph Neural
Networks [80.55378250013496]
勾配勾配降下法によりトレーニングされたニューラルネットワークが、トレーニング分布の支持の外で学んだことを外挿する方法について検討する。
グラフニューラルネットワーク(GNN)は、より複雑なタスクでいくつかの成功を収めている。
論文 参考訳(メタデータ) (2020-09-24T17:48:59Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳(メタデータ) (2020-07-02T15:38:44Z) - Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。
コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
論文 参考訳(メタデータ) (2020-02-02T21:09:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。