論文の概要: Neural Network Structure Design based on N-Gauss Activation Function

• arxiv url: http://arxiv.org/abs/2106.07562v1
• Date: Tue, 1 Jun 2021 11:16:37 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-20 16:05:00.182247
• Title: Neural Network Structure Design based on N-Gauss Activation Function
• Title（参考訳）: N-Gauss活性化関数に基づくニューラルネットワーク構造設計
• Authors: Xiangri Lu, Hongbin Ma, Jingcheng Zhang
• Abstract要約: 我々は、MNIST、CIFAR10、CIFAR100を訓練するために、コアブロックN-Gauss、N-Gauss、Swishニューラルネットワーク構造設計を導入する。 N-Gaussは、深い畳み込みニューラルネットワークが階層的な非線形マッピング学習能力を持つように、活性化関数の非線形モデリングの主要な役割を果たす。
• 参考スコア（独自算出の注目度）: 0.2578242050187029
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent work has shown that the activation function of the convolutional neural network can meet the Lipschitz condition, then the corresponding convolutional neural network structure can be constructed according to the scale of the data set, and the data set can be trained more deeply, more accurately and more effectively. In this article, we have accepted the experimental results and introduced the core block N-Gauss, N-Gauss, and Swish (Conv1, Conv2, FC1) neural network structure design to train MNIST, CIFAR10, and CIFAR100 respectively. Experiments show that N-Gauss gives full play to the main role of nonlinear modeling of activation functions, so that deep convolutional neural networks have hierarchical nonlinear mapping learning capabilities. At the same time, the training ability of N-Gauss on simple one-dimensional channel small data sets is equivalent to the performance of ReLU and Swish.
• Abstract（参考訳）: 近年の研究では、畳み込みニューラルネットワークの活性化関数がリプシッツ条件を満たし、それに対応する畳み込みニューラルネットワーク構造をデータセットの規模に応じて構築することができ、データセットをより深く、より正確に、より効果的に訓練できることを示した。 本稿では,実験結果を受け入れ,コアブロックN-Gauss,N-Gauss,Swish(Conv1,Conv2,FC1)のニューラルネットワーク構造設計を導入し,それぞれMNIST,CIFAR10,CIFAR100を訓練した。 実験により、n-gaussはアクティベーション関数の非線形モデリングの主要な役割を果たすことが示され、ディープ畳み込みニューラルネットワークは階層的非線形マッピング学習能力を持つ。 同時に、単純な1次元チャネル小データセット上のN-Gaussのトレーニング能力は、ReLUとSwishの性能と同等である。

関連論文リスト

• ASU-CNN: An Efficient Deep Architecture for Image Classification and Feature Visualizations [0.0]
  活性化関数はディープニューラルネットワークの能力を決定する上で決定的な役割を果たす。 本稿では,ASU-CNNと呼ばれる畳み込みニューラルネットワークモデルを提案する。 ネットワークは、CIFAR-10の分類のためのトレーニングデータとテストデータの両方において有望な結果を得た。
  論文  参考訳（メタデータ） (2023-05-28T16:52:25Z)
• Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
  初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。 幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
  論文  参考訳（メタデータ） (2023-02-01T03:18:07Z)
• Extrapolation and Spectral Bias of Neural Nets with Hadamard Product: a Polynomial Net Study [55.12108376616355]
  NTKの研究は典型的なニューラルネットワークアーキテクチャに特化しているが、アダマール製品(NNs-Hp)を用いたニューラルネットワークには不完全である。 本研究では,ニューラルネットワークの特別なクラスであるNNs-Hpに対する有限幅Kの定式化を導出する。 我々は,カーネル回帰予測器と関連するNTKとの等価性を証明し,NTKの適用範囲を拡大する。
  論文  参考訳（メタデータ） (2022-09-16T06:36:06Z)
• Optimal Learning Rates of Deep Convolutional Neural Networks: Additive Ridge Functions [19.762318115851617]
  深部畳み込みニューラルネットワークにおける平均2乗誤差解析について考察する。 付加的なリッジ関数に対しては、畳み込みニューラルネットワークとReLUアクティベーション関数を併用した1つの完全連結層が最適極小値に到達できることが示される。
  論文  参考訳（メタデータ） (2022-02-24T14:22:32Z)
• Deep Kronecker neural networks: A general framework for neural networks with adaptive activation functions [4.932130498861987]
  我々は,適応的アクティベーション機能を持つニューラルネットワークの汎用フレームワークとして,新しいタイプのニューラルネットワークKronecker Neural Network(KNN)を提案する。 適切な条件下では、KNNはフィードフォワードネットワークによる損失よりも早く損失を減少させる。
  論文  参考訳（メタデータ） (2021-05-20T04:54:57Z)
• Non-linear Functional Modeling using Neural Networks [6.624726878647541]
  ニューラルネットワークに基づく関数型データのための非線形モデルの新たなクラスを導入する。 提案するフレームワークには,連続的な隠蔽層を持つ関数型ニューラルネットワークと,ベース拡張と連続隠蔽層を利用する第2バージョンという,2つのバリエーションがある。
  論文  参考訳（メタデータ） (2021-04-19T14:59:55Z)
• Exploiting Heterogeneity in Operational Neural Networks by Synaptic Plasticity [87.32169414230822]
  最近提案されたネットワークモデルであるオペレーショナルニューラルネットワーク(ONN)は、従来の畳み込みニューラルネットワーク(CNN)を一般化することができる。 本研究では, 生体ニューロンにおける本質的な学習理論を示すSynaptic Plasticityパラダイムに基づいて, ネットワークの隠蔽ニューロンに対する最強演算子集合の探索に焦点をあてる。 高難易度問題に対する実験結果から、神経細胞や層が少なくても、GISベースのONNよりも優れた学習性能が得られることが示された。
  論文  参考訳（メタデータ） (2020-08-21T19:03:23Z)
• Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
  本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
  論文  参考訳（メタデータ） (2020-07-03T01:37:16Z)
• FastONN -- Python based open-source GPU implementation for Operational Neural Networks [25.838282412957675]
  この作業では、オペレーショナルニューラルネットワークをトレーニングするための高速GPU対応ライブラリであるFastONNが導入されている。 FastONNは、オペレーショナルニューロンの新しいベクトル化された定式化に基づいている。 バンドルされた補助モジュールは、さまざまなデータパーティションとカスタマイズされたメトリクスにわたるパフォーマンストラッキングとチェックポイントのためのインターフェースを提供する。
  論文  参考訳（メタデータ） (2020-06-03T13:33:35Z)
• Self-Organized Operational Neural Networks with Generative Neurons [87.32169414230822]
  ONNは、任意の非線型作用素をカプセル化できる一般化されたニューロンモデルを持つ異種ネットワークである。 我々は,各接続の結節演算子を適応(最適化)できる生成ニューロンを有する自己組織型ONN(Self-ONNs)を提案する。
  論文  参考訳（メタデータ） (2020-04-24T14:37:56Z)
• Rectified Linear Postsynaptic Potential Function for Backpropagation in Deep Spiking Neural Networks [55.0627904986664]
  スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。 本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
  論文  参考訳（メタデータ） (2020-03-26T11:13:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。