論文の概要: Super Neurons
- arxiv url: http://arxiv.org/abs/2109.01594v1
- Date: Tue, 3 Aug 2021 16:17:45 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-20 00:28:44.335890
- Title: Super Neurons
- Title（参考訳）: 超ニューロン
- Authors: Serkan Kiranyaz, Junaid Malik, Mehmet Yamac, Esin Guldogan, Turker
Ince, and Moncef Gabbouj
- Abstract要約: 生成ニューロンで構成される自己組織型ONN(Self-ONNs)は、最も多様性の高いレベルを達成することができる。
本研究では、カーネルサイズを変えることなくこれを実現できる超(生成的な)ニューロンモデルを紹介する。
- 参考スコア（独自算出の注目度）: 20.494848718159798
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Operational Neural Networks (ONNs) are new generation network models that can
perform any (non-linear) transformation with a proper combination of "nodal"
and "pool" operators. However, they still have a certain restriction, which is
the sole usage of a single nodal operator for all (synaptic) connections of
each neuron. The idea behind the "generative neurons" was born as a remedy for
this restriction where each nodal operator can be "customized" during the
training in order to maximize the learning performance. Self-Organized ONNs
(Self-ONNs) composed with the generative neurons can achieve an utmost level of
diversity even with a compact configuration; however, it still suffers from the
last property that was inherited from the CNNs: localized kernel operations
which imposes a severe limitation to the information flow between layers. It
is, therefore, desirable for the neurons to gather information from a larger
area in the previous layer maps without increasing the kernel size. For certain
applications, it might be even more desirable "to learn" the kernel locations
of each connection during the training process along with the customized nodal
operators so that both can be optimized simultaneously. This study introduces
the super (generative) neuron models that can accomplish this without altering
the kernel sizes and will enable a significant diversity in terms of
information flow. The two models of super neurons proposed in this study vary
on the localization process of the kernels: i) randomly localized kernels
within a bias range set for each layer, ii) optimized locations of each kernel
during the Back-Propagation (BP) training. The extensive set of comparative
evaluations show that Self-ONNs with super-neurons can indeed achieve a
superior learning and generalization capability without any significant rise of
the computational complexity.
- Abstract（参考訳）: オペレーショナルニューラルネットワーク(onns)は、"nodal"と"pool"演算子を適切に組み合わせて、任意の(非線形)変換を実行できる新しい世代のネットワークモデルである。
しかし、それらには一定の制限があり、これは各ニューロンの全ての(シナプス的)接続に対する単一の節演算子のみの使用である。
生成ニューロン」の背後にある考え方は、学習性能を最大化するために訓練中に各ノーダル演算子を「カスタマイズ」できるこの制限の修正として生まれた。
生成ニューロンからなる自己組織型onn(self-onns)は、コンパクトな構成でも最多の多様性を達成することができるが、cnnから受け継いだ最後の特性、すなわち、層間の情報フローに厳しい制限を課すローカライズされたカーネル操作にはまだ苦しんでいる。
したがって、ニューロンは、カーネルサイズを増加させることなく、前層マップのより大きな領域から情報を集めることが望ましい。
特定のアプリケーションでは、トレーニングプロセス中の各コネクションのカーネルロケーションと、カスタマイズされたnodal演算子を同時に最適化できるように"学習"することがより望ましいかもしれません。
本研究では,カーネルサイズを変更することなくこれを実現できるスーパー(生成的)ニューロンモデルを導入し,情報フローの面で大きな多様性を実現する。
本研究で提案されるスーパーニューロンの2つのモデルは、カーネルの局在過程によって異なる。
一 各層に設定されたバイアス範囲内のランダムな局在化カーネル
二 バックプロパゲーション(BP)トレーニング中に各カーネルの位置を最適化すること。
超ニューロンを持つ自己ONNは、計算複雑性の著しい増加を伴わずに、優れた学習能力と一般化能力が得られることを示す。
関連論文リスト
- Novel Kernel Models and Exact Representor Theory for Neural Networks Beyond the Over-Parameterized Regime [52.00917519626559]
本稿では、ニューラルネットワークの2つのモデルと、任意の幅、深さ、トポロジーのニューラルネットワークに適用可能なトレーニングについて述べる。
また、局所外在性神経核(LeNK)の観点から、非正規化勾配降下を伴う階層型ニューラルネットワークトレーニングのための正確な表現子理論を提示する。
この表現論は、ニューラルネットワークトレーニングにおける高次統計学の役割と、ニューラルネットワークのカーネルモデルにおけるカーネル進化の影響について洞察を与える。
論文 参考訳（メタデータ） (2024-05-24T06:30:36Z) - Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。
幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
論文 参考訳（メタデータ） (2023-02-01T03:18:07Z) - Spiking neural network for nonlinear regression [68.8204255655161]
スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。
彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。
スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
論文 参考訳（メタデータ） (2022-10-06T13:04:45Z) - Why Quantization Improves Generalization: NTK of Binary Weight Neural
Networks [33.08636537654596]
ニューラルネットワークにおける二分重みを、ラウンドリングの下でのランダム変数とみなし、ニューラルネットワークの異なる層上での分布伝搬について検討する。
本研究では,連続パラメータとスムーズなアクティベーション関数を持つニューラルネットワークである分布伝搬を近似する準ニューラルネットワークを提案する。
論文 参考訳（メタデータ） (2022-06-13T06:11:21Z) - Deep Learning in Random Neural Fields: Numerical Experiments via Neural
Tangent Kernel [10.578941575914516]
大脳皮質の生物学的ニューラルネットワークは神経野を形成する。
野のニューロンは独自の受容野を持ち、2つのニューロン間の接続重みはランダムであるが、受容野に近接しているときに非常に相関している。
このような多層ニューラルネットワークは、ノイズ障害によって入力パターンが変形する場合、従来のモデルよりも頑健であることを示す。
論文 参考訳（メタデータ） (2022-02-10T18:57:10Z) - POPPINS : A Population-Based Digital Spiking Neuromorphic Processor with
Integer Quadratic Integrate-and-Fire Neurons [50.591267188664666]
2つの階層構造を持つ180nmプロセス技術において,集団に基づくディジタルスパイキングニューロモルフィックプロセッサを提案する。
提案手法は,生体模倣型ニューロモルフィックシステム,低消費電力,低遅延推論処理アプリケーションの開発を可能にする。
論文 参考訳（メタデータ） (2022-01-19T09:26:34Z) - Improving Spiking Neural Network Accuracy Using Time-based Neurons [0.24366811507669117]
アナログニューロンを用いた低消費電力スパイクニューラルネットワークに基づくニューロモルフィックコンピューティングシステムの研究が注目されている。
技術のスケールダウンに伴い、アナログニューロンはスケールが難しく、電圧ヘッドルーム/ダイナミックレンジの減少と回路の非線形性に悩まされる。
本稿では,28nmプロセスで設計した既存の電流ミラー型電圧ドメインニューロンの非線形挙動をモデル化し,ニューロンの非線形性の影響によりSNN推定精度を著しく劣化させることができることを示す。
本稿では,時間領域のスパイクを処理し,線形性を大幅に向上させる新しいニューロンを提案する。
論文 参考訳（メタデータ） (2022-01-05T00:24:45Z) - The Separation Capacity of Random Neural Networks [78.25060223808936]
標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。
我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
論文 参考訳（メタデータ） (2021-07-31T10:25:26Z) - Continual Learning with Deep Artificial Neurons [0.0]
本稿では,Deep Artificial Neurons (DAN)を導入し,ディープニューラルネットワークとして実現した。
ネットワーク内のすべてのDANが共有する神経表現型をダブする単一パラメータベクトルをメタ学習することが可能であることを示す。
適切な神経表現型は,最小限の忘れを伴ってシナプスを更新する能力を持つ単一ネットワークを育むことができることを示す。
論文 参考訳（メタデータ） (2020-11-13T17:50:10Z) - Exploiting Heterogeneity in Operational Neural Networks by Synaptic
Plasticity [87.32169414230822]
最近提案されたネットワークモデルであるオペレーショナルニューラルネットワーク(ONN)は、従来の畳み込みニューラルネットワーク(CNN)を一般化することができる。
本研究では, 生体ニューロンにおける本質的な学習理論を示すSynaptic Plasticityパラダイムに基づいて, ネットワークの隠蔽ニューロンに対する最強演算子集合の探索に焦点をあてる。
高難易度問題に対する実験結果から、神経細胞や層が少なくても、GISベースのONNよりも優れた学習性能が得られることが示された。
論文 参考訳（メタデータ） (2020-08-21T19:03:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。