論文の概要: ResNets, NeuralODEs and CT-RNNs are Particular Neural Regulatory Networks

• arxiv url: http://arxiv.org/abs/2002.12776v3
• Date: Thu, 19 Mar 2020 07:20:12 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-28 15:54:00.857472
• Title: ResNets, NeuralODEs and CT-RNNs are Particular Neural Regulatory Networks
• Title（参考訳）: ResNets、NeuralODEs、CT-RNNsは、特にニューラルレギュレータネットワークである
• Authors: Radu Grosu
• Abstract要約: 本稿では、ResNet、NeuralODE、CT-RNNが特定のニューラルネットワーク(NRN)であることを示す。 NRNは、C.elegans nematodeのような小さな種や大型種の網膜で遭遇する非スパイキングニューロンの生体物理モデルである。 与えられた近似タスクに対して、この相当な簡潔さは、非常に小さく、従って理解可能なNRNを学ぶことができる。
• 参考スコア（独自算出の注目度）: 10.518340300810504
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper shows that ResNets, NeuralODEs, and CT-RNNs, are particular neural regulatory networks (NRNs), a biophysical model for the nonspiking neurons encountered in small species, such as the C.elegans nematode, and in the retina of large species. Compared to ResNets, NeuralODEs and CT-RNNs, NRNs have an additional multiplicative term in their synaptic computation, allowing them to adapt to each particular input. This additional flexibility makes NRNs $M$ times more succinct than NeuralODEs and CT-RNNs, where $M$ is proportional to the size of the training set. Moreover, as NeuralODEs and CT-RNNs are $N$ times more succinct than ResNets, where $N$ is the number of integration steps required to compute the output $F(x)$ for a given input $x$, NRNs are in total $M\,{\cdot}\,N$ more succinct than ResNets. For a given approximation task, this considerable succinctness allows to learn a very small and therefore understandable NRN, whose behavior can be explained in terms of well established architectural motifs, that NRNs share with gene regulatory networks, such as, activation, inhibition, sequentialization, mutual exclusion, and synchronization. To the best of our knowledge, this paper unifies for the first time the mainstream work on deep neural networks with the one in biology and neuroscience in a quantitative fashion.
• Abstract（参考訳）: 本稿では、ResNets、NeuralODEs、CT-RNNsが、C.elegans nematodeなどの小型種や大型種の網膜で遭遇する非スパイキングニューロンの生体物理モデルである、特定の神経調節ネットワーク(NRNs)であることを示す。 ResNets、NeuralODEs、CT-RNNと比較すると、NRNはシナプス計算にさらに乗算項を持ち、それぞれの入力に適応することができる。 この柔軟性により、NRNはNeuralODEやCT-RNNよりも簡潔になり、M$はトレーニングセットのサイズに比例する。 さらに、NeuralODEsとCT-RNNはResNetsよりも簡潔な$N$であり、$N$は出力の計算に必要な積分ステップの数である$F(x)$は与えられた入力の$x$に対して、NRNはResNetsより簡潔な$M\,{\cdot}\,N$である。 与えられた近似タスクに対して、このかなりの簡潔さは、非常に小さく、従って理解可能なnrnを学習することを可能にする。nrnは、活性化、抑制、シーケンシャル化、相互排他、同期といった遺伝子制御ネットワークと共有する、確立されたアーキテクチャモチーフの観点から説明できる。 我々の知る限りでは、この論文は、ディープニューラルネットワークに関する主要な研究と、生物学と神経科学の分野を定量的に比較した初めてのものである。

関連論文リスト

• Accurate Mapping of RNNs on Neuromorphic Hardware with Adaptive Spiking Neurons [2.9410174624086025]
  我々は、SigmaDelta$-low-pass RNN(lpRNN)を、レートベースのRNNをスパイクニューラルネットワーク(SNN)にマッピングするために提示する。 適応スパイキングニューロンモデルは、$SigmaDelta$-modulationを使って信号を符号化し、正確なマッピングを可能にする。 我々は、Intelのニューロモルフィック研究チップLoihiにおけるlpRNNの実装を実演する。
  論文  参考訳（メタデータ） (2024-07-18T14:06:07Z)
• Novel Kernel Models and Exact Representor Theory for Neural Networks Beyond the Over-Parameterized Regime [52.00917519626559]
  本稿では、ニューラルネットワークの2つのモデルと、任意の幅、深さ、トポロジーのニューラルネットワークに適用可能なトレーニングについて述べる。 また、局所外在性神経核(LeNK)の観点から、非正規化勾配降下を伴う階層型ニューラルネットワークトレーニングのための正確な表現子理論を提示する。 この表現論は、ニューラルネットワークトレーニングにおける高次統計学の役割と、ニューラルネットワークのカーネルモデルにおけるカーネル進化の影響について洞察を与える。
  論文  参考訳（メタデータ） (2024-05-24T06:30:36Z)
• Random-coupled Neural Network [17.53731608985241]
  パルス結合ニューラルネットワーク(PCNN)は、コンピュータビジョンとニューラルネットワークの分野における人間の脳の特徴を模倣するためのよく応用されたモデルである。 本研究では,ランダム結合ニューラルネットワーク(RCNN)を提案する。 ランダム不活性化プロセスを通じて、PCNNのニューロモルフィックコンピューティングの困難を克服する。
  論文  参考訳（メタデータ） (2024-03-26T09:13:06Z)
• A Hybrid Neural Coding Approach for Pattern Recognition with Spiking Neural Networks [53.31941519245432]
  脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、パターン認識タスクを解く上で有望な能力を示している。 これらのSNNは、情報表現に一様神経コーディングを利用する同質ニューロンに基づいている。 本研究では、SNNアーキテクチャは異種符号化方式を組み込むよう、均質に設計されるべきである、と論じる。
  論文  参考訳（メタデータ） (2023-05-26T02:52:12Z)
• Extrapolation and Spectral Bias of Neural Nets with Hadamard Product: a Polynomial Net Study [55.12108376616355]
  NTKの研究は典型的なニューラルネットワークアーキテクチャに特化しているが、アダマール製品(NNs-Hp)を用いたニューラルネットワークには不完全である。 本研究では,ニューラルネットワークの特別なクラスであるNNs-Hpに対する有限幅Kの定式化を導出する。 我々は,カーネル回帰予測器と関連するNTKとの等価性を証明し,NTKの適用範囲を拡大する。
  論文  参考訳（メタデータ） (2022-09-16T06:36:06Z)
• Linear Leaky-Integrate-and-Fire Neuron Model Based Spiking Neural Networks and Its Mapping Relationship to Deep Neural Networks [7.840247953745616]
  スパイキングニューラルネットワーク(SNN)は、生物学的可視性や教師なし学習能力など、脳にインスパイアされた機械学習アルゴリズムである。 本稿では,リニアリーキー・インテグレート・アンド・ファイア・モデル(LIF/SNN)の生物学的パラメータとReLU-AN/Deep Neural Networks(DNN)のパラメータとの正確な数学的マッピングを確立する。
  論文  参考訳（メタデータ） (2022-05-31T17:02:26Z)
• Combining Spiking Neural Network and Artificial Neural Network for Enhanced Image Classification [1.8411688477000185]
  生物学的脳シナプスによく似たSNN(spiking neural Network)は、低消費電力のために注目を集めている。 我々は、関係する性能を改善する汎用ハイブリッドニューラルネットワーク(hnn)を構築した。
  論文  参考訳（メタデータ） (2021-02-21T12:03:16Z)
• Exploiting Heterogeneity in Operational Neural Networks by Synaptic Plasticity [87.32169414230822]
  最近提案されたネットワークモデルであるオペレーショナルニューラルネットワーク(ONN)は、従来の畳み込みニューラルネットワーク(CNN)を一般化することができる。 本研究では, 生体ニューロンにおける本質的な学習理論を示すSynaptic Plasticityパラダイムに基づいて, ネットワークの隠蔽ニューロンに対する最強演算子集合の探索に焦点をあてる。 高難易度問題に対する実験結果から、神経細胞や層が少なくても、GISベースのONNよりも優れた学習性能が得られることが示された。
  論文  参考訳（メタデータ） (2020-08-21T19:03:23Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• Self-Organized Operational Neural Networks with Generative Neurons [87.32169414230822]
  ONNは、任意の非線型作用素をカプセル化できる一般化されたニューロンモデルを持つ異種ネットワークである。 我々は,各接続の結節演算子を適応(最適化)できる生成ニューロンを有する自己組織型ONN(Self-ONNs)を提案する。
  論文  参考訳（メタデータ） (2020-04-24T14:37:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。