論文の概要: Nonlinear computations in spiking neural networks through multiplicative
synapses
- arxiv url: http://arxiv.org/abs/2009.03857v4
- Date: Mon, 22 Nov 2021 10:41:58 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-20 21:11:56.741763
- Title: Nonlinear computations in spiking neural networks through multiplicative
synapses
- Title（参考訳）: 乗法的シナプスによるスパイクニューラルネットワークの非線形計算
- Authors: Michele Nardin, James W Phillips, William F Podlaski, Sander W Keemink
- Abstract要約: 非線形計算は、スパイクニューラルネットワークでうまく実装できる。
これは教師付きトレーニングを必要とし、その結果の接続性は解釈が難しい。
いくつかの非線形力学系において, 必要な接続性を直接導出する方法を示す。
- 参考スコア（独自算出の注目度）: 3.1498833540989413
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The brain efficiently performs nonlinear computations through its intricate
networks of spiking neurons, but how this is done remains elusive. While
nonlinear computations can be implemented successfully in spiking neural
networks, this requires supervised training and the resulting connectivity can
be hard to interpret. In contrast, the required connectivity for any
computation in the form of a linear dynamical system can be directly derived
and understood with the spike coding network (SCN) framework. These networks
also have biologically realistic activity patterns and are highly robust to
cell death. Here we extend the SCN framework to directly implement any
polynomial dynamical system, without the need for training. This results in
networks requiring a mix of synapse types (fast, slow, and multiplicative),
which we term multiplicative spike coding networks (mSCNs). Using mSCNs, we
demonstrate how to directly derive the required connectivity for several
nonlinear dynamical systems. We also show how to carry out higher-order
polynomials with coupled networks that use only pair-wise multiplicative
synapses, and provide expected numbers of connections for each synapse type.
Overall, our work demonstrates a novel method for implementing nonlinear
computations in spiking neural networks, while keeping the attractive features
of standard SCNs (robustness, realistic activity patterns, and interpretable
connectivity). Finally, we discuss the biological plausibility of our approach,
and how the high accuracy and robustness of the approach may be of interest for
neuromorphic computing.
- Abstract（参考訳）: 脳はスパイキングニューロンの複雑なネットワークを通して非線形計算を効率的に行うが、その方法はまだ解明されていない。
非線形計算はスパイクニューラルネットワークでうまく実装できるが、教師付きトレーニングが必要であり、その結果の接続性は解釈が難しい。
対照的に、線形力学系の形式での任意の計算に必要な接続性は、spike coding network (scn) フレームワークによって直接導出され、理解することができる。
これらのネットワークは生物学的に現実的な活動パターンを持ち、細胞死に対して非常に堅牢である。
ここでは、SCNフレームワークを拡張して、任意の多項式力学系を直接実装する。
この結果、乗算スパイク符号化ネットワーク(mSCN)と呼ばれるシナプス型(高速、低速、乗算)の混合を必要とするネットワークが得られる。
mSCNを用いて、非線形力学系において必要となる接続を直接導出する方法を実証する。
また,ペアワイズ乗算シナプスのみを使用する結合ネットワークを用いた高次多項式の実行方法を示し,各シナプスタイプに対して期待される接続数を提供する。
本研究は,従来のSCN(ロバスト性,現実的活動パターン,解釈可能な接続性)の魅力を保ちながら,スパイクニューラルネットワークに非線形計算を実装する新しい手法を示す。
最後に、我々のアプローチの生物学的妥当性と、そのアプローチの高精度性と堅牢性がニューロモルフィックコンピューティングの関心事である可能性について論じる。
関連論文リスト
- Time-independent Spiking Neuron via Membrane Potential Estimation for Efficient Spiking Neural Networks [4.142699381024752]
スパイキングニューラルネットワーク(SNN)の計算的非効率性は、主に膜電位の逐次更新によるものである。
スパイキングニューロンの並列計算法である膜電位推定並列スパイキングニューロン(MPE-PSN)を提案する。
提案手法では,特に高次ニューロン密度条件下での計算効率の向上が期待できる。
論文 参考訳（メタデータ） (2024-09-08T05:14:22Z) - Coding schemes in neural networks learning classification tasks [52.22978725954347]
完全接続型広義ニューラルネットワーク学習タスクについて検討する。
ネットワークが強力なデータ依存機能を取得することを示す。
驚くべきことに、内部表現の性質は神経の非線形性に大きく依存する。
論文 参考訳（メタデータ） (2024-06-24T14:50:05Z) - Biologically-Plausible Topology Improved Spiking Actor Network for Efficient Deep Reinforcement Learning [15.143466733327566]
近年の神経科学の進歩により、ヒトの脳は報酬に基づく効果的な学習を達成していることが明らかになった。
Deep Reinforcement Learning (DRL)の成功は主に、関数近似器としてArtificial Neural Networks (ANN)を活用することによる。
そこで我々は,機能近似の新たな代替手法として,生物学的に証明可能なトポロジー改良スパイキング・アクター・ネットワーク(BPT-SAN)を提案する。
論文 参考訳（メタデータ） (2024-03-29T13:25:19Z) - Fully Spiking Actor Network with Intra-layer Connections for
Reinforcement Learning [51.386945803485084]
エージェントが制御する多次元決定論的ポリシーを学習する必要があるタスクに焦点をあてる。
既存のスパイクベースのRL法は、SNNの出力として発火率を取り、完全に接続された層を通して連続的なアクション空間(つまり決定論的なポリシー)を表すように変換する。
浮動小数点行列操作を伴わない完全にスパイクするアクターネットワークを開発するため,昆虫に見られる非スパイク介在ニューロンからインスピレーションを得た。
論文 参考訳（メタデータ） (2024-01-09T07:31:34Z) - An exact mathematical description of computation with transient
spatiotemporal dynamics in a complex-valued neural network [33.7054351451505]
線形時間遅延相互作用を持つ複素数値ニューラルネットワーク(-NN)について検討する。
cv-NNは、部分的に同期したキメラ適応状態を含む洗練されたダイナミクスを表示する。
我々は,生体ニューロンによってcv-NN計算の計算が可能であることが実証された。
論文 参考訳（メタデータ） (2023-11-28T02:23:30Z) - How neural networks learn to classify chaotic time series [77.34726150561087]
本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。
入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
論文 参考訳（メタデータ） (2023-06-04T08:53:27Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳（メタデータ） (2022-11-19T15:44:08Z) - Gradient-based Neuromorphic Learning on Dynamical RRAM Arrays [3.5969667977870796]
我々は,完全分裂型スパイクニューラルネットワーク(MSNN)を学習するための勾配学習(MEMprop)を提案する。
本手法では, 自然に発生する電圧スパイクを発生させるために, 固有デバイスダイナミクスを利用する。
いくつかのベンチマークにおいて、以前報告した軽量高密度完全MSNN間の高い競争精度を得る。
論文 参考訳（メタデータ） (2022-06-26T23:13:34Z) - Optimal Approximation with Sparse Neural Networks and Applications [0.0]
深い疎結合ニューラルネットワークを用いて、関数クラスの複雑性を$L(mathbb Rd)$で測定する。
また、ニューラルネットワークを誘導する関数の可算コレクションである表現システムについても紹介する。
次に、レート歪曲理論とウェッジレット構成を用いて、$beta$マンガ的関数と呼ばれるクラスの複雑性を分析する。
論文 参考訳（メタデータ） (2021-08-14T05:14:13Z) - Reservoir Memory Machines as Neural Computers [70.5993855765376]
微分可能なニューラルネットワークは、干渉することなく明示的なメモリで人工ニューラルネットワークを拡張する。
我々は、非常に効率的に訓練できるモデルを用いて、微分可能なニューラルネットワークの計算能力を実現する。
論文 参考訳（メタデータ） (2020-09-14T12:01:30Z) - Neural Additive Models: Interpretable Machine Learning with Neural Nets [77.66871378302774]
ディープニューラルネットワーク(DNN)は、さまざまなタスクにおいて優れたパフォーマンスを達成した強力なブラックボックス予測器である。
本稿では、DNNの表現性と一般化した加法モデルの固有知性を組み合わせたニューラル付加モデル(NAM)を提案する。
NAMは、ニューラルネットワークの線形結合を学び、それぞれが単一の入力機能に付随する。
論文 参考訳（メタデータ） (2020-04-29T01:28:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。