論文の概要: VOWEL: A Local Online Learning Rule for Recurrent Networks of
Probabilistic Spiking Winner-Take-All Circuits
- arxiv url: http://arxiv.org/abs/2004.09416v1
- Date: Mon, 20 Apr 2020 16:21:18 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-11 17:27:37.243101
- Title: VOWEL: A Local Online Learning Rule for Recurrent Networks of
Probabilistic Spiking Winner-Take-All Circuits
- Title（参考訳）: VOWEL: 確率スパイク勝利者全回路のリカレントネットワークのためのローカルオンライン学習ルール
- Authors: Hyeryung Jang, Nicolas Skatchkovsky and Osvaldo Simeone
- Abstract要約: WTA-SNNは、値付き多値イベントの情報を検出することができる。
WTA-SNNをトレーニングするための既存のスキームは、レートエンコーディングソリューションに限られている。
VOWEL と呼ばれる WTA-SNN のための変動型オンラインローカルトレーニングルールを開発した。
- 参考スコア（独自算出の注目度）: 38.518936229794214
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Networks of spiking neurons and Winner-Take-All spiking circuits (WTA-SNNs)
can detect information encoded in spatio-temporal multi-valued events. These
are described by the timing of events of interest, e.g., clicks, as well as by
categorical numerical values assigned to each event, e.g., like or dislike.
Other use cases include object recognition from data collected by neuromorphic
cameras, which produce, for each pixel, signed bits at the times of
sufficiently large brightness variations. Existing schemes for training
WTA-SNNs are limited to rate-encoding solutions, and are hence able to detect
only spatial patterns. Developing more general training algorithms for
arbitrary WTA-SNNs inherits the challenges of training (binary) Spiking Neural
Networks (SNNs). These amount, most notably, to the non-differentiability of
threshold functions, to the recurrent behavior of spiking neural models, and to
the difficulty of implementing backpropagation in neuromorphic hardware. In
this paper, we develop a variational online local training rule for WTA-SNNs,
referred to as VOWEL, that leverages only local pre- and post-synaptic
information for visible circuits, and an additional common reward signal for
hidden circuits. The method is based on probabilistic generalized linear neural
models, control variates, and variational regularization. Experimental results
on real-world neuromorphic datasets with multi-valued events demonstrate the
advantages of WTA-SNNs over conventional binary SNNs trained with
state-of-the-art methods, especially in the presence of limited computing
resources.
- Abstract（参考訳）: スパイキングニューロンとWinner-Take-Allスパイキング回路(WTA-SNN)のネットワークは、時空間多値イベントに符号化された情報を検出することができる。
これらは、例えばクリックのような興味のあるイベントのタイミングや、各イベントに割り当てられたカテゴリー的な数値(例えば、好き嫌い)によって記述される。
その他のユースケースとしては、ニューロモルフィックカメラが収集したデータからのオブジェクト認識がある。
WTA-SNNをトレーニングするための既存のスキームはレートエンコーディングのソリューションに限られており、したがって空間パターンのみを検出することができる。
任意のWTA-SNNのためのより一般的なトレーニングアルゴリズムの開発は、トレーニング(バイナリ)スパイキングニューラルネットワーク(SNN)の課題を継承する。
これらの量は、特に閾値関数の非微分性、スパイク神経モデルの再発行動、神経形態的ハードウェアにおけるバックプロパゲーションの実装の難しさに寄与している。
本稿では,VOWELと呼ばれるWTA-SNNの局所的局所学習ルールを開発し,視覚回路に局所的前・後情報のみを活用するとともに,隠れ回路に共通報酬信号を追加する。
この方法は確率的一般化線形神経モデル、制御変数、変動正規化に基づいている。
多値イベントを持つ実世界のニューロモルフィックデータセットの実験結果は、特に限られた計算資源の存在下で、最先端の手法で訓練された従来のバイナリSNNよりもWTA-SNNの利点を示す。
関連論文リスト
- How neural networks learn to classify chaotic time series [77.34726150561087]
本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。
入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
論文 参考訳（メタデータ） (2023-06-04T08:53:27Z) - A Hybrid Neural Coding Approach for Pattern Recognition with Spiking
Neural Networks [53.31941519245432]
脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、パターン認識タスクを解く上で有望な能力を示している。
これらのSNNは、情報表現に一様神経コーディングを利用する同質ニューロンに基づいている。
本研究では、SNNアーキテクチャは異種符号化方式を組み込むよう、均質に設計されるべきである、と論じる。
論文 参考訳（メタデータ） (2023-05-26T02:52:12Z) - A Temporal Neural Network Architecture for Online Learning [0.6091702876917281]
時間的ニューラルネットワーク(TNN)は、相対スパイク時間として符号化された情報を通信し、処理する。
TNNアーキテクチャを提案し、概念実証として、オンライン教師付き分類のより大きな文脈でTNNの動作を示す。
論文 参考訳（メタデータ） (2020-11-27T17:15:29Z) - Spiking Neural Networks -- Part II: Detecting Spatio-Temporal Patterns [38.518936229794214]
スパイキングニューラルネットワーク(SNN)は、符号化された時間信号で情報を検出するユニークな能力を持つ。
SNNをリカレントニューラルネットワーク(RNN)とみなす支配的アプローチのためのモデルとトレーニングアルゴリズムについてレビューする。
スパイキングニューロンの確率モデルに頼り、勾配推定による局所学習規則の導出を可能にする別のアプローチについて述べる。
論文 参考訳（メタデータ） (2020-10-27T11:47:42Z) - Skip-Connected Self-Recurrent Spiking Neural Networks with Joint
Intrinsic Parameter and Synaptic Weight Training [14.992756670960008]
我々はSkip-Connected Self-Recurrent SNNs (ScSr-SNNs) と呼ばれる新しいタイプのRSNNを提案する。
ScSr-SNNは、最先端BP法で訓練された他のタイプのRSNNと比較して、パフォーマンスを最大2.55%向上させることができる。
論文 参考訳（メタデータ） (2020-10-23T22:27:13Z) - Exploiting Heterogeneity in Operational Neural Networks by Synaptic
Plasticity [87.32169414230822]
最近提案されたネットワークモデルであるオペレーショナルニューラルネットワーク(ONN)は、従来の畳み込みニューラルネットワーク(CNN)を一般化することができる。
本研究では, 生体ニューロンにおける本質的な学習理論を示すSynaptic Plasticityパラダイムに基づいて, ネットワークの隠蔽ニューロンに対する最強演算子集合の探索に焦点をあてる。
高難易度問題に対する実験結果から、神経細胞や層が少なくても、GISベースのONNよりも優れた学習性能が得られることが示された。
論文 参考訳（メタデータ） (2020-08-21T19:03:23Z) - Multi-Sample Online Learning for Probabilistic Spiking Neural Networks [43.8805663900608]
スパイキングニューラルネットワーク(SNN)は、推論と学習のための生物学的脳の効率の一部をキャプチャする。
本稿では,一般化予測最大化(GEM)に基づくオンライン学習ルールを提案する。
標準ニューロモルフィックデータセットにおける構造化された出力記憶と分類実験の結果,ログの類似性,精度,キャリブレーションの点で大きな改善が見られた。
論文 参考訳（メタデータ） (2020-07-23T10:03:58Z) - Modeling from Features: a Mean-field Framework for Over-parameterized
Deep Neural Networks [54.27962244835622]
本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。
このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。
本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
論文 参考訳（メタデータ） (2020-07-03T01:37:16Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-07-02T15:38:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。