論文の概要: Learning to Time-Decode in Spiking Neural Networks Through the
Information Bottleneck
- arxiv url: http://arxiv.org/abs/2106.01177v1
- Date: Wed, 2 Jun 2021 14:14:47 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-03 21:18:44.698883
- Title: Learning to Time-Decode in Spiking Neural Networks Through the
Information Bottleneck
- Title(参考訳): 情報ボトルネックによるスパイクニューラルネットワークの時間デコードへの学習
- Authors: Nicolas Skatchkovsky, Osvaldo Simeone, Hyeryung Jang
- Abstract要約: スパイキングニューラルネットワーク(SNN)をトレーニングする上で重要な課題の1つは、ターゲット出力が通常、自然な信号の形で現れることである。
これは、ターゲットのスパイク信号を手作りして、スパイクを自然な信号にデコードするメカニズムを暗黙的に修正する。
本研究では、符号化SNNと復号ニューラルネットワークからなるハイブリッド変分オートエンコーダアーキテクチャを導入する。
- 参考スコア(独自算出の注目度): 37.376989855065545
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: One of the key challenges in training Spiking Neural Networks (SNNs) is that
target outputs typically come in the form of natural signals, such as labels
for classification or images for generative models, and need to be encoded into
spikes. This is done by handcrafting target spiking signals, which in turn
implicitly fixes the mechanisms used to decode spikes into natural signals,
e.g., rate decoding. The arbitrary choice of target signals and decoding rule
generally impairs the capacity of the SNN to encode and process information in
the timing of spikes. To address this problem, this work introduces a hybrid
variational autoencoder architecture, consisting of an encoding SNN and a
decoding Artificial Neural Network (ANN). The role of the decoding ANN is to
learn how to best convert the spiking signals output by the SNN into the target
natural signal. A novel end-to-end learning rule is introduced that optimizes a
directed information bottleneck training criterion via surrogate gradients. We
demonstrate the applicability of the technique in an experimental settings on
various tasks, including real-life datasets.
- Abstract(参考訳): スパイキングニューラルネットワーク(SNN)のトレーニングにおける重要な課題の1つは、ターゲットの出力は通常、分類のラベルや生成モデルの画像のような自然な信号の形で発生し、スパイクにエンコードする必要があることである。
これはターゲットスパイキング信号を手作りすることで行われ、スパイクを自然信号(例えばレートデコード)にデコードするメカニズムを暗黙的に修正する。
ターゲット信号と復号規則の任意の選択は、一般的にスパイクのタイミングで情報をエンコードし処理するsnの能力を損なう。
この問題に対処するため、この研究は、符号化SNNと復号ニューラルネットワーク(ANN)からなるハイブリッド変分オートエンコーダアーキテクチャを導入している。
復号ANNの役割は、SNNによって出力されるスパイキング信号をターゲットの自然信号に変換する方法を学ぶことである。
代理勾配による情報ボトルネック訓練基準を最適化する新しいエンドツーエンド学習ルールが導入された。
本手法の適用性を実生活データセットを含む様々なタスクの実験的な設定で示す。
関連論文リスト
- Locality-Aware Generalizable Implicit Neural Representation [54.93702310461174]
一般化可能な暗黙的ニューラル表現(INR)は、単一の連続関数が複数のデータインスタンスを表現することを可能にする。
本稿では、変換器エンコーダと局所性を考慮したINRデコーダを組み合わせた一般化可能なINRのための新しいフレームワークを提案する。
我々のフレームワークは、従来の一般化可能なINRよりも大幅に優れており、下流タスクにおける局所性を考慮した潜在能力の有効性を検証している。
論文 参考訳(メタデータ) (2023-10-09T11:26:58Z) - A Hybrid Neural Coding Approach for Pattern Recognition with Spiking
Neural Networks [53.31941519245432]
脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、パターン認識タスクを解く上で有望な能力を示している。
これらのSNNは、情報表現に一様神経コーディングを利用する同質ニューロンに基づいている。
本研究では、SNNアーキテクチャは異種符号化方式を組み込むよう、均質に設計されるべきである、と論じる。
論文 参考訳(メタデータ) (2023-05-26T02:52:12Z) - Efficient spike encoding algorithms for neuromorphic speech recognition [5.182266520875928]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックプロセッサの実装に非常に効果的である。
実値信号は、SNNに適さない実値信号として符号化される。
本稿では,話者独立桁分類システムにおける4つのスパイク符号化手法について検討する。
論文 参考訳(メタデータ) (2022-07-14T17:22:07Z) - Training High-Performance Low-Latency Spiking Neural Networks by
Differentiation on Spike Representation [70.75043144299168]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。
非分化性のため、SNNを効率的に訓練することは困難である。
本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
論文 参考訳(メタデータ) (2022-05-01T12:44:49Z) - Spiking Generative Adversarial Networks With a Neural Network
Discriminator: Local Training, Bayesian Models, and Continual Meta-Learning [31.78005607111787]
スパイキングパターンを再現するためにニューラルネットワークを訓練することは、ニューロモルフィックコンピューティングにおける中心的な問題である。
この研究は、個々のスパイキング信号ではなく、スパイキング信号にマッチするようにSNNを訓練することを提案する。
論文 参考訳(メタデータ) (2021-11-02T17:20:54Z) - Logsig-RNN: a novel network for robust and efficient skeleton-based
action recognition [3.775860173040509]
我々は、ログネイティブ層とリカレント型ニューラルネットワーク(RNN)を組み合わせた新しいモジュール、Logsig-RNNを提案する。
特に,簡単な経路変換層とLogsig-RNNを組み合わせることで,Chalearn2013ジェスチャデータの最先端精度を実現する。
論文 参考訳(メタデータ) (2021-10-25T14:47:15Z) - Decoding 5G-NR Communications via Deep Learning [6.09170287691728]
本稿では,Deep Neural Network(DNN)と共同で自動符号化ニューラルネットワーク(ANN)を用いて,デマッピングとデコードのための自動符号化ディープニューラルネットワーク(ADNN)を構築することを提案する。
その結果、特定のBERターゲットに対して、AWGN(Additive White Gaussian Noise)チャネルにおいて、SNR(Signal to Noise Ratio)の$3$dBが要求されることが明らかになった。
論文 参考訳(メタデータ) (2020-07-15T12:00:20Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳(メタデータ) (2020-07-02T15:38:44Z) - VOWEL: A Local Online Learning Rule for Recurrent Networks of
Probabilistic Spiking Winner-Take-All Circuits [38.518936229794214]
WTA-SNNは、値付き多値イベントの情報を検出することができる。
WTA-SNNをトレーニングするための既存のスキームは、レートエンコーディングソリューションに限られている。
VOWEL と呼ばれる WTA-SNN のための変動型オンラインローカルトレーニングルールを開発した。
論文 参考訳(メタデータ) (2020-04-20T16:21:18Z) - Rectified Linear Postsynaptic Potential Function for Backpropagation in
Deep Spiking Neural Networks [55.0627904986664]
スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。
本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
論文 参考訳(メタデータ) (2020-03-26T11:13:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。