論文の概要: Learning to Time-Decode in Spiking Neural Networks Through the Information Bottleneck

• arxiv url: http://arxiv.org/abs/2106.01177v1
• Date: Wed, 2 Jun 2021 14:14:47 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-03 21:18:44.698883
• Title: Learning to Time-Decode in Spiking Neural Networks Through the Information Bottleneck
• Title（参考訳）: 情報ボトルネックによるスパイクニューラルネットワークの時間デコードへの学習
• Authors: Nicolas Skatchkovsky, Osvaldo Simeone, Hyeryung Jang
• Abstract要約: スパイキングニューラルネットワーク(SNN)をトレーニングする上で重要な課題の1つは、ターゲット出力が通常、自然な信号の形で現れることである。 これは、ターゲットのスパイク信号を手作りして、スパイクを自然な信号にデコードするメカニズムを暗黙的に修正する。 本研究では、符号化SNNと復号ニューラルネットワークからなるハイブリッド変分オートエンコーダアーキテクチャを導入する。
• 参考スコア（独自算出の注目度）: 37.376989855065545
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: One of the key challenges in training Spiking Neural Networks (SNNs) is that target outputs typically come in the form of natural signals, such as labels for classification or images for generative models, and need to be encoded into spikes. This is done by handcrafting target spiking signals, which in turn implicitly fixes the mechanisms used to decode spikes into natural signals, e.g., rate decoding. The arbitrary choice of target signals and decoding rule generally impairs the capacity of the SNN to encode and process information in the timing of spikes. To address this problem, this work introduces a hybrid variational autoencoder architecture, consisting of an encoding SNN and a decoding Artificial Neural Network (ANN). The role of the decoding ANN is to learn how to best convert the spiking signals output by the SNN into the target natural signal. A novel end-to-end learning rule is introduced that optimizes a directed information bottleneck training criterion via surrogate gradients. We demonstrate the applicability of the technique in an experimental settings on various tasks, including real-life datasets.
• Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)のトレーニングにおける重要な課題の1つは、ターゲットの出力は通常、分類のラベルや生成モデルの画像のような自然な信号の形で発生し、スパイクにエンコードする必要があることである。 これはターゲットスパイキング信号を手作りすることで行われ、スパイクを自然信号(例えばレートデコード)にデコードするメカニズムを暗黙的に修正する。 ターゲット信号と復号規則の任意の選択は、一般的にスパイクのタイミングで情報をエンコードし処理するsnの能力を損なう。 この問題に対処するため、この研究は、符号化SNNと復号ニューラルネットワーク(ANN)からなるハイブリッド変分オートエンコーダアーキテクチャを導入している。 復号ANNの役割は、SNNによって出力されるスパイキング信号をターゲットの自然信号に変換する方法を学ぶことである。 代理勾配による情報ボトルネック訓練基準を最適化する新しいエンドツーエンド学習ルールが導入された。 本手法の適用性を実生活データセットを含む様々なタスクの実験的な設定で示す。

関連論文リスト

• Adaptive Spiking Neural Networks with Hybrid Coding [0.0]
  スパイテンポラルニューラルネットワーク(SNN)は、ニューラルネットワークよりもエネルギー効率が高く効果的なニューラルネットワークである 従来のSNNは、異なる時間ステップで入力データを処理する際に同じニューロンを使用し、時間情報を効果的に統合し活用する能力を制限する。 本稿では,学習に必要な時間を短縮するだけでなく,ネットワーク全体の性能を向上させるためのハイブリッド符号化手法を提案する。
  論文  参考訳（メタデータ） (2024-08-22T13:58:35Z)
• When Spiking neural networks meet temporal attention image decoding and adaptive spiking neuron [7.478056407323783]
  スパイキングニューラルネットワーク(SNN)は、生物学的に妥当な方法で時間情報をエンコードし、処理することができる。 本稿では,時間的注意(TAID)に基づく画像復号法と適応型Leaky-Integrate-and-Fireニューロンモデルを提案する。
  論文  参考訳（メタデータ） (2024-06-05T08:21:55Z)
• Positional Encoding Helps Recurrent Neural Networks Handle a Large Vocabulary [1.4594704809280983]
  位置符号化は入力データ上の時間指標の高次元表現である。 RNNは、データポイントの時間情報を自身でエンコードすることができ、位置エンコーディングの使用は、一見冗長/不要なように見える。
  論文  参考訳（メタデータ） (2024-01-31T23:32:20Z)
• Locality-Aware Generalizable Implicit Neural Representation [54.93702310461174]
  一般化可能な暗黙的ニューラル表現(INR)は、単一の連続関数が複数のデータインスタンスを表現することを可能にする。 本稿では、変換器エンコーダと局所性を考慮したINRデコーダを組み合わせた一般化可能なINRのための新しいフレームワークを提案する。 我々のフレームワークは、従来の一般化可能なINRよりも大幅に優れており、下流タスクにおける局所性を考慮した潜在能力の有効性を検証している。
  論文  参考訳（メタデータ） (2023-10-09T11:26:58Z)
• A Hybrid Neural Coding Approach for Pattern Recognition with Spiking Neural Networks [53.31941519245432]
  脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、パターン認識タスクを解く上で有望な能力を示している。 これらのSNNは、情報表現に一様神経コーディングを利用する同質ニューロンに基づいている。 本研究では、SNNアーキテクチャは異種符号化方式を組み込むよう、均質に設計されるべきである、と論じる。
  論文  参考訳（メタデータ） (2023-05-26T02:52:12Z)
• Efficient spike encoding algorithms for neuromorphic speech recognition [5.182266520875928]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックプロセッサの実装に非常に効果的である。 実値信号は、SNNに適さない実値信号として符号化される。 本稿では,話者独立桁分類システムにおける4つのスパイク符号化手法について検討する。
  論文  参考訳（メタデータ） (2022-07-14T17:22:07Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)
• Spiking Generative Adversarial Networks With a Neural Network Discriminator: Local Training, Bayesian Models, and Continual Meta-Learning [31.78005607111787]
  スパイキングパターンを再現するためにニューラルネットワークを訓練することは、ニューロモルフィックコンピューティングにおける中心的な問題である。 この研究は、個々のスパイキング信号ではなく、スパイキング信号にマッチするようにSNNを訓練することを提案する。
  論文  参考訳（メタデータ） (2021-11-02T17:20:54Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• Rectified Linear Postsynaptic Potential Function for Backpropagation in Deep Spiking Neural Networks [55.0627904986664]
  スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。 本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
  論文  参考訳（メタデータ） (2020-03-26T11:13:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。