論文の概要: Efficient spike encoding algorithms for neuromorphic speech recognition
- arxiv url: http://arxiv.org/abs/2207.07073v1
- Date: Thu, 14 Jul 2022 17:22:07 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-15 13:37:12.172958
- Title: Efficient spike encoding algorithms for neuromorphic speech recognition
- Title（参考訳）: ニューロモルフィック音声認識のためのスパイク符号化アルゴリズム
- Authors: Sidi Yaya Arnaud Yarga, Jean Rouat, Sean U. N. Wood
- Abstract要約: スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックプロセッサの実装に非常に効果的である。
実値信号は、SNNに適さない実値信号として符号化される。
本稿では,話者独立桁分類システムにおける4つのスパイク符号化手法について検討する。
- 参考スコア（独自算出の注目度）: 5.182266520875928
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Spiking Neural Networks (SNN) are known to be very effective for neuromorphic
processor implementations, achieving orders of magnitude improvements in energy
efficiency and computational latency over traditional deep learning approaches.
Comparable algorithmic performance was recently made possible as well with the
adaptation of supervised training algorithms to the context of SNN. However,
information including audio, video, and other sensor-derived data are typically
encoded as real-valued signals that are not well-suited to SNN, preventing the
network from leveraging spike timing information. Efficient encoding from
real-valued signals to spikes is therefore critical and significantly impacts
the performance of the overall system. To efficiently encode signals into
spikes, both the preservation of information relevant to the task at hand as
well as the density of the encoded spikes must be considered. In this paper, we
study four spike encoding methods in the context of a speaker independent digit
classification system: Send on Delta, Time to First Spike, Leaky Integrate and
Fire Neuron and Bens Spiker Algorithm. We first show that all encoding methods
yield higher classification accuracy using significantly fewer spikes when
encoding a bio-inspired cochleagram as opposed to a traditional short-time
Fourier transform. We then show that two Send On Delta variants result in
classification results comparable with a state of the art deep convolutional
neural network baseline, while simultaneously reducing the encoded bit rate.
Finally, we show that several encoding methods result in improved performance
over the conventional deep learning baseline in certain cases, further
demonstrating the power of spike encoding algorithms in the encoding of
real-valued signals and that neuromorphic implementation has the potential to
outperform state of the art techniques.
- Abstract（参考訳）: spiking neural networks (snn) はニューロモルフィックなプロセッサの実装に非常に効果的であることが知られており、従来のディープラーニングアプローチよりもエネルギー効率と計算遅延の桁違いな改善を達成している。
近年,SNNの文脈への教師付きトレーニングアルゴリズムの適用とともに,アルゴリズムの性能比較が可能となった。
しかし、音声、ビデオ、その他のセンサー由来のデータを含む情報は、通常、snに適さない実値信号として符号化されるため、ネットワークがスパイクタイミング情報を利用することができない。
したがって、実数値信号からスパイクへの効率的なエンコーディングは重要であり、システム全体のパフォーマンスに大きな影響を与えます。
信号をスパイクに効率的にエンコードするには、手元のタスクに関連する情報の保存と、エンコードされたスパイクの密度を考慮する必要がある。
本稿では、話者独立桁分類システム(Delta, Time to First Spike, Leaky Integrate, Fire Neuron and Bens Spiker Algorithm)の文脈における4つのスパイク符号化手法について検討する。
まず, 従来の短時間フーリエ変換とは対照的に, バイオインスパイアされたコクリーグラムを符号化する際に, より少ないスパイクを用いて高い分類精度が得られることを示す。
次に,2つの送信型デルタ変種が,アートディープ畳み込みニューラルネットワークのベースラインと同等の分類結果をもたらすと同時に,符号化ビットレートを減少させることを示した。
最後に,いくつかの符号化手法によって従来のディープラーニングベースラインよりも性能が向上し,さらに,実数値信号の符号化におけるスパイク符号化アルゴリズムの威力を示すとともに,ニューロモルフィック実装は,最先端技術よりも優れていることを示す。
関連論文リスト
- Adaptive Spiking Neural Networks with Hybrid Coding [0.0]
スパイテンポラルニューラルネットワーク(SNN)は、ニューラルネットワークよりもエネルギー効率が高く効果的なニューラルネットワークである
従来のSNNは、異なる時間ステップで入力データを処理する際に同じニューロンを使用し、時間情報を効果的に統合し活用する能力を制限する。
本稿では,学習に必要な時間を短縮するだけでなく,ネットワーク全体の性能を向上させるためのハイブリッド符号化手法を提案する。
論文 参考訳（メタデータ） (2024-08-22T13:58:35Z) - Surrogate Gradient Spiking Neural Networks as Encoders for Large
Vocabulary Continuous Speech Recognition [91.39701446828144]
スパイクニューラルネットワークは, 代理勾配法を用いて, 通常のリカレントニューラルネットワークのように訓練可能であることを示す。
彼らは音声コマンド認識タスクについて有望な結果を示した。
繰り返し発生する非スパイキングとは対照的に、ゲートを使わずに爆発する勾配問題に対して堅牢性を示す。
論文 参考訳（メタデータ） (2022-12-01T12:36:26Z) - NAF: Neural Attenuation Fields for Sparse-View CBCT Reconstruction [79.13750275141139]
本稿では,スパースビューCBCT再構成のための新規かつ高速な自己教師型ソリューションを提案する。
所望の減衰係数は、3次元空間座標の連続関数として表現され、完全に接続されたディープニューラルネットワークによってパラメータ化される。
ハッシュ符号化を含む学習ベースのエンコーダが採用され、ネットワークが高周波の詳細をキャプチャするのに役立つ。
論文 参考訳（メタデータ） (2022-09-29T04:06:00Z) - Graph Neural Networks for Channel Decoding [71.15576353630667]
低密度パリティチェック(LDPC)やBCH符号など、様々な符号化方式の競合復号性能を示す。
ニューラルネットワーク(NN)は、与えられたグラフ上で一般化されたメッセージパッシングアルゴリズムを学習する。
提案するデコーダを,従来のチャネル復号法および最近のディープラーニングに基づく結果と比較した。
論文 参考訳（メタデータ） (2022-07-29T15:29:18Z) - Training Energy-Efficient Deep Spiking Neural Networks with Single-Spike
Hybrid Input Encoding [5.725845886457027]
スパイキングニューラルネットワーク(SNN)は、イベント駆動型ニューロモルフィックハードウェアにおいて高い計算効率を提供する。
SNNは、非効率な入力符号化とトレーニング技術により、高い推論遅延に悩まされる。
本稿では低遅延エネルギー効率SNNのためのトレーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2021-07-26T06:16:40Z) - Quantized Neural Networks via {-1, +1} Encoding Decomposition and
Acceleration [83.84684675841167]
本稿では,量子化されたニューラルネットワーク(QNN)をマルチブランチバイナリネットワークに分解するために,-1,+1を用いた新しい符号化方式を提案する。
本稿では,大規模画像分類,オブジェクト検出,セマンティックセグメンテーションにおける提案手法の有効性を検証する。
論文 参考訳（メタデータ） (2021-06-18T03:11:15Z) - Learning to Time-Decode in Spiking Neural Networks Through the
Information Bottleneck [37.376989855065545]
スパイキングニューラルネットワーク(SNN)をトレーニングする上で重要な課題の1つは、ターゲット出力が通常、自然な信号の形で現れることである。
これは、ターゲットのスパイク信号を手作りして、スパイクを自然な信号にデコードするメカニズムを暗黙的に修正する。
本研究では、符号化SNNと復号ニューラルネットワークからなるハイブリッド変分オートエンコーダアーキテクチャを導入する。
論文 参考訳（メタデータ） (2021-06-02T14:14:47Z) - Learning Structures for Deep Neural Networks [99.8331363309895]
我々は,情報理論に根ざし,計算神経科学に発達した効率的な符号化原理を採用することを提案する。
スパース符号化は出力信号のエントロピーを効果的に最大化できることを示す。
公開画像分類データセットを用いた実験により,提案アルゴリズムでスクラッチから学習した構造を用いて,最も優れた専門家設計構造に匹敵する分類精度が得られることを示した。
論文 参考訳（メタデータ） (2021-05-27T12:27:24Z) - Supervised Learning with First-to-Spike Decoding in Multilayer Spiking
Neural Networks [0.0]
本稿では,多層スパイキングニューラルネットワークを学習して分類問題を解くための教師あり学習手法を提案する。
提案した学習規則は、隠れニューロンが発する複数のスパイクをサポートし、決定論的出力層によって生成された最初のスパイク応答に依存することにより安定である。
また、入力データのコンパクト表現を形成するために、いくつかの異なるスパイクベースの符号化戦略についても検討する。
論文 参考訳（メタデータ） (2020-08-16T15:34:48Z) - Infomax Neural Joint Source-Channel Coding via Adversarial Bit Flip [41.28049430114734]
本稿では、ニューラルジョイント・ソース・チャネル符号化方式の安定性と堅牢性を改善するために、Infomax Adversarial-Bit-Flip (IABF) と呼ばれる新しい正規化手法を提案する。
我々のIABFは、圧縮と誤り訂正のベンチマークの両方で最先端のパフォーマンスを達成でき、ベースラインをかなりの差で上回ることができる。
論文 参考訳（メタデータ） (2020-04-03T10:00:02Z) - Rectified Linear Postsynaptic Potential Function for Backpropagation in
Deep Spiking Neural Networks [55.0627904986664]
スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。
本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
論文 参考訳（メタデータ） (2020-03-26T11:13:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。