論文の概要: Surrogate Gradient Spiking Neural Networks as Encoders for Large Vocabulary Continuous Speech Recognition

• arxiv url: http://arxiv.org/abs/2212.01187v1
• Date: Thu, 1 Dec 2022 12:36:26 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-05 15:39:13.417931
• Title: Surrogate Gradient Spiking Neural Networks as Encoders for Large Vocabulary Continuous Speech Recognition
• Title（参考訳）: 大語彙連続音声認識のためのエンコーダとしての代理勾配スパイクニューラルネットワーク
• Authors: Alexandre Bittar and Philip N. Garner
• Abstract要約: スパイクニューラルネットワークは, 代理勾配法を用いて, 通常のリカレントニューラルネットワークのように訓練可能であることを示す。 彼らは音声コマンド認識タスクについて有望な結果を示した。 繰り返し発生する非スパイキングとは対照的に、ゲートを使わずに爆発する勾配問題に対して堅牢性を示す。
• 参考スコア（独自算出の注目度）: 91.39701446828144
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Compared to conventional artificial neurons that produce dense and real-valued responses, biologically-inspired spiking neurons transmit sparse and binary information, which can also lead to energy-efficient implementations. Recent research has shown that spiking neural networks can be trained like standard recurrent neural networks using the surrogate gradient method. They have shown promising results on speech command recognition tasks. Using the same technique, we show that they are scalable to large vocabulary continuous speech recognition, where they are capable of replacing LSTMs in the encoder with only minor loss of performance. This suggests that they may be applicable to more involved sequence-to-sequence tasks. Moreover, in contrast to their recurrent non-spiking counterparts, they show robustness to exploding gradient problems without the need to use gates.
• Abstract（参考訳）: 密度と実測値の反応を生成する従来の人工ニューロンと比較すると、生物学的にインスパイアされたスパイキングニューロンはスパースとバイナリ情報を伝達し、エネルギー効率も向上する。 近年の研究では、スパイクニューラルネットワークはサーロゲート勾配法を用いて、標準的なリカレントニューラルネットワークのように訓練できることが示されている。 音声コマンド認識タスクにおいて有望な結果が得られた。 同じ手法を用いて,エンコーダ内のLSTMをわずかな性能損失で置き換えることのできる,大規模語彙連続音声認識にスケーラブルであることを示す。 これは、より複雑なシーケンス対シーケンスタスクに適用可能であることを示唆している。 さらに, 繰り返し発生する非スパイキングとは対照的に, ゲートを使わずに爆発的な勾配問題に対して頑健性を示す。

関連論文リスト

• Exploring neural oscillations during speech perception via surrogate gradient spiking neural networks [59.38765771221084]
  本稿では、ディープラーニングフレームワークと互換性があり、スケーラブルな、生理学的にインスパイアされた音声認識アーキテクチャを提案する。 本研究では, 終末から終末までの勾配降下訓練が, 中枢スパイク神経ネットワークにおける神経振動の出現に繋がることを示す。 本研究は, スパイク周波数適応やリカレント接続などのフィードバック機構が, 認識性能を向上させるために, 神経活動の調節と同期に重要な役割を担っていることを明らかにする。
  論文  参考訳（メタデータ） (2024-04-22T09:40:07Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Complex Dynamic Neurons Improved Spiking Transformer Network for Efficient Automatic Speech Recognition [8.998797644039064]
  リークインテグレーテッド・アンド・ファイア(LIF)ニューロンを用いたスパイクニューラルネットワーク(SNN)は、音声認識(ASR)タスクで一般的に用いられている。 ここでは、スパイキングトランスから生成された逐次パターンを後処理する4種類の神経力学を紹介する。 その結果,DyTr-SNNは音素誤り率の低下,計算コストの低下,ロバスト性の向上など,非トイ自動音声認識タスクをうまく処理できることがわかった。
  論文  参考訳（メタデータ） (2023-02-02T16:20:27Z)
• A Comparison of Temporal Encoders for Neuromorphic Keyword Spotting with Few Neurons [0.11726720776908518]
  SNNにおける時間的エンコーディングと特徴抽出のための2つの神経計算要素について検討した。 リソース効率の良いキーワードスポッティングアプリケーションは、これらのエンコーダを使用することで恩恵を受けることができるが、時間定数と重み付けを学習する手法をさらに研究する必要がある。
  論文  参考訳（メタデータ） (2023-01-24T12:50:54Z)
• Spiking neural network for nonlinear regression [68.8204255655161]
  スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。 彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。 スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-06T13:04:45Z)
• Brain inspired neuronal silencing mechanism to enable reliable sequence identification [0.0]
  本稿では,フィードバックループのない高速フィードフォワードシーケンス識別ネットワーク(ID-net)の実験的なメカニズムを提案する。 このメカニズムは、最近のスパイク活動の後、一時的にニューロンを沈黙させる。 提示されたメカニズムは、高度なANNアルゴリズムのための新しい水平線を開放する。
  論文  参考訳（メタデータ） (2022-03-24T12:15:02Z)
• Synthesizing Speech from Intracranial Depth Electrodes using an Encoder-Decoder Framework [1.623136488969658]
  音声神経補綴は、変形性関節症や変形性関節症患者のコミュニケーションを可能にする可能性がある。 近年の進歩は、皮質表面に置かれた電磁気格子から高品質なテキストデコーディングと音声合成を実証している。
  論文  参考訳（メタデータ） (2021-11-02T09:43:21Z)
• Training Deep Spiking Auto-encoders without Bursting or Dying Neurons through Regularization [9.34612743192798]
  スパイクニューラルネットワークは、計算神経科学における次世代の脳モデルに対する有望なアプローチである。 膜電位に基づくバックプロパゲーションを用いたエンドツーエンド学習を、スパイクする畳み込みオートエンコーダに適用する。 膜電位とスパイク出力に正規化を適用することで、死と破裂の両方のニューロンをうまく回避できることを示す。
  論文  参考訳（メタデータ） (2021-09-22T21:27:40Z)
• Preliminary study on using vector quantization latent spaces for TTS/VC systems with consistent performance [55.10864476206503]
  本稿では,潜在言語埋め込みをモデル化するための量子化ベクトルの利用について検討する。 トレーニングにおいて、潜伏空間上の異なるポリシーを強制することにより、潜伏言語埋め込みを得ることができる。 実験の結果,ベクトル量子化法で構築した音声クローニングシステムは,知覚的評価の点でわずかに劣化していることがわかった。
  論文  参考訳（メタデータ） (2021-06-25T07:51:35Z)
• Artificial Neural Variability for Deep Learning: On Overfitting, Noise Memorization, and Catastrophic Forgetting [135.0863818867184]
  人工ニューラルネットワーク(ANV)は、ニューラルネットワークが自然のニューラルネットワークからいくつかの利点を学ぶのに役立つ。 ANVは、トレーニングデータと学習モデルの間の相互情報の暗黙の正則化として機能する。 過度にフィットし、ノイズの記憶をラベル付けし、無視できるコストで破滅的な忘れを効果的に軽減することができる。
  論文  参考訳（メタデータ） (2020-11-12T06:06:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。