論文の概要: Towards efficient end-to-end speech recognition with biologically-inspired neural networks

• arxiv url: http://arxiv.org/abs/2110.02743v1
• Date: Mon, 4 Oct 2021 21:24:10 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-07 14:07:43.088569
• Title: Towards efficient end-to-end speech recognition with biologically-inspired neural networks
• Title（参考訳）: 生体インスパイアニューラルネットワークを用いたエンドツーエンド音声認識の効率化
• Authors: Thomas Bohnstingl, Ayush Garg, Stanis{\l}aw Wo\'zniak, George Saon, Evangelos Eleftheriou and Angeliki Pantazi
• Abstract要約: 軸-体性および軸-体性シナプスを模擬した神経接続概念を導入する。 我々は,大規模ASRモデルの生物学的に現実的な実装によって,競争性能が向上できることを初めて実証した。
• 参考スコア（独自算出の注目度）: 10.457580011403289
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Automatic speech recognition (ASR) is a capability which enables a program to process human speech into a written form. Recent developments in artificial intelligence (AI) have led to high-accuracy ASR systems based on deep neural networks, such as the recurrent neural network transducer (RNN-T). However, the core components and the performed operations of these approaches depart from the powerful biological counterpart, i.e., the human brain. On the other hand, the current developments in biologically-inspired ASR models, based on spiking neural networks (SNNs), lag behind in terms of accuracy and focus primarily on small scale applications. In this work, we revisit the incorporation of biologically-plausible models into deep learning and we substantially enhance their capabilities, by taking inspiration from the diverse neural and synaptic dynamics found in the brain. In particular, we introduce neural connectivity concepts emulating the axo-somatic and the axo-axonic synapses. Based on this, we propose novel deep learning units with enriched neuro-synaptic dynamics and integrate them into the RNN-T architecture. We demonstrate for the first time, that a biologically realistic implementation of a large-scale ASR model can yield competitive performance levels compared to the existing deep learning models. Specifically, we show that such an implementation bears several advantages, such as a reduced computational cost and a lower latency, which are critical for speech recognition applications.
• Abstract（参考訳）: 自動音声認識(automatic speech recognition, asr)は、プログラムが人間の音声を書体に処理できる能力である。 人工知能(AI)の最近の進歩は、リカレントニューラルネットワークトランスデューサ(RNN-T)のようなディープニューラルネットワークに基づく高精度なASRシステムを生み出している。 しかし、これらのアプローチのコアコンポーネントと実行された操作は、強力な生物学的機能、すなわち人間の脳から離れる。 一方、スパイクニューラルネットワーク(SNN)に基づく生物学的にインスパイアされたASRモデルにおける現在の発展は、精度の面で遅れており、主に小規模アプリケーションに焦点を当てている。 本研究は,脳内の様々な神経・シナプス力学からインスピレーションを得て,生物学的に解明可能なモデルの深層学習への組み入れを再考し,その能力を大幅に向上させるものである。 特に, axo-somatic と axo-axonic synapses を模倣したニューラルコネクティビティ概念を導入する。 そこで本研究では,神経シナプスダイナミクスを豊かにする新しい深層学習ユニットを提案し,それをrnn-tアーキテクチャに統合する。 大規模ASRモデルの生物学的に現実的な実装によって,既存のディープラーニングモデルと比較して,競争性能が向上することを示す。 具体的には、このような実装は、音声認識アプリケーションにとって重要な計算コストの低減やレイテンシの低減など、いくつかの利点があることを示す。

関連論文リスト

• Contrastive Learning in Memristor-based Neuromorphic Systems [55.11642177631929]
  スパイクニューラルネットワークは、現代のバックプロパゲーションによって訓練されたディープネットワークに直面する重要な制約の多くを横取りする、ニューロンベースのモデルの重要なファミリーとなっている。 本研究では,前向き・後向き学習のニューロモルフィック形式であるコントラッシブ・シグナル依存型塑性(CSDP)の概念実証を設計し,検討する。
  論文  参考訳（メタデータ） (2024-09-17T04:48:45Z)
• Research Advances and New Paradigms for Biology-inspired Spiking Neural Networks [8.315801422499861]
  スパイキングニューラルネットワーク(SNN)は、計算シミュレーションと人工知能の分野で人気を集めている。 本稿では,SNNの歴史的発展を考察し,これら2つの分野が相互に交わり,急速に融合していることを結論する。
  論文  参考訳（メタデータ） (2024-08-26T03:37:48Z)
• Enhancing learning in spiking neural networks through neuronal heterogeneity and neuromodulatory signaling [52.06722364186432]
  人工ニューラルネットワーク(ANN)の強化のための生物学的インフォームドフレームワークを提案する。 提案したデュアルフレームアプローチは、多様なスパイキング動作をエミュレートするためのスパイキングニューラルネットワーク(SNN)の可能性を強調している。 提案手法は脳にインスパイアされたコンパートメントモデルとタスク駆動型SNN, バイオインスピレーション, 複雑性を統合している。
  論文  参考訳（メタデータ） (2024-07-05T14:11:28Z)
• Exploring neural oscillations during speech perception via surrogate gradient spiking neural networks [59.38765771221084]
  本稿では、ディープラーニングフレームワークと互換性があり、スケーラブルな、生理学的にインスパイアされた音声認識アーキテクチャを提案する。 本研究では, 終末から終末までの勾配降下訓練が, 中枢スパイク神経ネットワークにおける神経振動の出現に繋がることを示す。 本研究は, スパイク周波数適応やリカレント接続などのフィードバック機構が, 認識性能を向上させるために, 神経活動の調節と同期に重要な役割を担っていることを明らかにする。
  論文  参考訳（メタデータ） (2024-04-22T09:40:07Z)
• Astrocyte-Enabled Advancements in Spiking Neural Networks for Large Language Modeling [7.863029550014263]
  Astrocyte-Modulated Spiking Neural Network (AstroSNN) は、記憶保持や自然言語生成に関わるタスクにおいて、例外的な性能を示す。 AstroSNNは、実用的なアプリケーションで低レイテンシ、高スループット、メモリ使用量の削減を示す。
  論文  参考訳（メタデータ） (2023-12-12T06:56:31Z)
• A Hybrid Neural Coding Approach for Pattern Recognition with Spiking Neural Networks [53.31941519245432]
  脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、パターン認識タスクを解く上で有望な能力を示している。 これらのSNNは、情報表現に一様神経コーディングを利用する同質ニューロンに基づいている。 本研究では、SNNアーキテクチャは異種符号化方式を組み込むよう、均質に設計されるべきである、と論じる。
  論文  参考訳（メタデータ） (2023-05-26T02:52:12Z)
• Contrastive-Signal-Dependent Plasticity: Self-Supervised Learning in Spiking Neural Circuits [61.94533459151743]
  この研究は、スパイキングネットワークのシナプスを調整するための神経生物学的に動機づけられたスキームを設計することの課題に対処する。 我々の実験シミュレーションは、繰り返しスパイクネットワークを訓練する際、他の生物学的に証明可能なアプローチに対して一貫した優位性を示す。
  論文  参考訳（メタデータ） (2023-03-30T02:40:28Z)
• A brain basis of dynamical intelligence for AI and computational neuroscience [0.0]
  より多くの脳のような能力は、新しい理論、モデル、および人工学習システムを設計する方法を要求するかもしれない。 本稿は,第6回US/NIH BRAIN Initiative Investigators Meetingにおける動的神経科学と機械学習に関するシンポジウムに触発されたものです。
  論文  参考訳（メタデータ） (2021-05-15T19:49:32Z)
• Recurrent Neural Network Learning of Performance and Intrinsic Population Dynamics from Sparse Neural Data [77.92736596690297]
  本稿では,RNNの入出力動作だけでなく,内部ネットワークのダイナミクスも学習できる新しいトレーニング戦略を提案する。 提案手法は、RNNを訓練し、生理学的にインスパイアされた神経モデルの内部ダイナミクスと出力信号を同時に再現する。 注目すべきは、トレーニングアルゴリズムがニューロンの小さなサブセットの活性に依存する場合であっても、内部動力学の再現が成功することである。
  論文  参考訳（メタデータ） (2020-05-05T14:16:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。