論文の概要: Towards efficient end-to-end speech recognition with
biologically-inspired neural networks
- arxiv url: http://arxiv.org/abs/2110.02743v1
- Date: Mon, 4 Oct 2021 21:24:10 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-07 14:07:43.088569
- Title: Towards efficient end-to-end speech recognition with
biologically-inspired neural networks
- Title(参考訳): 生体インスパイアニューラルネットワークを用いたエンドツーエンド音声認識の効率化
- Authors: Thomas Bohnstingl, Ayush Garg, Stanis{\l}aw Wo\'zniak, George Saon,
Evangelos Eleftheriou and Angeliki Pantazi
- Abstract要約: 軸-体性および軸-体性シナプスを模擬した神経接続概念を導入する。
我々は,大規模ASRモデルの生物学的に現実的な実装によって,競争性能が向上できることを初めて実証した。
- 参考スコア(独自算出の注目度): 10.457580011403289
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Automatic speech recognition (ASR) is a capability which enables a program to
process human speech into a written form. Recent developments in artificial
intelligence (AI) have led to high-accuracy ASR systems based on deep neural
networks, such as the recurrent neural network transducer (RNN-T). However, the
core components and the performed operations of these approaches depart from
the powerful biological counterpart, i.e., the human brain. On the other hand,
the current developments in biologically-inspired ASR models, based on spiking
neural networks (SNNs), lag behind in terms of accuracy and focus primarily on
small scale applications. In this work, we revisit the incorporation of
biologically-plausible models into deep learning and we substantially enhance
their capabilities, by taking inspiration from the diverse neural and synaptic
dynamics found in the brain. In particular, we introduce neural connectivity
concepts emulating the axo-somatic and the axo-axonic synapses. Based on this,
we propose novel deep learning units with enriched neuro-synaptic dynamics and
integrate them into the RNN-T architecture. We demonstrate for the first time,
that a biologically realistic implementation of a large-scale ASR model can
yield competitive performance levels compared to the existing deep learning
models. Specifically, we show that such an implementation bears several
advantages, such as a reduced computational cost and a lower latency, which are
critical for speech recognition applications.
- Abstract(参考訳): 自動音声認識(automatic speech recognition, asr)は、プログラムが人間の音声を書体に処理できる能力である。
人工知能(AI)の最近の進歩は、リカレントニューラルネットワークトランスデューサ(RNN-T)のようなディープニューラルネットワークに基づく高精度なASRシステムを生み出している。
しかし、これらのアプローチのコアコンポーネントと実行された操作は、強力な生物学的機能、すなわち人間の脳から離れる。
一方、スパイクニューラルネットワーク(SNN)に基づく生物学的にインスパイアされたASRモデルにおける現在の発展は、精度の面で遅れており、主に小規模アプリケーションに焦点を当てている。
本研究は,脳内の様々な神経・シナプス力学からインスピレーションを得て,生物学的に解明可能なモデルの深層学習への組み入れを再考し,その能力を大幅に向上させるものである。
特に, axo-somatic と axo-axonic synapses を模倣したニューラルコネクティビティ概念を導入する。
そこで本研究では,神経シナプスダイナミクスを豊かにする新しい深層学習ユニットを提案し,それをrnn-tアーキテクチャに統合する。
大規模ASRモデルの生物学的に現実的な実装によって,既存のディープラーニングモデルと比較して,競争性能が向上することを示す。
具体的には、このような実装は、音声認識アプリケーションにとって重要な計算コストの低減やレイテンシの低減など、いくつかの利点があることを示す。
関連論文リスト
- Single Neuromorphic Memristor closely Emulates Multiple Synaptic
Mechanisms for Energy Efficient Neural Networks [71.79257685917058]
我々はこれらのシナプス機能を本質的にエミュレートするSrTiO3に基づく膜状ナノデバイスを実証する。
これらのメムリスタは、安定かつエネルギー効率の良い運転を可能にする非定常低導電系で機能する。
論文 参考訳(メタデータ) (2024-02-26T15:01:54Z) - Astrocyte-Enabled Advancements in Spiking Neural Networks for Large
Language Modeling [7.863029550014263]
Astrocyte-Modulated Spiking Neural Network (AstroSNN) は、記憶保持や自然言語生成に関わるタスクにおいて、例外的な性能を示す。
AstroSNNは、実用的なアプリケーションで低レイテンシ、高スループット、メモリ使用量の削減を示す。
論文 参考訳(メタデータ) (2023-12-12T06:56:31Z) - Brain-Inspired Machine Intelligence: A Survey of
Neurobiologically-Plausible Credit Assignment [65.268245109828]
本稿では,神経生物学にインスパイアされた,あるいは動機付けられた人工ニューラルネットワークにおける信用割当を行うアルゴリズムについて検討する。
我々は、脳にインスパイアされた学習スキームを6つの一般的なファミリーにまとめ、これらを誤りのバックプロパゲーションの文脈で検討する。
本研究の成果は,神経ミメティックシステムとその構成的学習プロセスの今後の発展を促進することを目的としている。
論文 参考訳(メタデータ) (2023-12-01T05:20:57Z) - SpikingJelly: An open-source machine learning infrastructure platform
for spike-based intelligence [51.6943465041708]
スパイキングニューラルネットワーク(SNN)は、高エネルギー効率のニューロモルフィックチップに脳にインスパイアされたインテリジェンスを実現することを目的としている。
我々は、ニューロモルフィックデータセットの事前処理、深層SNNの構築、パラメータの最適化、およびニューロモルフィックチップへのSNNのデプロイのためのフルスタックツールキットをコントリビュートする。
論文 参考訳(メタデータ) (2023-10-25T13:15:17Z) - A Hybrid Neural Coding Approach for Pattern Recognition with Spiking
Neural Networks [53.31941519245432]
脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、パターン認識タスクを解く上で有望な能力を示している。
これらのSNNは、情報表現に一様神経コーディングを利用する同質ニューロンに基づいている。
本研究では、SNNアーキテクチャは異種符号化方式を組み込むよう、均質に設計されるべきである、と論じる。
論文 参考訳(メタデータ) (2023-05-26T02:52:12Z) - Functional Connectome: Approximating Brain Networks with Artificial
Neural Networks [1.952097552284465]
訓練されたディープニューラルネットワークは、合成生物学的ネットワークによって実行される計算を高精度に捉えることができることを示す。
訓練されたディープニューラルネットワークは、新しい環境でゼロショットの一般化を実行可能であることを示す。
本研究は, システム神経科学における新規かつ有望な方向性を明らかにする。
論文 参考訳(メタデータ) (2022-11-23T13:12:13Z) - Developmental Plasticity-inspired Adaptive Pruning for Deep Spiking and
Artificial Neural Networks [7.000088703181348]
発達的可塑性は、継続的な学習中に脳の構造を形成する上で重要な役割を担っている。
ディープ人工知能ニューラルネットワーク(ANN)とスパイクニューラルネットワーク(SNN)の既存のネットワーク圧縮方法は、脳の発達する可塑性機構からほとんどインスピレーションを受けない。
本稿では, 樹状突起, シナプス, ニューロンの適応的発達的プルーニングからインスピレーションを得て, 塑性刺激による適応的プルーニング(DPAP)法を提案する。
論文 参考訳(メタデータ) (2022-11-23T05:26:51Z) - POPPINS : A Population-Based Digital Spiking Neuromorphic Processor with
Integer Quadratic Integrate-and-Fire Neurons [50.591267188664666]
2つの階層構造を持つ180nmプロセス技術において,集団に基づくディジタルスパイキングニューロモルフィックプロセッサを提案する。
提案手法は,生体模倣型ニューロモルフィックシステム,低消費電力,低遅延推論処理アプリケーションの開発を可能にする。
論文 参考訳(メタデータ) (2022-01-19T09:26:34Z) - A brain basis of dynamical intelligence for AI and computational
neuroscience [0.0]
より多くの脳のような能力は、新しい理論、モデル、および人工学習システムを設計する方法を要求するかもしれない。
本稿は,第6回US/NIH BRAIN Initiative Investigators Meetingにおける動的神経科学と機械学習に関するシンポジウムに触発されたものです。
論文 参考訳(メタデータ) (2021-05-15T19:49:32Z) - Deep learning approaches for neural decoding: from CNNs to LSTMs and
spikes to fMRI [2.0178765779788495]
神経信号から直接の行動、知覚、認知状態の復号化は、脳-コンピュータインタフェースの研究に応用されている。
過去10年間で、ディープラーニングは多くの機械学習タスクにおいて最先端の手法になっている。
ディープラーニングは、幅広いタスクにわたるニューラルデコーディングの正確性と柔軟性を改善するための有用なツールであることが示されている。
論文 参考訳(メタデータ) (2020-05-19T18:10:35Z) - Recurrent Neural Network Learning of Performance and Intrinsic
Population Dynamics from Sparse Neural Data [77.92736596690297]
本稿では,RNNの入出力動作だけでなく,内部ネットワークのダイナミクスも学習できる新しいトレーニング戦略を提案する。
提案手法は、RNNを訓練し、生理学的にインスパイアされた神経モデルの内部ダイナミクスと出力信号を同時に再現する。
注目すべきは、トレーニングアルゴリズムがニューロンの小さなサブセットの活性に依存する場合であっても、内部動力学の再現が成功することである。
論文 参考訳(メタデータ) (2020-05-05T14:16:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。