論文の概要: Global-Local Convolution with Spiking Neural Networks for Energy-efficient Keyword Spotting
- arxiv url: http://arxiv.org/abs/2406.13179v1
- Date: Wed, 19 Jun 2024 03:19:25 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-21 23:28:56.394612
- Title: Global-Local Convolution with Spiking Neural Networks for Energy-efficient Keyword Spotting
- Title（参考訳）: エネルギー効率の良いキーワードスポッティングのためのスパイクニューラルネットワークによるグローバルローカルコンボリューション
- Authors: Shuai Wang, Dehao Zhang, Kexin Shi, Yuchen Wang, Wenjie Wei, Jibin Wu, Malu Zhang,
- Abstract要約: 我々は、ニューラルネットワークのエネルギー効率をスパイクし、エンドツーエンドの軽量KWSモデルを提案する。
1)グローバル・ローカル・スパイキング・コンボリューション (GLSC) モジュールと 2) Bottleneck-PLIF モジュールである。
Bottleneck-PLIFモジュールはさらにGLSCからの信号を処理し、より少ないパラメータで高い精度を達成する。
- 参考スコア（独自算出の注目度）: 17.795498397570675
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Thanks to Deep Neural Networks (DNNs), the accuracy of Keyword Spotting (KWS) has made substantial progress. However, as KWS systems are usually implemented on edge devices, energy efficiency becomes a critical requirement besides performance. Here, we take advantage of spiking neural networks' energy efficiency and propose an end-to-end lightweight KWS model. The model consists of two innovative modules: 1) Global-Local Spiking Convolution (GLSC) module and 2) Bottleneck-PLIF module. Compared to the hand-crafted feature extraction methods, the GLSC module achieves speech feature extraction that is sparser, more energy-efficient, and yields better performance. The Bottleneck-PLIF module further processes the signals from GLSC with the aim to achieve higher accuracy with fewer parameters. Extensive experiments are conducted on the Google Speech Commands Dataset (V1 and V2). The results show our method achieves competitive performance among SNN-based KWS models with fewer parameters.
- Abstract（参考訳）: ディープニューラルネットワーク(DNN)のおかげで、キーワードスポッティング(KWS)の精度は大幅に向上した。
しかしながら、KWSシステムは通常エッジデバイスで実装されるため、エネルギー効率は性能以外の重要な要件となっている。
ここでは、ニューラルネットワークのエネルギー効率をスパイクし、エンドツーエンドの軽量KWSモデルを提案する。
このモデルは2つの革新的なモジュールから構成される。
1)グローバルローカルスパイキング・コンボリューション(GLSC)モジュール及びモジュール
2) Bottleneck-PLIFモジュール。
手作りの特徴抽出法と比較して、GLSCモジュールは、スペーサーでエネルギー効率が良く、性能が向上する音声特徴抽出を実現する。
Bottleneck-PLIFモジュールはさらにGLSCからの信号を処理し、より少ないパラメータで高い精度を達成する。
Google Speech Commands Dataset(V1とV2)で大規模な実験が行われている。
提案手法は,より少ないパラメータを持つSNNベースのKWSモデル間での競合性能を示す。
関連論文リスト
- SparseSpikformer: A Co-Design Framework for Token and Weight Pruning in
Spiking Transformer [12.717450255837178]
スパイキングニューラルネットワーク(SNN)は低消費電力と高エネルギー効率の利点がある。
最も先進的なSNNであるSpikformerは、Transformerの自己保持モジュールとSNNを組み合わせて、優れたパフォーマンスを実現している。
本稿では,SparseSpikformerについて紹介する。SparseSpikformerはトークンとウェイトプルーニング技術を用いてSparseSpikformerのスパーシ性を実現するための共同設計フレームワークである。
論文 参考訳（メタデータ） (2023-11-15T09:22:52Z) - Systematic Architectural Design of Scale Transformed Attention Condenser
DNNs via Multi-Scale Class Representational Response Similarity Analysis [93.0013343535411]
マルチスケールクラス表現応答類似性分析(ClassRepSim)と呼ばれる新しいタイプの分析法を提案する。
ResNetスタイルのアーキテクチャにSTACモジュールを追加すると、最大1.6%の精度が向上することを示す。
ClassRepSim分析の結果は、STACモジュールの効果的なパラメータ化を選択するために利用することができ、競争性能が向上する。
論文 参考訳（メタデータ） (2023-06-16T18:29:26Z) - Rewarded meta-pruning: Meta Learning with Rewards for Channel Pruning [19.978542231976636]
本稿では,ディープラーニングモデルにおける計算効率向上のためのパラメータとFLOPの削減手法を提案する。
本稿では,ネットワークの精度と計算効率のトレードオフを制御するために,精度と効率係数を導入する。
論文 参考訳（メタデータ） (2023-01-26T12:32:01Z) - BiFSMNv2: Pushing Binary Neural Networks for Keyword Spotting to
Real-Network Performance [54.214426436283134]
Deep-FSMNのようなディープニューラルネットワークはキーワードスポッティング(KWS)アプリケーションのために広く研究されている。
我々は、KWS、すなわちBiFSMNv2のための強力で効率的なバイナリニューラルネットワークを提示し、それを実ネットワーク精度のパフォーマンスにプッシュする。
小型アーキテクチャと最適化されたハードウェアカーネルの利点により、BiFSMNv2は25.1倍のスピードアップと20.2倍のストレージ節約を実現できる。
論文 参考訳（メタデータ） (2022-11-13T18:31:45Z) - Neural Attentive Circuits [93.95502541529115]
我々は、NAC(Neural Attentive Circuits)と呼ばれる汎用的でモジュラーなニューラルアーキテクチャを導入する。
NACは、ドメイン知識を使わずに、ニューラルネットワークモジュールのパラメータ化と疎結合を学習する。
NACは推論時に8倍のスピードアップを達成するが、性能は3%以下である。
論文 参考訳（メタデータ） (2022-10-14T18:00:07Z) - IMDeception: Grouped Information Distilling Super-Resolution Network [7.6146285961466]
SISR(Single-Image-Super-Resolution)は、ディープラーニング手法の最近の進歩の恩恵を受けている古典的なコンピュータビジョン問題である。
本稿では,機能集約のためのIICモジュールの代替として,GPRM(Global Progressive Refinement Module)を提案する。
また,1秒あたりのパラメータ数や浮動小数点演算量(FLOPS)をさらに削減するために,GIDB(Grouped Information Distilling Blocks)を提案する。
実験の結果,提案したネットワークは,パラメータ数やFLOPSが限られているにもかかわらず,最先端モデルと同等に動作していることがわかった。
論文 参考訳（メタデータ） (2022-04-25T06:43:45Z) - Ghost-dil-NetVLAD: A Lightweight Neural Network for Visual Place Recognition [3.6249801498927923]
本稿では,GhostCNNと呼ばれるフロントエンド認識モデルと学習可能なVLAD層をバックエンドとして構成した,軽量な教師付きエンドツーエンドニューラルネットワークを提案する。
提案する軽量モデルをさらに強化するため,Ghostモジュールに拡張畳み込みを加えて,より空間的意味情報を含む特徴を抽出し,精度を向上する。
論文 参考訳（メタデータ） (2021-12-22T06:05:02Z) - MoEfication: Conditional Computation of Transformer Models for Efficient
Inference [66.56994436947441]
トランスフォーマーベースの事前学習言語モデルは、パラメータ容量が大きいため、ほとんどのNLPタスクにおいて優れた性能を実現することができるが、計算コストも大きい。
スパースアクティベーション現象に基づく条件計算により,大規模モデル推論を高速化する。
そこで本研究では,モデルサイズが等しいMoE(Mix-of-experts)バージョン,すなわちMoEficationに変換することを提案する。
論文 参考訳（メタデータ） (2021-10-05T02:14:38Z) - Neural Calibration for Scalable Beamforming in FDD Massive MIMO with
Implicit Channel Estimation [10.775558382613077]
チャネル推定とビームフォーミングは、周波数分割二重化(FDD)大規模マルチインプット多重出力(MIMO)システムにおいて重要な役割を果たす。
受信したアップリンクパイロットに応じて,基地局のビームフォーマを直接最適化する深層学習方式を提案する。
エンド・ツー・エンドの設計のスケーラビリティを向上させるために,ニューラルキャリブレーション法を提案する。
論文 参考訳（メタデータ） (2021-08-03T14:26:14Z) - GhostSR: Learning Ghost Features for Efficient Image Super-Resolution [49.393251361038025]
畳み込みニューラルネットワーク(CNN)に基づく単一の画像スーパーリゾリューション(SISR)システムは、膨大な計算コストを必要としながら派手なパフォーマンスを実現します。
SISRモデルの冗長な特徴(すなわちゴースト特徴)を生成するためにシフト演算を用いることを提案する。
提案モジュールに埋め込まれた非コンパクトかつ軽量なSISRモデルの両方が,ベースラインと同等の性能を発揮することを示す。
論文 参考訳（メタデータ） (2021-01-21T10:09:47Z) - Optimization-driven Machine Learning for Intelligent Reflecting Surfaces
Assisted Wireless Networks [82.33619654835348]
インテリジェントサーフェス(IRS)は、個々の散乱素子の位相シフトを制御して無線チャネルを再形成するために用いられる。
散乱素子の規模が大きいため、受動ビームフォーミングは一般に高い計算複雑性によって挑戦される。
本稿では、IRS支援無線ネットワークの性能向上のための機械学習(ML)アプローチに焦点を当てる。
論文 参考訳（メタデータ） (2020-08-29T08:39:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。