論文の概要: Simple Pooling Front-ends For Efficient Audio Classification
- arxiv url: http://arxiv.org/abs/2210.00943v5
- Date: Sun, 7 May 2023 02:06:55 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-10 00:15:18.915663
- Title: Simple Pooling Front-ends For Efficient Audio Classification
- Title(参考訳): 効率的な音声分類のための簡易プールフロントエンド
- Authors: Xubo Liu, Haohe Liu, Qiuqiang Kong, Xinhao Mei, Mark D. Plumbley,
Wenwu Wang
- Abstract要約: 入力音声特徴量における時間的冗長性を排除することは,効率的な音声分類に有効な方法である可能性が示唆された。
本稿では、単純な非パラメトリックプーリング操作を用いて冗長な情報を削減する単純なプールフロントエンド(SimPFs)のファミリーを提案する。
SimPFは、市販オーディオニューラルネットワークの浮動小数点演算数の半数以上を削減できる。
- 参考スコア(独自算出の注目度): 56.59107110017436
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently, there has been increasing interest in building efficient audio
neural networks for on-device scenarios. Most existing approaches are designed
to reduce the size of audio neural networks using methods such as model
pruning. In this work, we show that instead of reducing model size using
complex methods, eliminating the temporal redundancy in the input audio
features (e.g., mel-spectrogram) could be an effective approach for efficient
audio classification. To do so, we proposed a family of simple pooling
front-ends (SimPFs) which use simple non-parametric pooling operations to
reduce the redundant information within the mel-spectrogram. We perform
extensive experiments on four audio classification tasks to evaluate the
performance of SimPFs. Experimental results show that SimPFs can achieve a
reduction in more than half of the number of floating point operations (FLOPs)
for off-the-shelf audio neural networks, with negligible degradation or even
some improvements in audio classification performance.
- Abstract(参考訳): 近年、デバイス上のシナリオに効率的な音声ニューラルネットワークを構築することへの関心が高まっている。
既存のアプローチのほとんどは、モデルプルーニングなどの手法を用いて、オーディオニューラルネットワークのサイズを減らすように設計されている。
本研究では,複雑な手法を用いてモデルサイズを小さくする代わりに,入力音声特徴量(メルスペクトログラムなど)の時間的冗長性を排除することが,効率的な音声分類に有効なアプローチであることを示す。
そこで我々は,単純な非パラメトリックプーリング操作を用いて,メルスペクトル内の冗長情報を低減できる単純なプールフロントエンド(SimPFs)のファミリーを提案する。
我々は,SimPFの性能を評価するために,4つの音声分類タスクについて広範な実験を行った。
実験結果から,SimPFは既設の音声ニューラルネットワークの浮動小数点演算(FLOP)の半数以上を削減できることがわかった。
関連論文リスト
- Visually-Guided Sound Source Separation with Audio-Visual Predictive
Coding [57.08832099075793]
視覚誘導音源分離は、視覚特徴抽出、マルチモーダル特徴融合、音響信号処理の3つの部分からなる。
本稿では,この課題をパラメータ調和とより効果的な方法で解決するために,AVPC(Audio-visual predictive coding)を提案する。
さらに、同一音源の2つの音声視覚表現を共予測することにより、AVPCのための効果的な自己教師型学習戦略を開発する。
論文 参考訳(メタデータ) (2023-06-19T03:10:57Z) - Audio-Visual Efficient Conformer for Robust Speech Recognition [91.3755431537592]
本稿では,近年提案されている高能率コンバータ接続性時間分類アーキテクチャの雑音を,音声と視覚の両方を処理して改善することを提案する。
実験の結果,音声と視覚のモダリティを用いることで,環境騒音の存在下での音声の認識が向上し,トレーニングが大幅に加速し,WERが4倍のトレーニングステップで低下することが確認された。
論文 参考訳(メタデータ) (2023-01-04T05:36:56Z) - NLIP: Noise-robust Language-Image Pre-training [95.13287735264937]
雑音調和と雑音補完という2つの手法を用いて事前学習の安定化を図るため,NLIPの原理的手法を提案する。
我々のNLIPは、画像テキスト事前学習における一般的なノイズ効果をより効率的に軽減することができる。
論文 参考訳(メタデータ) (2022-12-14T08:19:30Z) - SiPRNet: End-to-End Learning for Single-Shot Phase Retrieval [8.820823270160695]
畳み込みニューラルネットワーク(CNN)は、様々な画像再構成タスクにおいて重要な役割を果たしている。
本稿では,1つのフーリエ強度測定から信号を取得するために,SiPRNetという新しいCNN構造を設計する。
提案手法は、シングルショットマスクレス位相検索において、他のCNNおよび従来の最適化手法よりも一貫して優れている。
論文 参考訳(メタデータ) (2022-05-23T16:24:52Z) - A Passive Similarity based CNN Filter Pruning for Efficient Acoustic
Scene Classification [23.661189257759535]
音響シーン分類(ASC)のための低複雑さ畳み込みニューラルネットワーク(CNN)の開発手法を提案する。
本稿では,CNNからの畳み込みフィルタを除去し,圧縮したCNNを生成するパッシブ・フィルタ・プルーニング・フレームワークを提案する。
提案手法は単純で,パラメータが25%少なく,精度が1%以下で,推論当たりの計算量を27%削減する。
論文 参考訳(メタデータ) (2022-03-29T17:00:06Z) - A Study of Designing Compact Audio-Visual Wake Word Spotting System
Based on Iterative Fine-Tuning in Neural Network Pruning [57.28467469709369]
視覚情報を利用した小型音声覚醒単語スポッティング(WWS)システムの設計について検討する。
繰り返し微調整方式(LTH-IF)で抽選券仮説を通したニューラルネットワークプルーニング戦略を導入する。
提案システムでは,ノイズ条件の異なる単一モード(オーディオのみ,ビデオのみ)システムに対して,大幅な性能向上を実現している。
論文 参考訳(メタデータ) (2022-02-17T08:26:25Z) - Deep Convolutional and Recurrent Networks for Polyphonic Instrument
Classification from Monophonic Raw Audio Waveforms [30.3491261167433]
サウンドイベント検出とオーディオ分類タスクは、伝統的にスペクトログラムなどのオーディオ信号の時間周波数表現を通じて対処されます。
効率的な特徴抽出器としてのディープニューラルネットワークは、分類目的にオーディオ信号を直接使用可能にする。
生の波形を深層学習モデルに入力するだけで,ポリフォニック・オーディオで楽器を認識する。
論文 参考訳(メタデータ) (2021-02-13T13:44:46Z) - Fast accuracy estimation of deep learning based multi-class musical
source separation [79.10962538141445]
本稿では,ニューラルネットワークのトレーニングやチューニングを行うことなく,任意のデータセットにおける楽器の分離性を評価する手法を提案する。
理想的な比マスクを持つオラクルの原理に基づいて、我々の手法は最先端のディープラーニング手法の分離性能を推定するための優れたプロキシである。
論文 参考訳(メタデータ) (2020-10-19T13:05:08Z) - Sparse Mixture of Local Experts for Efficient Speech Enhancement [19.645016575334786]
本稿では,専門的ニューラルネットワークの効率的なアンサンブルを通して,音声を聴覚的に認識するためのディープラーニング手法について検討する。
タスクを重複しないサブプロブレムに分割することで、計算複雑性を低減しつつ、デノナイジング性能を向上させることができる。
以上の結果から,微調整されたアンサンブルネットワークは,一般のネットワークの発声能力を上回ることができることがわかった。
論文 参考訳(メタデータ) (2020-05-16T23:23:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。