論文の概要: Training Speech Enhancement Systems with Noisy Speech Datasets
- arxiv url: http://arxiv.org/abs/2105.12315v1
- Date: Wed, 26 May 2021 03:32:39 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-28 01:14:37.337890
- Title: Training Speech Enhancement Systems with Noisy Speech Datasets
- Title（参考訳）: 雑音音声データセットを用いた音声強調訓練システム
- Authors: Koichi Saito, Stefan Uhlich, Giorgio Fabbro, Yuki Mitsufuji
- Abstract要約: 本稿では,雑音の多い音声データに基づいてSEシステムの訓練を行うための2つの改良を提案する。
まず、雑音の多い音声のターゲットに対して頑健な損失関数のいくつかの修正を提案する。
従来のシステムと比較して,ロバストな損失関数を用いることでPSSQが最大0.19向上することを示す。
- 参考スコア（独自算出の注目度）: 7.157870452667369
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Recently, deep neural network (DNN)-based speech enhancement (SE) systems
have been used with great success. During training, such systems require clean
speech data - ideally, in large quantity with a variety of acoustic conditions,
many different speaker characteristics and for a given sampling rate (e.g.,
48kHz for fullband SE). However, obtaining such clean speech data is not
straightforward - especially, if only considering publicly available datasets.
At the same time, a lot of material for automatic speech recognition (ASR) with
the desired acoustic/speaker/sampling rate characteristics is publicly
available except being clean, i.e., it also contains background noise as this
is even often desired in order to have ASR systems that are noise-robust.
Hence, using such data to train SE systems is not straightforward. In this
paper, we propose two improvements to train SE systems on noisy speech data.
First, we propose several modifications of the loss functions, which make them
robust against noisy speech targets. In particular, computing the median over
the sample axis before averaging over time-frequency bins allows to use such
data. Furthermore, we propose a noise augmentation scheme for mixture-invariant
training (MixIT), which allows using it also in such scenarios. For our
experiments, we use the Mozilla Common Voice dataset and we show that using our
robust loss function improves PESQ by up to 0.19 compared to a system trained
in the traditional way. Similarly, for MixIT we can see an improvement of up to
0.27 in PESQ when using our proposed noise augmentation.
- Abstract（参考訳）: 近年,ディープニューラルネットワーク(DNN)に基づく音声強調(SE)システムの利用が盛んに行われている。
訓練中、これらのシステムはクリーンな音声データを必要とする - 理想的には、様々な音響条件、多くの異なる話者特性と与えられたサンプリングレート(例えば、フルバンドSEの48kHz)に対して。
しかし、このようなクリーンな音声データを得るのは簡単ではない。
同時に、音響/スピーカ/サンプリングレート特性を所望とする自動音声認識(asr)のための材料も多数公開されており、ノイズロバストなasrシステムを実現するため、背景雑音も含む。
したがって、そのようなデータをseシステムのトレーニングに使うのは簡単ではない。
本稿では,雑音の多い音声データに基づくSEシステムの訓練に2つの改良点を提案する。
まず、雑音の多い音声のターゲットに対して頑健な損失関数のいくつかの修正を提案する。
特に、時間周波数ビンを平均化する前のサンプル軸上で中央値を計算することで、そのようなデータを使用することができる。
さらに,混合不変学習(MixIT)のための雑音増強手法を提案する。
実験ではMozilla Common Voiceデータセットを使用し、ロバストな損失関数を使用することで、従来の方法でトレーニングされたシステムと比較して、PSSQを最大0.19改善することを示した。
同様に、MixITでは、提案したノイズ拡張を使用すると、PSSQで最大0.27の改善が見られる。
関連論文リスト
- Enhancing Synthetic Training Data for Speech Commands: From ASR-Based Filtering to Domain Adaptation in SSL Latent Space [10.875499903992782]
我々は、音声コマンド分類の特定のタスクに対して、合成音声データを用いてゼロショット学習に関する一連の実験を行う。
Google Speech Commands データセットの結果から,単純な ASR ベースのフィルタリング手法が生成したデータの品質に大きな影響を及ぼす可能性が示唆された。
生成した音声データの品質は高いが,自己教師付き(WavLM)機能を用いることで,合成音声と実音声の区別が容易に可能であることを示す。
論文 参考訳（メタデータ） (2024-09-19T13:07:55Z) - Quartered Spectral Envelope and 1D-CNN-based Classification of Normally Phonated and Whispered Speech [0.0]
フーリエ変換のスペクトル包絡には, 正常音声におけるピッチとピッチの高調波の存在と, ささやき音声が存在しないことが明らかである。
これらの特徴を捉えるために1次元畳み込みニューラルネットワーク(1D-CNN)を提案する。
このシステムは、wTIMITデータセットでトレーニングされテストされたときに99.31%、CHAINSデータセットで100%の精度が得られる。
論文 参考訳（メタデータ） (2024-08-25T07:17:11Z) - Unifying Speech Enhancement and Separation with Gradient Modulation for
End-to-End Noise-Robust Speech Separation [23.758202121043805]
本稿では,音声の強調と分離を勾配変調で統一し,ノイズ・ロバスト性を改善する新しいネットワークを提案する。
実験結果から,大規模Libri2Mix-およびLibri3Mix-noisyデータセットの最先端化が得られた。
論文 参考訳（メタデータ） (2023-02-22T03:54:50Z) - ESB: A Benchmark For Multi-Domain End-to-End Speech Recognition [100.30565531246165]
音声認識システムはデータセット固有のチューニングを必要とする。
このチューニング要件は、他のデータセットやドメインへの一般化に失敗したシステムにつながる可能性がある。
本稿では,1つの自動音声認識システムの性能を評価するために,エンド・ツー・エンド音声ベンチマーク(ESB)を提案する。
論文 参考訳（メタデータ） (2022-10-24T15:58:48Z) - Enhanced Direct Speech-to-Speech Translation Using Self-supervised
Pre-training and Data Augmentation [76.13334392868208]
直接音声音声変換(S2ST)モデルは、データ不足の問題に悩まされる。
本研究では,この課題に対処するために,ラベルのない音声データとデータ拡張を用いた自己教師付き事前学習について検討する。
論文 参考訳（メタデータ） (2022-04-06T17:59:22Z) - Improving Noise Robustness of Contrastive Speech Representation Learning
with Speech Reconstruction [109.44933866397123]
実環境における音声認識システムの実現には,雑音の堅牢性が不可欠である。
雑音認識のための自己教師型フレームワークにより学習したノイズロスト表現を用いる。
ラベル付きデータのわずか16%で報告された最高の教師付きアプローチに匹敵するパフォーマンスを実現した。
論文 参考訳（メタデータ） (2021-10-28T20:39:02Z) - Wav2vec-Switch: Contrastive Learning from Original-noisy Speech Pairs
for Robust Speech Recognition [52.71604809100364]
音声の文脈化表現に雑音のロバスト性をエンコードするwav2vec-Switchを提案する。
具体的には、オリジナルノイズの多い音声ペアを同時にwav2vec 2.0ネットワークに供給する。
既存のコントラスト学習タスクに加えて、原音声と雑音音声の量子化表現を追加の予測対象に切り替える。
論文 参考訳（メタデータ） (2021-10-11T00:08:48Z) - CITISEN: A Deep Learning-Based Speech Signal-Processing Mobile
Application [63.2243126704342]
本研究では,CitisENと呼ばれる深層学習に基づく音声信号処理モバイルアプリケーションを提案する。
CitisENは、音声強調(SE)、モデル適応(MA)、背景雑音変換(BNC)の3つの機能を提供している。
雑音の多い音声信号と比較すると、改良された音声信号の約6%と33%の改善が達成された。
論文 参考訳（メタデータ） (2020-08-21T02:04:12Z) - You Do Not Need More Data: Improving End-To-End Speech Recognition by
Text-To-Speech Data Augmentation [59.31769998728787]
我々は、ASRトレーニングデータベース上にTSシステムを構築し、合成音声でデータを拡張し、認識モデルを訓練する。
テストクリーンはWER 4.3%,他のテストクリーンは13.5%で、このシステムはLibriSpeechトレインクリーン100で訓練されたエンドツーエンドASRの競争結果を確立している。
論文 参考訳（メタデータ） (2020-05-14T17:24:57Z) - CURE Dataset: Ladder Networks for Audio Event Classification [15.850545634216484]
約300万人が聴覚障害を抱えており、周囲で起きている出来事を認識できない。
本稿では,難聴者に対して最も関連性の高い特定の音声イベントをキュレートしたCUREデータセットを確立する。
論文 参考訳（メタデータ） (2020-01-12T09:35:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。