論文の概要: Exploring the Integration of Speech Separation and Recognition with
Self-Supervised Learning Representation
- arxiv url: http://arxiv.org/abs/2307.12231v1
- Date: Sun, 23 Jul 2023 05:39:39 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-25 17:09:20.805859
- Title: Exploring the Integration of Speech Separation and Recognition with
Self-Supervised Learning Representation
- Title（参考訳）: 自己教師付き学習表現による音声分離と認識の統合の探索
- Authors: Yoshiki Masuyama, Xuankai Chang, Wangyou Zhang, Samuele Cornell,
Zhong-Qiu Wang, Nobutaka Ono, Yanmin Qian, Shinji Watanabe
- Abstract要約: 本研究は,ASRフロントエンドとしての残響・雑音・残響シナリオにおける音声分離に関する洞察に富んだ研究である。
我々は,マルチチャネル分離法,マスクベースのビームフォーミング,複雑なスペクトルマッピング,およびASRバックエンドモデルで使用する最良の特徴について検討する。
TF-GridNetベースの複素スペクトルマッピングとWavLMベースのSSLRを併用することで、残響WHAMRテストセットにおいて2.5%のワードエラー率が得られる。
- 参考スコア（独自算出の注目度）: 83.36685075570232
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural speech separation has made remarkable progress and its integration
with automatic speech recognition (ASR) is an important direction towards
realizing multi-speaker ASR. This work provides an insightful investigation of
speech separation in reverberant and noisy-reverberant scenarios as an ASR
front-end. In detail, we explore multi-channel separation methods, mask-based
beamforming and complex spectral mapping, as well as the best features to use
in the ASR back-end model. We employ the recent self-supervised learning
representation (SSLR) as a feature and improve the recognition performance from
the case with filterbank features. To further improve multi-speaker recognition
performance, we present a carefully designed training strategy for integrating
speech separation and recognition with SSLR. The proposed integration using
TF-GridNet-based complex spectral mapping and WavLM-based SSLR achieves a 2.5%
word error rate in reverberant WHAMR! test set, significantly outperforming an
existing mask-based MVDR beamforming and filterbank integration (28.9%).
- Abstract（参考訳）: ニューラル音声分離は目覚ましい進歩を遂げており、自動音声認識(ASR)との統合は、マルチスピーカASRの実現に向けた重要な方向である。
本研究は,asrフロントエンドとして残響および雑音残響シナリオにおける音声分離に関する洞察的考察を提供する。
本稿では,マルチチャネル分離法,マスクベースのビームフォーミング,複雑なスペクトルマッピング,およびASRバックエンドモデルで使用する最良の特徴について検討する。
本稿では,最近の自己教師付き学習表現(sslr)を特徴とし,フィルタバンク機能の場合の認識性能を向上させる。
マルチ話者認識性能をさらに向上させるため,音声認識とSSLRの統合を念頭に設計したトレーニング戦略を提案する。
TF-GridNet ベースの複素スペクトルマッピングと WavLM ベースのSSLR は、残響 WHAMR! テストセットの2.5% ワードエラー率を実現し、既存のマスクベースの MVDR ビームフォーミングとフィルタバンク統合(28.9%)を大幅に上回った。
関連論文リスト
- MLCA-AVSR: Multi-Layer Cross Attention Fusion based Audio-Visual Speech Recognition [62.89464258519723]
異なるレベルのオーディオ/視覚エンコーダに融合することで、各モードの表現を促進する多層クロスアテンション融合に基づくAVSR手法を提案する。
提案手法は第1位システムを超え,新たなSOTA cpCERの29.13%をこのデータセット上に構築する。
論文 参考訳（メタデータ） (2024-01-07T08:59:32Z) - Improving Audio-Visual Speech Recognition by Lip-Subword Correlation
Based Visual Pre-training and Cross-Modal Fusion Encoder [58.523884148942166]
本稿では,事前学習および微調整訓練の枠組みの下で,音声視覚音声認識(AVSR)を改善するための2つの新しい手法を提案する。
まず, マンダリンにおける口唇形状と音節レベルサブワード単位の相関について検討し, 口唇形状から良好なフレームレベル音節境界を確立する。
次に,音声誘導型クロスモーダルフュージョンエンコーダ(CMFE)ニューラルネットワークを提案する。
論文 参考訳（メタデータ） (2023-08-14T08:19:24Z) - Audio-visual End-to-end Multi-channel Speech Separation, Dereverberation
and Recognition [52.11964238935099]
本稿では,音声-視覚的多チャンネル音声分離,デバーベレーション,認識手法を提案する。
ビデオ入力は、マスクベースのMVDR音声分離、DNN-WPEまたはスペクトルマッピング(SpecM)ベースの音声残響フロントエンドで一貫して実証される。
オックスフォードLSS2データセットのシミュレーションや再生を用いて合成した重畳および残響音声データについて実験を行った。
論文 参考訳（メタデータ） (2023-07-06T10:50:46Z) - Unified Modeling of Multi-Talker Overlapped Speech Recognition and
Diarization with a Sidecar Separator [42.8787280791491]
複数話者の重複した音声は,音声認識とダイアリゼーションにおいて重要な課題となる。
本稿では,単一話者の自動音声認識システムをマルチ話者に変換するコスト効率のよい手法を提案する。
ダイアリゼーションブランチをSidecarに組み込むことで、ASRとダイアリゼーションの両方を統一的にモデル化し、768のパラメータのみを無視できるオーバーヘッドでダイアリゼーションを行う。
論文 参考訳（メタデータ） (2023-05-25T17:18:37Z) - Leveraging Modality-specific Representations for Audio-visual Speech
Recognition via Reinforcement Learning [25.743503223389784]
我々は、MSRLと呼ばれる強化学習(RL)ベースのフレームワークを提案する。
タスク固有のメトリクスに直接関連する報酬関数をカスタマイズする。
LRS3データセットによる実験結果から,提案手法は清浄な騒音条件と各種雑音条件の両方で最先端の手法を実現することが示された。
論文 参考訳（メタデータ） (2022-12-10T14:01:54Z) - Audio-visual multi-channel speech separation, dereverberation and
recognition [70.34433820322323]
本稿では,音声-視覚的多チャンネル音声分離,デバーベレーション,認識手法を提案する。
音声を用いた場合の視覚的モダリティの利点は、2つのニューラルデバーベレーションアプローチでのみ示される。
LRS2データセットを用いて行った実験から,提案手法がベースラインよりも優れていたことが示唆された。
論文 参考訳（メタデータ） (2022-04-05T04:16:03Z) - Fusing ASR Outputs in Joint Training for Speech Emotion Recognition [14.35400087127149]
共同学習音声認識(SER)のためのパイプラインに自動音声認識(ASR)出力を融合する手法を提案する。
共同ASR-SERトレーニングでは、階層的コアテンション融合アプローチを用いて、ASRとテキストの出力の両方を組み込むことで、SERの性能が向上する。
また,IEMOCAPにおける単語誤り率解析や,ASRとSERの関係をよりよく理解するために,Wav2vec 2.0モデルの層差解析も提案する。
論文 参考訳（メタデータ） (2021-10-29T11:21:17Z) - Long-Running Speech Recognizer:An End-to-End Multi-Task Learning
Framework for Online ASR and VAD [10.168591454648123]
本稿では、ASRとVODを1つのモデルに統合する新しいエンドツーエンド(E2E)マルチタスク学習(MTL)フレームワークを提案する。
提案システムはLong-Running Speech Recognizer (LR-SR) と呼ばれ, 訓練段階における2つのタスク固有のデータセットから, ASR と VAD を併用して学習する。
推論段階では、LR-SRシステムは低計算コストで非音声部品を除去し、高い堅牢性を有する音声部品を認識する。
論文 参考訳（メタデータ） (2021-03-02T11:49:03Z) - Audio-visual Multi-channel Recognition of Overlapped Speech [79.21950701506732]
本稿では,音声とマルチチャンネルの重なり合う音声認識システムについて述べる。
実験により,提案したマルチチャネルAVSRシステムは,音声のみのASRシステムを最大6.81% (26.83%) ,22.22% (56.87%) の絶対単語誤り率 (WER) で比較した。
論文 参考訳（メタデータ） (2020-05-18T10:31:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。