論文の概要: Audio-visual End-to-end Multi-channel Speech Separation, Dereverberation and Recognition

• arxiv url: http://arxiv.org/abs/2307.02909v1
• Date: Thu, 6 Jul 2023 10:50:46 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-07 14:13:51.120559
• Title: Audio-visual End-to-end Multi-channel Speech Separation, Dereverberation and Recognition
• Title（参考訳）: 音声-視覚的エンドツーエンドのマルチチャンネル音声分離・デバーベレーション・認識
• Authors: Guinan Li, Jiajun Deng, Mengzhe Geng, Zengrui Jin, Tianzi Wang, Shujie Hu, Mingyu Cui, Helen Meng, Xunying Liu
• Abstract要約: 本稿では,音声-視覚的多チャンネル音声分離,デバーベレーション,認識手法を提案する。 ビデオ入力は、マスクベースのMVDR音声分離、DNN-WPEまたはスペクトルマッピング(SpecM)ベースの音声残響フロントエンドで一貫して実証される。 オックスフォードLSS2データセットのシミュレーションや再生を用いて合成した重畳および残響音声データについて実験を行った。
• 参考スコア（独自算出の注目度）: 52.11964238935099
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Accurate recognition of cocktail party speech containing overlapping speakers, noise and reverberation remains a highly challenging task to date. Motivated by the invariance of visual modality to acoustic signal corruption, an audio-visual multi-channel speech separation, dereverberation and recognition approach featuring a full incorporation of visual information into all system components is proposed in this paper. The efficacy of the video input is consistently demonstrated in mask-based MVDR speech separation, DNN-WPE or spectral mapping (SpecM) based speech dereverberation front-end and Conformer ASR back-end. Audio-visual integrated front-end architectures performing speech separation and dereverberation in a pipelined or joint fashion via mask-based WPD are investigated. The error cost mismatch between the speech enhancement front-end and ASR back-end components is minimized by end-to-end jointly fine-tuning using either the ASR cost function alone, or its interpolation with the speech enhancement loss. Experiments were conducted on the mixture overlapped and reverberant speech data constructed using simulation or replay of the Oxford LRS2 dataset. The proposed audio-visual multi-channel speech separation, dereverberation and recognition systems consistently outperformed the comparable audio-only baseline by 9.1% and 6.2% absolute (41.7% and 36.0% relative) word error rate (WER) reductions. Consistent speech enhancement improvements were also obtained on PESQ, STOI and SRMR scores.
• Abstract（参考訳）: 重なり合う話者、騒音、残響を含むカクテルパーティー音声の正確な認識は、現在でも非常に難しい課題である。 本稿では、音響信号の劣化に対する視覚的モダリティの不変性、音声-視覚的多チャンネル音声分離、全システムコンポーネントに視覚情報をフルに組み込んだデバーベーションと認識アプローチを提案する。 ビデオ入力の有効性は、マスクベースのMVDR音声分離、DNN-WPEまたはスペクトルマッピング(SpecM)ベースの音声デバーベレーションフロントエンド、コンフォーマーASRバックエンドで一貫して実証される。 マスクを用いたWPDによるパイプライン化, 共同方式による音声分離, 残響処理を行うフロントエンドアーキテクチャについて検討した。 音声強調フロントエンドとASRバックエンドコンポーネント間の誤差コストのミスマッチは、ASRコスト関数のみを用いたエンドツーエンドの微調整や、音声強調損失の補間によって最小化する。 オックスフォードLSS2データセットのシミュレーションや再生を用いて合成した重畳および残響音声データについて実験を行った。 提案された音声-視覚的多チャンネル音声分離、収差認識システムは、同等の音声のみのベースラインを9.1%、絶対値6.2%(41.7%、相対値36.0%)のワードエラー率(WER)で一貫して上回った。 PESQ, STOI, SRMRでは, 音声強調の改善が得られた。

関連論文リスト

• Mixture Encoder Supporting Continuous Speech Separation for Meeting Recognition [15.610658840718607]
  音声分離によって導入された人工物の効果を緩和する混合エンコーダを提案する。 このアプローチを、任意の数の話者と動的重複を含む、より自然なミーティングコンテキストに拡張する。 実験では、LibriCSSデータセット上での最先端のパフォーマンスを示し、混合エンコーダの利点を強調した。
  論文  参考訳（メタデータ） (2023-09-15T14:57:28Z)
• Improving Audio-Visual Speech Recognition by Lip-Subword Correlation Based Visual Pre-training and Cross-Modal Fusion Encoder [58.523884148942166]
  本稿では,事前学習および微調整訓練の枠組みの下で,音声視覚音声認識(AVSR)を改善するための2つの新しい手法を提案する。 まず, マンダリンにおける口唇形状と音節レベルサブワード単位の相関について検討し, 口唇形状から良好なフレームレベル音節境界を確立する。 次に,音声誘導型クロスモーダルフュージョンエンコーダ(CMFE)ニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2023-08-14T08:19:24Z)
• Exploring the Integration of Speech Separation and Recognition with Self-Supervised Learning Representation [83.36685075570232]
  本研究は,ASRフロントエンドとしての残響・雑音・残響シナリオにおける音声分離に関する洞察に富んだ研究である。 我々は,マルチチャネル分離法,マスクベースのビームフォーミング,複雑なスペクトルマッピング,およびASRバックエンドモデルで使用する最良の特徴について検討する。 TF-GridNetベースの複素スペクトルマッピングとWavLMベースのSSLRを併用することで、残響WHAMRテストセットにおいて2.5%のワードエラー率が得られる。
  論文  参考訳（メタデータ） (2023-07-23T05:39:39Z)
• ReVISE: Self-Supervised Speech Resynthesis with Visual Input for Universal and Generalized Speech Enhancement [40.29155338515071]
  ReVISEは、Wildビデオ音声合成のための最初の高品質なモデルである。 単一のモデルで全てのLRS3オーディオ視覚強調タスクにおいて優れたパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2022-12-21T21:36:52Z)
• Audio-visual multi-channel speech separation, dereverberation and recognition [70.34433820322323]
  本稿では,音声-視覚的多チャンネル音声分離,デバーベレーション,認識手法を提案する。 音声を用いた場合の視覚的モダリティの利点は、2つのニューラルデバーベレーションアプローチでのみ示される。 LRS2データセットを用いて行った実験から,提案手法がベースラインよりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2022-04-05T04:16:03Z)
• Continuous Speech Separation with Conformer [60.938212082732775]
  分離システムでは、リカレントニューラルネットワークの代わりにトランスとコンバータを用いる。 我々は,自己注意に基づく方法でグローバルな情報を取得することが,音声分離に不可欠であると信じている。
  論文  参考訳（メタデータ） (2020-08-13T09:36:05Z)
• Audio-visual Multi-channel Recognition of Overlapped Speech [79.21950701506732]
  本稿では,音声とマルチチャンネルの重なり合う音声認識システムについて述べる。 実験により,提案したマルチチャネルAVSRシステムは,音声のみのASRシステムを最大6.81% (26.83%) ,22.22% (56.87%) の絶対単語誤り率 (WER) で比較した。
  論文  参考訳（メタデータ） (2020-05-18T10:31:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。