論文の概要: The RoyalFlush System of Speech Recognition for M2MeT Challenge
- arxiv url: http://arxiv.org/abs/2202.01614v1
- Date: Thu, 3 Feb 2022 14:38:26 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-04 14:48:08.744658
- Title: The RoyalFlush System of Speech Recognition for M2MeT Challenge
- Title（参考訳）: m2metチャレンジのためのroyalflush音声認識システム
- Authors: Shuaishuai Ye, Peiyao Wang, Shunfei Chen, Xinhui Hu, and Xinkang Xu
- Abstract要約: 本稿では,M2MeTチャレンジにおけるマルチスピーカ自動音声認識(ASR)の追跡のためのRoyalFlushシステムについて述べる。
大規模シミュレーションデータを用いたシリアライズアウトプットトレーニング(SOT)に基づくマルチスピーカASRシステムを採用した。
我々のシステムでは、検証セットでは12.22%の絶対文字誤り率(CER)が、テストセットでは12.11%が削減された。
- 参考スコア（独自算出の注目度）: 5.863625637354342
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper describes our RoyalFlush system for the track of multi-speaker
automatic speech recognition (ASR) in the M2MeT challenge. We adopted the
serialized output training (SOT) based multi-speakers ASR system with
large-scale simulation data. Firstly, we investigated a set of front-end
methods, including multi-channel weighted predicted error (WPE), beamforming,
speech separation, speech enhancement and so on, to process training,
validation and test sets. But we only selected WPE and beamforming as our
frontend methods according to their experimental results. Secondly, we made
great efforts in the data augmentation for multi-speaker ASR, mainly including
adding noise and reverberation, overlapped speech simulation, multi-channel
speech simulation, speed perturbation, front-end processing, and so on, which
brought us a great performance improvement. Finally, in order to make full use
of the performance complementary of different model architecture, we trained
the standard conformer based joint CTC/Attention (Conformer) and U2++ ASR model
with a bidirectional attention decoder, a modification of Conformer, to fuse
their results. Comparing with the official baseline system, our system got a
12.22% absolute Character Error Rate (CER) reduction on the validation set and
12.11% on the test set.
- Abstract（参考訳）: 本稿では,M2MeTチャレンジにおけるマルチスピーカ自動音声認識(ASR)の追跡のためのRoyalFlushシステムについて述べる。
大規模シミュレーションデータを用いたシリアライズアウトプットトレーニング(SOT)に基づくマルチスピーカASRシステムを採用した。
まず,多チャンネル重み付き予測誤差 (WPE) やビームフォーミング, 音声分離, 音声強調などを含むフロントエンド手法を用いて, トレーニング, 検証, テストセットの処理を行った。
しかし,実験結果により,WPEとビームフォーミングのみをフロントエンドとして選択した。
第2に,主に雑音や残響の付加,重複音声シミュレーション,マルチチャネル音声シミュレーション,速度摂動,フロントエンド処理などの多話者ASRのデータ拡張に多大な取り組みを行い,性能向上を実現した。
最後に、異なるモデルアーキテクチャのパフォーマンス補完をフル活用するために、標準コンストラクタベースの共同CTC/Attention(Conformer)とU2++ ASRモデルを双方向アテンションデコーダ(Conformerの修正)で訓練し、その結果を融合させた。
公式のベースラインシステムと比較すると、検証セットでは12.22%の絶対文字誤り率(CER)が、テストセットでは12.11%が削減された。
関連論文リスト
- MLCA-AVSR: Multi-Layer Cross Attention Fusion based Audio-Visual Speech Recognition [62.89464258519723]
異なるレベルのオーディオ/視覚エンコーダに融合することで、各モードの表現を促進する多層クロスアテンション融合に基づくAVSR手法を提案する。
提案手法は第1位システムを超え,新たなSOTA cpCERの29.13%をこのデータセット上に構築する。
論文 参考訳（メタデータ） (2024-01-07T08:59:32Z) - Improving Audio-Visual Speech Recognition by Lip-Subword Correlation
Based Visual Pre-training and Cross-Modal Fusion Encoder [58.523884148942166]
本稿では,事前学習および微調整訓練の枠組みの下で,音声視覚音声認識(AVSR)を改善するための2つの新しい手法を提案する。
まず, マンダリンにおける口唇形状と音節レベルサブワード単位の相関について検討し, 口唇形状から良好なフレームレベル音節境界を確立する。
次に,音声誘導型クロスモーダルフュージョンエンコーダ(CMFE)ニューラルネットワークを提案する。
論文 参考訳（メタデータ） (2023-08-14T08:19:24Z) - Audio-visual End-to-end Multi-channel Speech Separation, Dereverberation
and Recognition [52.11964238935099]
本稿では,音声-視覚的多チャンネル音声分離,デバーベレーション,認識手法を提案する。
ビデオ入力は、マスクベースのMVDR音声分離、DNN-WPEまたはスペクトルマッピング(SpecM)ベースの音声残響フロントエンドで一貫して実証される。
オックスフォードLSS2データセットのシミュレーションや再生を用いて合成した重畳および残響音声データについて実験を行った。
論文 参考訳（メタデータ） (2023-07-06T10:50:46Z) - Fully Automated End-to-End Fake Audio Detection [57.78459588263812]
本稿では,完全自動エンドツーエンド音声検出手法を提案する。
まず、wav2vec事前学習モデルを用いて、音声の高レベル表現を得る。
ネットワーク構造には, Light-DARTS という異種アーキテクチャサーチ (DARTS) の修正版を用いる。
論文 参考訳（メタデータ） (2022-08-20T06:46:55Z) - The USTC-Ximalaya system for the ICASSP 2022 multi-channel multi-party
meeting transcription (M2MeT) challenge [43.262531688434215]
ターゲットスピーカ音声活動検出(TS-VAD)における2つの改善点を提案する。
これらの手法は,高話者オーバラップ比,高残響・雑音条件下での実世界会議シナリオにおける多話者会話を処理するように設計されている。
論文 参考訳（メタデータ） (2022-02-10T06:06:48Z) - The Volcspeech system for the ICASSP 2022 multi-channel multi-party
meeting transcription challenge [18.33054364289739]
本稿ではICASSP 2022 Multi-channel Multi-party Meeting Transcription (M2MeT) Challengeについて述べる。
トラック1では,クラスタリングに基づく話者ダイアリゼーションシステムを実現するために,いくつかのアプローチを提案する。
トラック2では,コンバータモデルを用いた共同CTCアテンションアーキテクチャを用いたシステムを開発した。
論文 参考訳（メタデータ） (2022-02-09T03:38:39Z) - Cross-Modal ASR Post-Processing System for Error Correction and
Utterance Rejection [25.940199825317073]
音声認識のためのクロスモーダル後処理システムを提案する。
音響的特徴とテキスト的特徴を異なるモダリティから融合させる。
マルチタスク学習方式で信頼度推定器と誤り訂正器を結合する。
論文 参考訳（メタデータ） (2022-01-10T12:29:55Z) - Audio-visual Multi-channel Recognition of Overlapped Speech [79.21950701506732]
本稿では,音声とマルチチャンネルの重なり合う音声認識システムについて述べる。
実験により,提案したマルチチャネルAVSRシステムは,音声のみのASRシステムを最大6.81% (26.83%) ,22.22% (56.87%) の絶対単語誤り率 (WER) で比較した。
論文 参考訳（メタデータ） (2020-05-18T10:31:19Z) - You Do Not Need More Data: Improving End-To-End Speech Recognition by
Text-To-Speech Data Augmentation [59.31769998728787]
我々は、ASRトレーニングデータベース上にTSシステムを構築し、合成音声でデータを拡張し、認識モデルを訓練する。
テストクリーンはWER 4.3%,他のテストクリーンは13.5%で、このシステムはLibriSpeechトレインクリーン100で訓練されたエンドツーエンドASRの競争結果を確立している。
論文 参考訳（メタデータ） (2020-05-14T17:24:57Z) - Multiresolution and Multimodal Speech Recognition with Transformers [22.995102995029576]
本稿ではトランスフォーマーアーキテクチャを用いた音声視覚自動音声認識(AV-ASR)システムを提案する。
我々は、視覚情報によって提供されるシーンコンテキストに着目して、ASRを接地する。
私たちの結果は、最先端のListen、Attend、Spellベースのアーキテクチャに匹敵します。
論文 参考訳（メタデータ） (2020-04-29T09:32:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。