論文の概要: Audio-Visual Efficient Conformer for Robust Speech Recognition

• arxiv url: http://arxiv.org/abs/2301.01456v1
• Date: Wed, 4 Jan 2023 05:36:56 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-05 15:13:03.544918
• Title: Audio-Visual Efficient Conformer for Robust Speech Recognition
• Title（参考訳）: 頑健な音声認識のための視聴覚効率コンフォーメータ
• Authors: Maxime Burchi and Radu Timofte
• Abstract要約: 本稿では,近年提案されている高能率コンバータ接続性時間分類アーキテクチャの雑音を,音声と視覚の両方を処理して改善することを提案する。 実験の結果,音声と視覚のモダリティを用いることで,環境騒音の存在下での音声の認識が向上し,トレーニングが大幅に加速し,WERが4倍のトレーニングステップで低下することが確認された。
• 参考スコア（独自算出の注目度）: 91.3755431537592
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: End-to-end Automatic Speech Recognition (ASR) systems based on neural networks have seen large improvements in recent years. The availability of large scale hand-labeled datasets and sufficient computing resources made it possible to train powerful deep neural networks, reaching very low Word Error Rate (WER) on academic benchmarks. However, despite impressive performance on clean audio samples, a drop of performance is often observed on noisy speech. In this work, we propose to improve the noise robustness of the recently proposed Efficient Conformer Connectionist Temporal Classification (CTC)-based architecture by processing both audio and visual modalities. We improve previous lip reading methods using an Efficient Conformer back-end on top of a ResNet-18 visual front-end and by adding intermediate CTC losses between blocks. We condition intermediate block features on early predictions using Inter CTC residual modules to relax the conditional independence assumption of CTC-based models. We also replace the Efficient Conformer grouped attention by a more efficient and simpler attention mechanism that we call patch attention. We experiment with publicly available Lip Reading Sentences 2 (LRS2) and Lip Reading Sentences 3 (LRS3) datasets. Our experiments show that using audio and visual modalities allows to better recognize speech in the presence of environmental noise and significantly accelerate training, reaching lower WER with 4 times less training steps. Our Audio-Visual Efficient Conformer (AVEC) model achieves state-of-the-art performance, reaching WER of 2.3% and 1.8% on LRS2 and LRS3 test sets. Code and pretrained models are available at https://github.com/burchim/AVEC.
• Abstract（参考訳）: 近年,ニューラルネットワークに基づくエンドツーエンド自動音声認識(ASR)システムが大幅に改善されている。 大規模なハンドラベルデータセットと十分な計算リソースにより、強力なディープニューラルネットワークのトレーニングが可能になり、学術ベンチマークではワードエラー率(WER)が非常に低い。 しかし、クリーンな音声サンプルでの印象的なパフォーマンスにもかかわらず、ノイズの多い音声ではパフォーマンスの低下がしばしば見られる。 本研究では,近年提案されているCTCアーキテクチャにおいて,音声と視覚の両方のモーダルを処理することにより,雑音の堅牢性を向上させることを提案する。 本研究では,ResNet-18視覚フロントエンド上での効率的なコンフォーマバックエンドとブロック間の中間CTC損失の追加により,従来の唇読取法を改善する。 CTCモデルにおける条件独立性仮定を緩和するために,Inter CTC残差モジュールを用いた早期予測に中間ブロック特性を仮定する。 また, パッチアテンションと呼ばれるより効率的でシンプルなアテンション機構によって, 効率的なコンフォーメータグループアテンションを置き換えた。 利用可能なLip Reading Sentences 2(LRS2)およびLip Reading Sentences 3(LRS3)データセットを実験した。 実験では,音声と視覚のモダリティを用いることで,環境騒音の存在下での音声の認識が向上し,トレーニングを著しく加速し,4倍のトレーニングステップで低いワーに到達できることが示されている。 我々のAudio-Visual Efficient Conformer (AVEC) モデルは最先端の性能を実現し, LRS2 および LRS3 テストセットの WER は 2.3% と 1.8% に達した。 コードと事前訓練されたモデルはhttps://github.com/burchim/AVEC.comで入手できる。

関連論文リスト

• CR-CTC: Consistency regularization on CTC for improved speech recognition [18.996929774821822]
  Connectionist Temporal Classification (CTC) は自動音声認識(ASR)の手法として広く使われている。 しかし、CTCとアテンションベースのエンコーダデコーダ(CTC/AED)を組み合わせたトランスデューサやシステムと比較すると、認識性能に劣ることが多い。 本稿では,入力音声メルスペクトルの異なる拡張ビューから得られた2つのCTC分布間の整合性を実現するConsistency-Regularized CTC (CR-CTC)を提案する。
  論文  参考訳（メタデータ） (2024-10-07T14:56:07Z)
• Lip2Vec: Efficient and Robust Visual Speech Recognition via Latent-to-Latent Visual to Audio Representation Mapping [4.271091833712731]
  従来のモデルから学習するシンプルなアプローチであるLip2Vecを提案する。 提案手法は LRS3 データセット上で26 WER を達成する完全教師付き学習法と比較した。 我々は、VSRをASRタスクとして再プログラムすることで、両者のパフォーマンスギャップを狭め、より柔軟な唇読解法を構築することができると考えている。
  論文  参考訳（メタデータ） (2023-08-11T12:59:02Z)
• Auto-AVSR: Audio-Visual Speech Recognition with Automatic Labels [100.43280310123784]
  トレーニングセットのサイズを増大させるために,未ラベルデータセットの自動書き起こしの使用について検討した。 近年の文献的傾向であるトレーニングセットのサイズが大きくなると、ノイズのある書き起こしを用いたにもかかわらずWERが減少することが実証された。 提案手法は,RS2 と LRS3 の AV-ASR 上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-03-25T00:37:34Z)
• Jointly Learning Visual and Auditory Speech Representations from Raw Data [108.68531445641769]
  RAVEnは視覚と聴覚の表現を協調的に学習する自己教師型マルチモーダルアプローチである。 我々の設計は、ビデオとオーディオの固有の違いによって駆動される非対称なw.r.t.である。 RAVEnは視覚音声認識における全自己指導手法を超越している。
  論文  参考訳（メタデータ） (2022-12-12T21:04:06Z)
• Sub-word Level Lip Reading With Visual Attention [88.89348882036512]
  我々は、リップリーディングで遭遇するユニークな課題に注目し、調整されたソリューションを提案する。 公開データセット上でのトレーニングにおいて,挑戦的なLSS2とLSS3ベンチマークの最先端結果を得る。 我々の最良のモデルはLRS2データセットで22.6%のワードエラー率を達成する。
  論文  参考訳（メタデータ） (2021-10-14T17:59:57Z)
• End-to-end Audio-visual Speech Recognition with Conformers [65.30276363777514]
  ResNet-18とConvolution-augmented Transformer(Conformer)に基づくハイブリッドCTC/Attentionモデルを提案する。 特に、オーディオおよびビジュアルエンコーダは、生のピクセルとオーディオ波形から直接特徴を抽出することを学びます。 提案手法は, 音声のみ, 視覚のみ, および視聴覚実験において, 最先端の性能を高めることを実証する。
  論文  参考訳（メタデータ） (2021-02-12T18:00:08Z)
• You Do Not Need More Data: Improving End-To-End Speech Recognition by Text-To-Speech Data Augmentation [59.31769998728787]
  我々は、ASRトレーニングデータベース上にTSシステムを構築し、合成音声でデータを拡張し、認識モデルを訓練する。 テストクリーンはWER 4.3%,他のテストクリーンは13.5%で、このシステムはLibriSpeechトレインクリーン100で訓練されたエンドツーエンドASRの競争結果を確立している。
  論文  参考訳（メタデータ） (2020-05-14T17:24:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。