論文の概要: Multi-Modal Pre-Training for Automated Speech Recognition

• arxiv url: http://arxiv.org/abs/2110.09890v1
• Date: Tue, 12 Oct 2021 17:07:25 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-24 04:34:14.957100
• Title: Multi-Modal Pre-Training for Automated Speech Recognition
• Title（参考訳）: 自動音声認識のためのマルチモーダル事前訓練
• Authors: David M. Chan, Shalini Ghosh, Debmalya Chakrabarty and Bj\"orn Hoffmeister
• Abstract要約: 本研究では, マスキング言語モデルに基づく自己教師型学習手法を導入し, 発話環境のグローバルなマルチモーダル符号化を演算する。 その結果、Librispeech上では、ベースラインメソッドを最大7%上回る結果が得られた。
• 参考スコア（独自算出の注目度）: 11.451227239633553
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Traditionally, research in automated speech recognition has focused on local-first encoding of audio representations to predict the spoken phonemes in an utterance. Unfortunately, approaches relying on such hyper-local information tend to be vulnerable to both local-level corruption (such as audio-frame drops, or loud noises) and global-level noise (such as environmental noise, or background noise) that has not been seen during training. In this work, we introduce a novel approach which leverages a self-supervised learning technique based on masked language modeling to compute a global, multi-modal encoding of the environment in which the utterance occurs. We then use a new deep-fusion framework to integrate this global context into a traditional ASR method, and demonstrate that the resulting method can outperform baseline methods by up to 7% on Librispeech; gains on internal datasets range from 6% (on larger models) to 45% (on smaller models).
• Abstract（参考訳）: 伝統的に、音声認識の研究は、発話中の音声音素を予測するために、音声表現のローカルファーストエンコーディングに焦点を当ててきた。 残念なことに、そのようなローカルな情報に依存するアプローチは、訓練中に見られていないローカルレベルの汚職(オーディオフレームドロップや大音量ノイズなど)とグローバルレベルのノイズ(環境ノイズやバックグラウンドノイズなど)の両方に弱い傾向にある。 本研究では,マスク付き言語モデルに基づく自己教師型学習手法を用いて,発話の発生する環境のグローバルなマルチモーダル符号化を演算する手法を提案する。 次に、このグローバルコンテキストを従来のASRメソッドに統合するために、新しいディープフュージョンフレームワークを使用し、その結果、Librispeechで最大7%、内部データセットでは6%から45%(より小さなモデルでは45%)の精度でベースラインメソッドを上回ります。

関連論文リスト

• Multilingual Audio-Visual Speech Recognition with Hybrid CTC/RNN-T Fast Conformer [59.57249127943914]
  本稿では,複数の改良を加えた多言語音声認識モデルを提案する。 我々は、6つの異なる言語に対する音声視覚訓練データの量を増やし、重複しない多言語データセットの自動書き起こしを生成する。 提案モデルでは, LRS3データセット上での新たな最先端性能を実現し, WERは0.8%に達した。
  論文  参考訳（メタデータ） (2024-03-14T01:16:32Z)
• Improving Audio-Visual Speech Recognition by Lip-Subword Correlation Based Visual Pre-training and Cross-Modal Fusion Encoder [58.523884148942166]
  本稿では,事前学習および微調整訓練の枠組みの下で,音声視覚音声認識(AVSR)を改善するための2つの新しい手法を提案する。 まず, マンダリンにおける口唇形状と音節レベルサブワード単位の相関について検討し, 口唇形状から良好なフレームレベル音節境界を確立する。 次に,音声誘導型クロスモーダルフュージョンエンコーダ(CMFE)ニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2023-08-14T08:19:24Z)
• Improving the Intent Classification accuracy in Noisy Environment [9.447108578893639]
  本稿では,エンド・ツー・エンドのニューラルモデルを用いた意図分類課題に対して,環境騒音とその関連ノイズ低減手法について検討する。 この課題に対して,音声強調処理を用いることで,雑音条件下での分類精度を大幅に向上させる。
  論文  参考訳（メタデータ） (2023-03-12T06:11:44Z)
• ASiT: Local-Global Audio Spectrogram vIsion Transformer for Event Classification [42.95038619688867]
  ASiTは、グループマスク付きモデル学習と自己蒸留を用いて、局所的およびグローバルな文脈情報をキャプチャする、新しい自己教師型学習フレームワークである。 我々は、音声イベント分類、キーワードスポッティング、話者識別を含む音声および音声の分類タスクにおいて、事前訓練されたモデルを評価する。
  論文  参考訳（メタデータ） (2022-11-23T18:21:09Z)
• Cross-domain Voice Activity Detection with Self-Supervised Representations [9.02236667251654]
  音声活動検出(Voice Activity Detection, VAD)は、音声信号の音声区間を検出することを目的とする。 現在の最先端の手法は、音響に直接含まれている特徴を活用するニューラルネットワークのトレーニングに重点を置いている。 自己監視学習(SSL)に基づく表現は,異なる領域に適応可能であることを示す。
  論文  参考訳（メタデータ） (2022-09-22T14:53:44Z)
• Self-Supervised Speech Representation Learning: A Review [105.1545308184483]
  自己教師付き表現学習法は、幅広いタスクやドメインに利益をもたらす単一の普遍的モデルを約束する。 音声表現学習は、生成的、コントラスト的、予測的という3つの主要なカテゴリで同様の進歩を経験している。 本稿では,自己指導型音声表現学習のアプローチと,他の研究領域との関係について述べる。
  論文  参考訳（メタデータ） (2022-05-21T16:52:57Z)
• Deciphering Speech: a Zero-Resource Approach to Cross-Lingual Transfer in ASR [13.726142328715897]
  本稿では、ターゲット言語からの全く転写されていないトレーニングデータを用いて、ASRシステムの言語間訓練を行う方法を提案する。 提案手法は,対象言語からの未ペア音声とテキストデータのみを演算する復号アルゴリズムの新たな適用法である。
  論文  参考訳（メタデータ） (2021-11-12T16:16:46Z)
• A Review of Sound Source Localization with Deep Learning Methods [71.18444724397486]
  本稿では,単音源および複数音源の音源定位のための深層学習手法について概説する。 この文脈におけるニューラルネットワークを用いた局所化文献の網羅的なトポグラフィーを提供する。 文献レビューを要約したテーブルをレビューの最後に提供し、所定の対象特性のセットでメソッドを素早く検索する。
  論文  参考訳（メタデータ） (2021-09-08T07:25:39Z)
• PILOT: Introducing Transformers for Probabilistic Sound Event Localization [107.78964411642401]
  本稿では,受信したマルチチャンネル音声信号の時間的依存性を自己アテンション機構によってキャプチャする,トランスフォーマーに基づく新しい音声イベント定位フレームワークを提案する。 このフレームワークは, 公開されている3つの音声イベントローカライズデータセットを用いて評価し, 局所化誤差と事象検出精度の点で最先端の手法と比較した。
  論文  参考訳（メタデータ） (2021-06-07T18:29:19Z)
• Data Fusion for Audiovisual Speaker Localization: Extending Dynamic Stream Weights to the Spatial Domain [103.3388198420822]
  複数の話者の位置を推定することは、自動音声認識や話者ダイアリゼーションなどのタスクに役立ちます。 本稿では,個別の動的ストリーム重みを特定領域に割り当てることにより,話者定位のための新しい音声視覚データ融合フレームワークを提案する。 オーディオ・ヴィジュアル・レコードを用いた性能評価は,全てのベースラインモデルより優れた融合手法により,有望な結果をもたらす。
  論文  参考訳（メタデータ） (2021-02-23T09:59:31Z)
• Multi-Staged Cross-Lingual Acoustic Model Adaption for Robust Speech Recognition in Real-World Applications -- A Case Study on German Oral History Interviews [21.47857960919014]
  本稿では,言語横断的,多段階的手法により,対象領域へのロバストな音響モデル適応を実現する手法を提案する。 我々のアプローチは、同じ言語と他の言語の両方で、他のドメインからの大規模なトレーニングデータの利用を可能にします。
  論文  参考訳（メタデータ） (2020-05-26T08:05:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。