論文の概要: Efficiently Fusing Pretrained Acoustic and Linguistic Encoders for
Low-resource Speech Recognition
- arxiv url: http://arxiv.org/abs/2101.06699v2
- Date: Sun, 24 Jan 2021 13:27:57 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-27 20:14:04.288360
- Title: Efficiently Fusing Pretrained Acoustic and Linguistic Encoders for
Low-resource Speech Recognition
- Title（参考訳）: 低音源音声認識のための事前学習音響および言語エンコーダの有効利用
- Authors: Cheng Yi, Shiyu Zhou, Bo Xu
- Abstract要約: 本研究では,前訓練音響エンコーダ(wav2vec2.0)と前訓練言語エンコーダ(bert)をエンドツーエンドasrモデルに融合する。
本モデルは他のエンドツーエンドモデルに比べてcallhomeコーパスの認識性能が(15時間)向上する。
- 参考スコア（独自算出の注目度）: 9.732767611907068
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: End-to-end models have achieved impressive results on the task of automatic
speech recognition (ASR). For low-resource ASR tasks, however, labeled data can
hardly satisfy the demand of end-to-end models. Self-supervised acoustic
pre-training has already shown its amazing ASR performance, while the
transcription is still inadequate for language modeling in end-to-end models.
In this work, we fuse a pre-trained acoustic encoder (wav2vec2.0) and a
pre-trained linguistic encoder (BERT) into an end-to-end ASR model. The fused
model only needs to learn the transfer from speech to language during
fine-tuning on limited labeled data. The length of the two modalities is
matched by a monotonic attention mechanism without additional parameters.
Besides, a fully connected layer is introduced for the hidden mapping between
modalities. We further propose a scheduled fine-tuning strategy to preserve and
utilize the text context modeling ability of the pre-trained linguistic
encoder. Experiments show our effective utilizing of pre-trained modules. Our
model achieves better recognition performance on CALLHOME corpus (15 hours)
than other end-to-end models.
- Abstract（参考訳）: エンドツーエンドモデルは自動音声認識(ASR)のタスクにおいて印象的な結果を得た。
しかし、低リソースのASRタスクでは、ラベル付きデータはエンドツーエンドモデルの要求を満たすことはほとんどできない。
自己教師付きアコースティックプリトレーニングはすでに素晴らしいasr性能を示していますが、エンドツーエンドモデルの言語モデリングには依然として不十分です。
本研究では,前訓練音響エンコーダ(wav2vec2.0)と前訓練言語エンコーダ(bert)をエンドツーエンドasrモデルに融合する。
融合モデルは、限定ラベル付きデータの微調整中に音声から言語への変換を学習するのみである。
2つのモダリティの長さは、追加のパラメータなしで単調な注意機構によって一致します。
さらに、モダリティ間の隠れたマッピングのために、完全連結層が導入された。
さらに,事前学習した言語エンコーダのテキストコンテキストモデリング能力を保存し,活用するための微調整戦略を提案する。
実験により,事前学習モジュールの有効利用が示された。
本モデルは他のエンドツーエンドモデルに比べてcallhomeコーパスの認識性能が(15時間)向上する。
関連論文リスト
- Integrating Pre-Trained Speech and Language Models for End-to-End Speech Recognition [12.77573161345651]
本稿では,E2E ASRのための事前学習された音声表現モデルと大規模言語モデル(LLM)を統合することを提案する。
提案モデルは,音響特徴抽出や音響・言語モデリングを含む,ASRプロセス全体の最適化を可能にする。
論文 参考訳（メタデータ） (2023-12-06T18:34:42Z) - Transfer Learning from Pre-trained Language Models Improves End-to-End
Speech Summarization [48.35495352015281]
エンドツーエンド音声要約(E2E SSum)は、入力音声を直接1つのモデルで読みやすい短文に要約する。
E2E SSumモデルでは, 音声対の収集コストが高いため, 訓練データ不足に悩まされ, 不自然な文を出力する傾向にある。
本稿では,E2E SSumデコーダに事前学習言語モデル(LM)をトランスファーラーニングにより組み込むことを初めて提案する。
論文 参考訳（メタデータ） (2023-06-07T08:23:58Z) - SpeechUT: Bridging Speech and Text with Hidden-Unit for Encoder-Decoder
Based Speech-Text Pre-training [106.34112664893622]
本稿では,音声エンコーダとテキストデコーダの表現を共有単位エンコーダに接続する,統一モーダル音声単位テキスト事前学習モデルであるSpeechUTを提案する。
提案するSpeechUTは,自動音声認識(ASR)と音声翻訳(ST)タスクに基づいて微調整および評価を行う。
論文 参考訳（メタデータ） (2022-10-07T17:57:45Z) - Wav2Seq: Pre-training Speech-to-Text Encoder-Decoder Models Using Pseudo
Languages [58.43299730989809]
本稿では,音声データに対するエンコーダ・デコーダモデルの両部分を事前学習するための,最初の自己教師型アプローチであるWav2Seqを紹介する。
我々は、コンパクトな離散表現として擬似言語を誘導し、自己教師付き擬似音声認識タスクを定式化する。
このプロセスは独自のものであり、低コストの第2段階のトレーニングとして適用することができる。
論文 参考訳（メタデータ） (2022-05-02T17:59:02Z) - A Complementary Joint Training Approach Using Unpaired Speech and Text
for Low-Resource Automatic Speech Recognition [25.473191378558138]
非ペアデータを利用して、一般的なシーケンス・ツー・シーケンスモデルをトレーニングする。
音声-疑似ラベルペアと合成音声テキストペアの相補性に着想を得て,補足的関節訓練(CJT)法を提案する。
論文 参考訳（メタデータ） (2022-04-05T07:02:53Z) - Knowledge Transfer from Large-scale Pretrained Language Models to
End-to-end Speech Recognizers [13.372686722688325]
エンドツーエンド音声認識の訓練には、常に書き起こされた発話が必要である。
本稿では,テキストのみのデータで事前学習可能な言語モデルニューラルネットワークから知識を伝達することで,この問題を緩和する手法を提案する。
論文 参考訳（メタデータ） (2022-02-16T07:02:24Z) - Speech Summarization using Restricted Self-Attention [79.89680891246827]
音声要約に最適化された単一モデルを提案する。
提案モデルでは,ハウ-2コーパスの音声を直接要約する手法が提案されている。
論文 参考訳（メタデータ） (2021-10-12T18:21:23Z) - Semi-Supervised Spoken Language Understanding via Self-Supervised Speech
and Language Model Pretraining [64.35907499990455]
そこで本稿では,音声から意味論を直接学習するフレームワークを提案する。
我々のフレームワークは、事前訓練されたエンドツーエンド(E2E)ASRとBERTのような自己教師型言語モデルに基づいて構築されている。
並行して,SLUモデルを評価するための重要な基準として,環境騒音汚染度とE2Eセマンティクス評価の2つがあげられる。
論文 参考訳（メタデータ） (2020-10-26T18:21:27Z) - Adapting End-to-End Speech Recognition for Readable Subtitles [15.525314212209562]
サブタイリングのようないくつかのユースケースでは、画面サイズや読み込み時間に制限があるため、動詞の文字起こしは出力の可読性を低下させる。
まず,教師なし圧縮モデルを用いて書き起こされた音声を後編集するカスケードシステムについて検討する。
実験により、モデルをスクラッチからトレーニングするために必要なデータよりもはるかに少ないデータで、TransformerベースのASRモデルを適用して、書き起こし機能と圧縮機能の両方を組み込むことが可能であることが示されている。
論文 参考訳（メタデータ） (2020-05-25T14:42:26Z) - Deliberation Model Based Two-Pass End-to-End Speech Recognition [52.45841282906516]
非ストリーミングのリステン・アテン・アンド・スペル(LAS)モデルを用いて、ストリーム仮説を再スコアする2パスモデルが提案されている。
このモデルは、第一パスのテキスト仮説のみを使用する神経矯正モデルのクラスとは対照的に、音響学で仮説を再評価する。
双方向エンコーダを用いて、ファーストパス仮説からコンテキスト情報を抽出する。
論文 参考訳（メタデータ） (2020-03-17T22:01:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。