論文の概要: UniSpeech: Unified Speech Representation Learning with Labeled and Unlabeled Data

• arxiv url: http://arxiv.org/abs/2101.07597v1
• Date: Tue, 19 Jan 2021 12:53:43 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-22 11:28:05.371541
• Title: UniSpeech: Unified Speech Representation Learning with Labeled and Unlabeled Data
• Title（参考訳）: UniSpeech:ラベル付きおよびラベルなしデータを用いた統一音声表現学習
• Authors: Chengyi Wang, Yu Wu, Yao Qian, Kenichi Kumatani, Shujie Liu, Furu Wei, Michael Zeng and Xuedong Huang
• Abstract要約: ラベル付きデータとラベル付きデータの両方を用いて音声表現を学習するためのUniSpeechという統合事前学習手法を提案する。 公立CommonVoiceコーパス上での言語間表現学習におけるUniSpeechの有効性を評価する。
• 参考スコア（独自算出の注目度）: 54.733889961024445
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we propose a unified pre-training approach called UniSpeech to learn speech representations with both unlabeled and labeled data, in which supervised phonetic CTC learning and phonetically-aware contrastive self-supervised learning are conducted in a multi-task learning manner. The resultant representations can capture information more correlated with phonetic structures and improve the generalization across languages and domains. We evaluate the effectiveness of UniSpeech for cross-lingual representation learning on public CommonVoice corpus. The results show that UniSpeech outperforms self-supervised pretraining and supervised transfer learning for speech recognition by a maximum of 13.4% and 17.8% relative phone error rate reductions respectively (averaged over all testing languages). The transferability of UniSpeech is also demonstrated on a domain-shift speech recognition task, i.e., a relative word error rate reduction of 6% against the previous approach.
• Abstract（参考訳）: 本稿では,ラベルなしデータとラベル付きデータの両方で音声表現を学習するためのunispeechと呼ばれる統合事前学習手法を提案する。 結果表現は、音声構造とより関連づけられた情報をキャプチャし、言語とドメイン間の一般化を改善することができる。 公立CommonVoiceコーパスにおける言語間表現学習におけるUniSpeechの有効性を評価する。 結果は、UniSpeechが音声認識のための自己指導型事前学習と教師型トランスファー学習を最大13.4%、相対的な電話誤り率17.8%で上回っていることを示している。 UniSpeechの転送可能性はまた、ドメインシフト音声認識タスク、すなわち、以前のアプローチと比較して6%の単語誤り率の減少を示す。

関連論文リスト

• Towards Unsupervised Speech Recognition Without Pronunciation Models [57.222729245842054]
  ほとんどの言語では、音声認識システムを効果的に訓練するのに十分なペア音声とテキストデータがない。 本稿では、教師なしASRシステムを開発するために、音素レキシコンへの依存を除去することを提案する。 音声合成とテキスト・テキスト・マスクによるトークン埋込から教師なし音声認識が実現可能であることを実験的に実証した。
  論文  参考訳（メタデータ） (2024-06-12T16:30:58Z)
• ESSumm: Extractive Speech Summarization from Untranscribed Meeting [7.309214379395552]
  本稿では,音声から音声への直接要約のための新しいアーキテクチャであるESSummを提案する。 市販の自己教師型畳み込みニューラルネットワークを利用して、生音声から深層音声の特徴を抽出する。 提案手法は,目的の要約長でキー情報をキャプチャする音声セグメントの最適シーケンスを自動的に予測する。
  論文  参考訳（メタデータ） (2022-09-14T20:13:15Z)
• Towards End-to-end Unsupervised Speech Recognition [120.4915001021405]
  我々は、すべてのオーディオサイドの事前処理を廃止し、アーキテクチャの改善により精度を向上させるwvuを紹介する。 さらに、モデル予測を入力に結びつける補助的な自己教師対象を導入する。 実験により、vvuimは概念的にシンプルでありながら、異なる言語にわたる教師なしの認識結果を向上することが示された。
  論文  参考訳（メタデータ） (2022-04-05T21:22:38Z)
• Self-Supervised Speech Representations Preserve Speech Characteristics while Anonymizing Voices [15.136348385992047]
  我々は、自己教師付き音声表現を用いて、複数の音声変換モデルを訓練する。 変換音声は、元の音声の1%以内に低い単語誤り率を保持する。 調音・韻律・発声・音韻に関連する音声特徴を匿名音声から抽出できることを示す。
  論文  参考訳（メタデータ） (2022-04-04T17:48:01Z)
• Wav2vec-Switch: Contrastive Learning from Original-noisy Speech Pairs for Robust Speech Recognition [52.71604809100364]
  音声の文脈化表現に雑音のロバスト性をエンコードするwav2vec-Switchを提案する。 具体的には、オリジナルノイズの多い音声ペアを同時にwav2vec 2.0ネットワークに供給する。 既存のコントラスト学習タスクに加えて、原音声と雑音音声の量子化表現を追加の予測対象に切り替える。
  論文  参考訳（メタデータ） (2021-10-11T00:08:48Z)
• Injecting Text in Self-Supervised Speech Pretraining [33.676479965610774]
  我々は,2つの異なるモーダル(音声とテキスト)から事前学習中の表現を共同学習することを提案する。 tts4pretrainは自己スーパービジョンにおけるコントラスト学習のパワーを補完する。 We demonstrate Word Error Rate (WER) reductions of 10% relative on the well-benchmarked, Librispeech task。
  論文  参考訳（メタデータ） (2021-08-27T11:36:40Z)
• VQMIVC: Vector Quantization and Mutual Information-Based Unsupervised Speech Representation Disentanglement for One-shot Voice Conversion [54.29557210925752]
  ワンショット音声変換は、音声表現のアンタングルメントによって効果的に実現できる。 コンテンツエンコーディングにはベクトル量子化(VQ)を使用し、トレーニング中に相互情報(MI)を相関指標として導入する。 実験結果は,提案手法が効果的に非絡み合った音声表現を学習する際の優位性を反映している。
  論文  参考訳（メタデータ） (2021-06-18T13:50:38Z)
• Unsupervised Cross-lingual Representation Learning for Speech Recognition [63.85924123692923]
  XLSRは、複数の言語における音声の生波形から1つのモデルを事前学習することで、言語間音声表現を学習する。 我々は、マスク付き潜在音声表現よりも対照的なタスクを解くことで訓練されたwav2vec 2.0を構築した。 実験により、言語間事前学習はモノリンガル事前訓練よりも著しく優れていることが示された。
  論文  参考訳（メタデータ） (2020-06-24T18:25:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。