論文の概要: How Phonotactics Affect Multilingual and Zero-shot ASR Performance

• arxiv url: http://arxiv.org/abs/2010.12104v2
• Date: Wed, 10 Feb 2021 18:53:38 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-04 07:43:25.230484
• Title: How Phonotactics Affect Multilingual and Zero-shot ASR Performance
• Title（参考訳）: 多言語性およびゼロショット型asrの性能に及ぼすフォノタクティクスの影響
• Authors: Siyuan Feng, Piotr \.Zelasko, Laureano Moro-Vel\'azquez, Ali Abavisani, Mark Hasegawa-Johnson, Odette Scharenborg, Najim Dehak
• Abstract要約: Transformer encoder-decoderモデルは、トレーニング中に提示された言語のIPA転写において、多言語データをうまく活用することが示されている。 我々は,エンコーダデコーダをAMとLMを分離したハイブリッドASRシステムに置き換える。 交叉音韻律のモデル化による利得は限定的であり,強すぎるモデルがゼロショット転送を損なう可能性があることを示す。
• 参考スコア（独自算出の注目度）: 74.70048598292583
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The idea of combining multiple languages' recordings to train a single automatic speech recognition (ASR) model brings the promise of the emergence of universal speech representation. Recently, a Transformer encoder-decoder model has been shown to leverage multilingual data well in IPA transcriptions of languages presented during training. However, the representations it learned were not successful in zero-shot transfer to unseen languages. Because that model lacks an explicit factorization of the acoustic model (AM) and language model (LM), it is unclear to what degree the performance suffered from differences in pronunciation or the mismatch in phonotactics. To gain more insight into the factors limiting zero-shot ASR transfer, we replace the encoder-decoder with a hybrid ASR system consisting of a separate AM and LM. Then, we perform an extensive evaluation of monolingual, multilingual, and crosslingual (zero-shot) acoustic and language models on a set of 13 phonetically diverse languages. We show that the gain from modeling crosslingual phonotactics is limited, and imposing a too strong model can hurt the zero-shot transfer. Furthermore, we find that a multilingual LM hurts a multilingual ASR system's performance, and retaining only the target language's phonotactic data in LM training is preferable.
• Abstract（参考訳）: 複数の言語の録音を組み合わせて単一の自動音声認識(asr)モデルを訓練するというアイデアは、普遍的な音声表現の出現を約束する。 近年,Transformer encoder-decoderモデルでは,トレーニング中に提示される言語のIPA転写に多言語データをうまく活用することが示されている。 しかし、それが学んだ表現は、見当たらない言語へのゼロショット転送には成功しなかった。 このモデルには音響モデル (AM) と言語モデル (LM) の明確な分解因子が欠如しているため, 発音の違いや音韻的ミスマッチの程度が不明確である。 ゼロショットASR転送を制限する要因について、より深い知見を得るため、エンコーダデコーダを別個のAMとLMからなるハイブリッドASRシステムに置き換える。 そこで本研究では,13言語を対象に,モノリンガル,マルチリンガル,クロスリンガル(ゼロショット)音響モデルおよび言語モデルの評価を行った。 交叉音韻律のモデル化による利得は限定的であり,強すぎるモデルがゼロショット転送を損なう可能性があることを示す。 さらに、多言語LMは多言語ASRシステムの性能を損なうことが分かり、LMトレーニングにおいて対象言語の音韻データのみを保持することが好ましい。

関連論文リスト

• Multilingual self-supervised speech representations improve the speech recognition of low-resource African languages with codeswitching [65.74653592668743]
  微細な自己教師型多言語表現は絶対単語誤り率を最大20%削減する。 訓練データに制限のある状況では、自己教師付き表現を微調整することが、より良いパフォーマンスと実行可能なソリューションである。
  論文  参考訳（メタデータ） (2023-11-25T17:05:21Z)
• LAMASSU: Streaming Language-Agnostic Multilingual Speech Recognition and Translation Using Neural Transducers [71.76680102779765]
  自動音声認識(ASR)と音声翻訳(ST)はどちらもモデル構造としてニューラルトランスデューサを使用することができる。 ニューラルトランスデューサを用いた多言語音声認識および翻訳モデルであるLAMASSUを提案する。
  論文  参考訳（メタデータ） (2022-11-05T04:03:55Z)
• Learning ASR pathways: A sparse multilingual ASR model [31.147484652643282]
  ASR経路は、言語固有のサブネットワーク(パス)を活性化するスパース多言語ASRモデルである。 重なり合うサブネットワークにより、共有パラメータは、共同でマルチリンガルトレーニングをすることで、低リソース言語への知識伝達を可能にする。 提案したASR経路は,高密度モデルと言語に依存しないプルーニングモデルの両方より優れ,低リソース言語の性能向上を実現している。
  論文  参考訳（メタデータ） (2022-09-13T05:14:08Z)
• Investigating the Impact of Cross-lingual Acoustic-Phonetic Similarities on Multilingual Speech Recognition [31.575930914290762]
  言語間音響-音声の類似性を調べるために, 新たなデータ駆動手法を提案する。 ディープニューラルネットワークは、異なる音響モデルからの分布を直接的に同等の形式に変換するためのマッピングネットワークとして訓練されている。 モノリンガルに比べて8%の相対的な改善が達成されている。
  論文  参考訳（メタデータ） (2022-07-07T15:55:41Z)
• Distilling a Pretrained Language Model to a Multilingual ASR Model [3.4012007729454816]
  教師のテキストモデルに埋め込まれた豊富な知識を学生の音声モデルに蒸留する。 我々は,100時間未満の音声データを持つCommonVoiceデータセットの低リソース言語20言語に対して,本手法の優位性を示す。
  論文  参考訳（メタデータ） (2022-06-25T12:36:11Z)
• LAE: Language-Aware Encoder for Monolingual and Multilingual ASR [87.74794847245536]
  言語固有の情報を混在させることにより,両状況に対処する新しい言語対応エンコーダ (LAE) アーキテクチャを提案する。 マンダリン・イングリッシュ・コードスウィッチ音声を用いた実験により,LAEはフレームレベルで異なる言語を識別できることが示唆された。
  論文  参考訳（メタデータ） (2022-06-05T04:03:12Z)
• Learning Disentangled Semantic Representations for Zero-Shot Cross-Lingual Transfer in Multilingual Machine Reading Comprehension [40.38719019711233]
  マルチリンガル事前学習モデルは、機械読取理解(MRC)において、リッチリソース言語から低リソース言語への移行知識をゼロショットで得ることができる 本稿では,シメセマンティック・ディスタングルメント・モデル(SSDM)を用いた,多言語事前学習モデルで学習した表現の構文から意味論を解離させる新しい多言語MRCフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-04-03T05:26:42Z)
• Discovering Phonetic Inventories with Crosslingual Automatic Speech Recognition [71.49308685090324]
  本稿では,未知言語における音声認識における異なる要因(モデルアーキテクチャ,音韻モデル,音声表現の種類)の影響について検討する。 独特な音、類似した音、トーン言語は、音声による在庫発見の大きな課題である。
  論文  参考訳（メタデータ） (2022-01-26T22:12:55Z)
• That Sounds Familiar: an Analysis of Phonetic Representations Transfer Across Languages [72.9927937955371]
  我々は、他言語に存在するリソースを用いて、多言語自動音声認識モデルを訓練する。 我々は,多言語設定における全言語間での大幅な改善と,多言語設定におけるスターク劣化を観察した。 分析の結果、ひとつの言語に固有の電話でさえ、他の言語からのトレーニングデータを追加することで大きなメリットがあることがわかった。
  論文  参考訳（メタデータ） (2020-05-16T22:28:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。