論文の概要: XLST: Cross-lingual Self-training to Learn Multilingual Representation
for Low Resource Speech Recognition
- arxiv url: http://arxiv.org/abs/2103.08207v1
- Date: Mon, 15 Mar 2021 08:33:50 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-16 13:57:04.139155
- Title: XLST: Cross-lingual Self-training to Learn Multilingual Representation
for Low Resource Speech Recognition
- Title（参考訳）: XLST:低リソース音声認識のための多言語表現学習のためのクロスリンガルセルフトレーニング
- Authors: Zi-Qiang Zhang, Yan Song, Ming-Hui Wu, Xin Fang, Li-Rong Dai
- Abstract要約: クロスランガル自己学習(XLST)と呼ばれる弱教師付き多言語表現学習フレームワークを提案する。
XLSTは、多言語非注釈データの表現学習を改善するために、高リソース言語からの少量の注釈付きデータを利用することができる。
XLSTの有効性を評価するため,CommonVoice corpusの総合的な実験を行った。
- 参考スコア（独自算出の注目度）: 45.121579065982544
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we propose a weakly supervised multilingual representation
learning framework, called cross-lingual self-training (XLST). XLST is able to
utilize a small amount of annotated data from high-resource languages to
improve the representation learning on multilingual un-annotated data.
Specifically, XLST uses a supervised trained model to produce initial
representations and another model to learn from them, by maximizing the
similarity between output embeddings of these two models. Furthermore, the
moving average mechanism and multi-view data augmentation are employed, which
are experimentally shown to be crucial to XLST. Comprehensive experiments have
been conducted on the CommonVoice corpus to evaluate the effectiveness of XLST.
Results on 5 downstream low-resource ASR tasks shows that our multilingual
pretrained model achieves relatively 18.6% PER reduction over the
state-of-the-art self-supervised method, with leveraging additional 100 hours
of annotated English data.
- Abstract（参考訳）: 本稿では,クロスリンガル自己訓練(XLST)と呼ばれる弱監督型多言語表現学習フレームワークを提案する。
XLSTは、多言語非注釈データの表現学習を改善するために、高リソース言語からの少量の注釈付きデータを利用することができる。
具体的には、XLSTは、これらの2つのモデルの出力埋め込みの類似性を最大化することにより、初期表現を生成するために教師付きトレーニングモデルと、それらから学習する別のモデルを使用する。
さらに、移動平均機構とマルチビューデータ拡張がxlstにとって重要なものであることが実験的に示される。
XLSTの有効性を評価するため,CommonVoice corpusの総合的な実験を行った。
5 下流低リソース ASR タスクの結果から,我々の多言語事前学習モデルは,100 時間追加の注釈付き英語データを活用することにより,最先端の自己教師付き手法よりも比較的 18.6% の削減を実現していることがわかった。
関連論文リスト
- mFACE: Multilingual Summarization with Factual Consistency Evaluation [79.60172087719356]
抽象的な要約は、事前訓練された言語モデルと大規模データセットの可用性のおかげで、近年で新たな関心を集めている。
有望な結果にもかかわらず、現在のモデルはいまだに現実的に矛盾した要約を生み出すことに苦しむ。
事実整合性評価モデルを利用して、多言語要約を改善する。
論文 参考訳（メタデータ） (2022-12-20T19:52:41Z) - Distilling a Pretrained Language Model to a Multilingual ASR Model [3.4012007729454816]
教師のテキストモデルに埋め込まれた豊富な知識を学生の音声モデルに蒸留する。
我々は,100時間未満の音声データを持つCommonVoiceデータセットの低リソース言語20言語に対して,本手法の優位性を示す。
論文 参考訳（メタデータ） (2022-06-25T12:36:11Z) - Learning Compact Metrics for MT [21.408684470261342]
最先端多言語モデルであるRemBERTを用いて,多言語性とモデルキャパシティのトレードオフについて検討する。
モデルのサイズが実際に言語間移動のボトルネックであることを示し、蒸留がこのボトルネックにどのように対処できるかを示す。
提案手法は,バニラ微調整よりも最大10.5%向上し,パラメータの3分の1しか使用せず,RemBERTの性能の92.6%に達する。
論文 参考訳（メタデータ） (2021-10-12T20:39:35Z) - Improving Low-resource Reading Comprehension via Cross-lingual
Transposition Rethinking [0.9236074230806579]
Extractive Reading (ERC)は、大規模で高品質なERCトレーニングデータの提供によって、大幅に進歩した。
このような急速な進歩と広範囲の応用にもかかわらず、英語のような高リソース言語以外の言語のデータセットは依然として不足している。
多言語環境において,既存の高品質抽出読解データセットをモデル化し,XLTT(Cross-Lingual Transposition ReThinking)モデルを提案する。
論文 参考訳（メタデータ） (2021-07-11T09:35:16Z) - Improving the Lexical Ability of Pretrained Language Models for
Unsupervised Neural Machine Translation [127.81351683335143]
クロスリンガルプリトレーニングは、2つの言語の語彙的表現と高レベル表現を整列させるモデルを必要とする。
これまでの研究では、これは表現が十分に整合していないためです。
本稿では,語彙レベルの情報で事前学習するバイリンガルマスク言語モデルを,型レベルのクロスリンガルサブワード埋め込みを用いて強化する。
論文 参考訳（メタデータ） (2021-03-18T21:17:58Z) - Unsupervised Domain Adaptation of a Pretrained Cross-Lingual Language
Model [58.27176041092891]
最近の研究は、大規模未ラベルテキストに対する言語間言語モデルの事前学習が、大幅な性能向上をもたらすことを示唆している。
本稿では,絡み合った事前学習した言語間表現からドメイン固有の特徴を自動的に抽出する,教師なし特徴分解手法を提案する。
提案モデルでは、相互情報推定を利用して、言語間モデルによって計算された表現をドメイン不変部分とドメイン固有部分に分解する。
論文 参考訳（メタデータ） (2020-11-23T16:00:42Z) - Mixed-Lingual Pre-training for Cross-lingual Summarization [54.4823498438831]
言語間の要約は、ソース言語の記事に対する対象言語の要約を作成することを目的としている。
本稿では,翻訳のような言語間タスクと,マスク付き言語モデルのようなモノリンガルタスクの両方を活用する混合言語事前学習に基づくソリューションを提案する。
本モデルでは,2.82(中国語)と1.15(中国語,英語)のROUGE-1スコアを最先端の結果に対して改善する。
論文 参考訳（メタデータ） (2020-10-18T00:21:53Z) - Unsupervised Cross-lingual Representation Learning for Speech
Recognition [63.85924123692923]
XLSRは、複数の言語における音声の生波形から1つのモデルを事前学習することで、言語間音声表現を学習する。
我々は、マスク付き潜在音声表現よりも対照的なタスクを解くことで訓練されたwav2vec 2.0を構築した。
実験により、言語間事前学習はモノリンガル事前訓練よりも著しく優れていることが示された。
論文 参考訳（メタデータ） (2020-06-24T18:25:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。