論文の概要: Unsupervised pretraining transfers well across languages

• arxiv url: http://arxiv.org/abs/2002.02848v1
• Date: Fri, 7 Feb 2020 15:34:53 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-03 04:08:25.541432
• Title: Unsupervised pretraining transfers well across languages
• Title（参考訳）: 教師なし事前学習の言語間移動
• Authors: Morgane Rivi\`ere, Armand Joulin, Pierre-Emmanuel Mazar\'e, Emmanuel Dupoux
• Abstract要約: CPC事前訓練のわずかな変更は、他の言語によく伝達される特徴を抽出することを示す。 これは言語資源が少ない言語に対する教師なし手法の可能性を示している。
• 参考スコア（独自算出の注目度）: 23.511165776079995
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Cross-lingual and multi-lingual training of Automatic Speech Recognition (ASR) has been extensively investigated in the supervised setting. This assumes the existence of a parallel corpus of speech and orthographic transcriptions. Recently, contrastive predictive coding (CPC) algorithms have been proposed to pretrain ASR systems with unlabelled data. In this work, we investigate whether unsupervised pretraining transfers well across languages. We show that a slight modification of the CPC pretraining extracts features that transfer well to other languages, being on par or even outperforming supervised pretraining. This shows the potential of unsupervised methods for languages with few linguistic resources.
• Abstract（参考訳）: 自動音声認識(asr)の言語間および多言語間学習は教師あり環境で広く研究されている。 これは、音声と正書法による転写の並列コーパスの存在を前提としている。 近年,非競合データを用いたASRシステムの事前学習のためのコントラスト予測符号化(CPC)アルゴリズムが提案されている。 本研究では,教師なし事前学習が言語間でうまく伝達されるかどうかを検討する。 cpcプリトレーニングのわずかな変更は、他の言語によく移行する機能を抽出し、教師付きプリトレーニングに匹敵するか、あるいは上回ることを示します。 これは言語資源の少ない言語に対する教師なし手法の可能性を示している。

関連論文リスト

• Automatic Discrimination of Human and Neural Machine Translation in Multilingual Scenarios [4.631167282648452]
  我々は人間と機械の翻訳を自動で識別するタスクに取り組む。 複数言語と多言語事前学習言語モデルを考慮した多言語環境で実験を行う。
  論文  参考訳（メタデータ） (2023-05-31T11:41:24Z)
• Supervision-Guided Codebooks for Masked Prediction in Speech Pre-training [102.14558233502514]
  自己教師型学習(SSL)における事前学習のマズード予測は,音声認識における顕著な進歩をみせている。 本稿では,自動音声認識(ASR)の性能向上のための2つの教師付きコードブック生成手法を提案する。
  論文  参考訳（メタデータ） (2022-06-21T06:08:30Z)
• Bridging the Gap between Language Models and Cross-Lingual Sequence Labeling [101.74165219364264]
  大規模言語間事前学習言語モデル (xPLM) は、言語間シーケンスラベリングタスクにおいて有効であることを示す。 大きな成功にもかかわらず、事前学習と微調整の段階の間には訓練対象のギャップがあるという経験的観察を描いている。 本稿では,まず,言語間インフォーマティブ・スパン・マスキング(CLISM)と呼ばれるxSLのための事前学習タスクを設計し,目的のギャップを解消する。 第2に、コントラスト学習を利用して入力並列表現間の一貫性を促進するContrAstive-Consistency Regularization (CACR)を提案する。
  論文  参考訳（メタデータ） (2022-04-11T15:55:20Z)
• Bilingual Alignment Pre-training for Zero-shot Cross-lingual Transfer [33.680292990007366]
  本稿では,埋め込みの整合性を向上し,ゼロショットの言語間転送性能を向上させることを目的とする。 本稿では,従来の知識として統計アライメント情報を用いて,バイリンガル単語予測を導出するアライメント言語モデル(Alignment Language Model, AlignLM)を提案する。 その結果、AlignLMはMLQAおよびXNLIデータセット上でゼロショット性能を大幅に改善できることが示された。
  論文  参考訳（メタデータ） (2021-06-03T10:18:43Z)
• Zero-Shot Cross-lingual Semantic Parsing [56.95036511882921]
  7つのテスト言語に対する並列データを持たないゼロショット問題として,言語間セマンティックパーシングについて検討した。 英文論理形式ペアデータのみを用いて解析知識を付加言語に転送するマルチタスクエンコーダデコーダモデルを提案する。 このシステムは、ゼロショット解析を潜時空間アライメント問題としてフレーム化し、事前訓練されたモデルを改善し、最小のクロスリンガル転送ペナルティで論理形式を生成することができる。
  論文  参考訳（メタデータ） (2021-04-15T16:08:43Z)
• Analyzing Zero-shot Cross-lingual Transfer in Supervised NLP Tasks [6.7155846430379285]
  ゼロショット言語間転送では、ある言語のコーパスでトレーニングされた教師付きnlpタスクが、追加のトレーニングなしで他の言語に直接適用されます。 最近導入されたクロス言語言語モデル(XLM)プリトレーニングは、トランスフォーマースタイルのネットワークでニューラルパラメータの共有をもたらす。 本稿では,XLM事前学習により生じる仮説上強い言語間移動特性を検証することを目的とする。
  論文  参考訳（メタデータ） (2021-01-26T09:21:25Z)
• Emergent Communication Pretraining for Few-Shot Machine Translation [66.48990742411033]
  我々は、参照ゲームからの創発的コミュニケーションを介してニューラルネットワークを事前訓練する。 私たちの重要な前提は、実世界の環境の粗悪な近似として、画像に基づくコミュニケーションを基盤にすることで、帰納的に自然言語学習のモデルに偏りが生じる、ということです。
  論文  参考訳（メタデータ） (2020-11-02T10:57:53Z)
• Self-Supervised Representations Improve End-to-End Speech Translation [57.641761472372814]
  自己教師付き事前学習機能により,翻訳性能が一貫的に向上することを示す。 言語間の変換は、チューニングの必要なく、あるいはほとんどチューニングすることなく、さまざまな言語に拡張することができる。
  論文  参考訳（メタデータ） (2020-06-22T10:28:38Z)
• Multilingual Denoising Pre-training for Neural Machine Translation [132.66750663226287]
  mBART(mBART)は、大規模モノリンガルコーパスで事前訓練されたシーケンスからシーケンスまでの自動エンコーダである。 mBARTは、完全なシーケンス・ツー・シーケンスモデルを事前訓練する最初の方法の1つである。
  論文  参考訳（メタデータ） (2020-01-22T18:59:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。