論文の概要: Transfer learning and subword sampling for asymmetric-resource one-to-many neural translation

• arxiv url: http://arxiv.org/abs/2004.04002v2
• Date: Wed, 9 Dec 2020 08:03:58 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-15 08:55:56.995967
• Title: Transfer learning and subword sampling for asymmetric-resource one-to-many neural translation
• Title（参考訳）: 非対称音源1対多ニューラルトランスファーのためのトランスファー学習とサブワードサンプリング
• Authors: Stig-Arne Gr\"onroos and Sami Virpioja and Mikko Kurimo
• Abstract要約: 低リソース言語のためのニューラルマシン翻訳を改善する方法について概説する。 人工的に制限された3つの翻訳タスクと1つの現実世界タスクでテストが行われる。 実験は、特にスケジュールされたマルチタスク学習、denoising autoencoder、サブワードサンプリングに肯定的な効果を示す。
• 参考スコア（独自算出の注目度）: 14.116412358534442
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: There are several approaches for improving neural machine translation for low-resource languages: Monolingual data can be exploited via pretraining or data augmentation; Parallel corpora on related language pairs can be used via parameter sharing or transfer learning in multilingual models; Subword segmentation and regularization techniques can be applied to ensure high coverage of the vocabulary. We review these approaches in the context of an asymmetric-resource one-to-many translation task, in which the pair of target languages are related, with one being a very low-resource and the other a higher-resource language. We test various methods on three artificially restricted translation tasks -- English to Estonian (low-resource) and Finnish (high-resource), English to Slovak and Czech, English to Danish and Swedish -- and one real-world task, Norwegian to North S\'ami and Finnish. The experiments show positive effects especially for scheduled multi-task learning, denoising autoencoder, and subword sampling.
• Abstract（参考訳）: 低リソース言語のためのニューラルマシン翻訳を改善するには、いくつかのアプローチがある: 事前訓練やデータ拡張によって単言語データを活用できる; 関連言語対の並列コーパスは、多言語モデルにおけるパラメータ共有や転送学習を通じて使用できる; 単語のサブワード分割と正規化技術は、語彙の高カバレッジを保証するために適用できる。 我々は, 対象言語対が関連している非対称翻訳タスクの文脈において, 対象言語対が極めて低リソースであり, 他方が高リソース言語である場合, それらのアプローチを考察する。 英語はエストニア語(低資源)、フィンランド語(高資源)、英語はスロバキア語とチェコ語、英語はデンマーク語とスウェーデン語、現実世界ではノルウェー語から北スワミ語、フィンランド語である。 実験は、特にスケジュールされたマルチタスク学習、denoising autoencoder、サブワードサンプリングに肯定的な効果を示す。

関連論文リスト

• Transfer to a Low-Resource Language via Close Relatives: The Case Study on Faroese [54.00582760714034]
  言語間のNLP転送は、高ソース言語のデータとモデルを活用することで改善できる。 我々は、名前付きエンティティ認識(NER)、セマンティックテキスト類似性(STS)、スカンジナビア全言語で訓練された新しい言語モデルのためのFaroeseデータセットとFaroeseデータセットの新しいWebコーパスをリリースする。
  論文  参考訳（メタデータ） (2023-04-18T08:42:38Z)
• Progressive Sentiment Analysis for Code-Switched Text Data [26.71396390928905]
  私たちは、ラベル付きリソース豊富な言語データセットと、ラベルなしのコード変更データを持つコード変更感情分析に重点を置いています。 資源豊富な言語と低リソース言語を区別する枠組みを提案する。
  論文  参考訳（メタデータ） (2022-10-25T23:13:53Z)
• Low-resource Neural Machine Translation with Cross-modal Alignment [15.416659725808822]
  そこで我々は,すべての言語で共有空間を学習するクロスモーダル・コントラスト学習法を提案する。 実験結果とさらなる解析により,少数の画像・テキスト・ペアによる相互・言語間のアライメントを効果的に学習できることが示唆された。
  論文  参考訳（メタデータ） (2022-10-13T04:15:43Z)
• High-resource Language-specific Training for Multilingual Neural Machine Translation [109.31892935605192]
  負の干渉を軽減するために,HLT-MT(High-Resource Language-specific Training)を用いた多言語翻訳モデルを提案する。 具体的には、まずマルチ言語モデルを高リソースペアでトレーニングし、デコーダの上部にある言語固有のモジュールを選択する。 HLT-MTは、高リソース言語から低リソース言語への知識伝達のために、利用可能なすべてのコーパスでさらに訓練されている。
  論文  参考訳（メタデータ） (2022-07-11T14:33:13Z)
• Refining Low-Resource Unsupervised Translation by Language Disentanglement of Multilingual Model [16.872474334479026]
  本稿では,事前訓練された多言語UTTモデルから言語を切り離すための簡単な改良手法を提案する。 我々の手法は、ネパール語、シンハラ語、グジャラート語、ラトビア語、エストニア語、カザフ語への英語の完全な教師なし翻訳作業における芸術の状態を達成している。
  論文  参考訳（メタデータ） (2022-05-31T05:14:50Z)
• Adapting High-resource NMT Models to Translate Low-resource Related Languages without Parallel Data [40.11208706647032]
  並列データの不足は、低リソース言語向けの高品質機械翻訳システムのトレーニングにおいて大きな障害となる。 本研究では,この言語的重複を利用して,モノリンガルデータのみを用いた低リソース言語への翻訳を容易にする。 我々の手法であるNMT-Adaptは,低リソース適応にモノリンガルデータを利用するために,デノイング自動符号化,バックトランスレーション,対向目的を組み合わせた手法である。
  論文  参考訳（メタデータ） (2021-05-31T16:01:18Z)
• Extremely low-resource machine translation for closely related languages [0.0]
  この研究は、エストニア語とフィンランド語というウラル語族の近縁言語に焦点を当てている。 多言語学習と合成コーパスにより,各言語対の翻訳品質が向上することがわかった。 転送学習と微調整は低リソースの機械翻訳に非常に効果的であり、最良の結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-05-27T11:27:06Z)
• UNKs Everywhere: Adapting Multilingual Language Models to New Scripts [103.79021395138423]
  マルチリンガルBERT(mBERT)やXLM-Rのような多言語言語モデルは、様々なNLPタスクに対して最先端の言語間転送性能を提供する。 キャパシティの制限と事前トレーニングデータの大きな差のため、リソース豊富な言語とリソースを対象とする言語には大きなパフォーマンスギャップがある。 本稿では,事前学習した多言語モデルの低リソース言語や未知のスクリプトへの高速かつ効果的な適応を可能にする新しいデータ効率手法を提案する。
  論文  参考訳（メタデータ） (2020-12-31T11:37:28Z)
• Learning Contextualised Cross-lingual Word Embeddings and Alignments for Extremely Low-Resource Languages Using Parallel Corpora [63.5286019659504]
  そこで本稿では,小さな並列コーパスに基づく文脈型言語間単語埋め込み学習手法を提案する。 本手法は,入力文の翻訳と再構成を同時に行うLSTMエンコーダデコーダモデルを用いて単語埋め込みを実現する。
  論文  参考訳（メタデータ） (2020-10-27T22:24:01Z)
• Cross-lingual Machine Reading Comprehension with Language Branch Knowledge Distillation [105.41167108465085]
  言語間機械読解(CLMRC)は、ローソース言語に大規模なデータセットがないため、依然として難しい問題である。 本稿では,Language Branch Machine Reading (LBMRC) という新しい拡張手法を提案する。 LBMRCは、個々の言語に精通したMultiple Machine Read comprehension (MRC)モデルを訓練する。 複数の言語分岐モデルから全ての対象言語に対する単一モデルへのアマルガメート知識の多言語蒸留アプローチを考案する。
  論文  参考訳（メタデータ） (2020-10-27T13:12:17Z)
• Cross-lingual, Character-Level Neural Morphological Tagging [57.0020906265213]
  文字レベルのリカレントなニューラルタグをトレーニングし、高リソース言語と低リソース言語を併用して形態的タグ付けを予測する。 複数の関連言語間の共同文字表現の学習は、高リソース言語から低リソース言語への知識伝達を成功させ、モノリンガルモデルの精度を最大30%向上させる。
  論文  参考訳（メタデータ） (2017-08-30T08:14:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。