論文の概要: Meta-Curriculum Learning for Domain Adaptation in Neural Machine Translation

• arxiv url: http://arxiv.org/abs/2103.02262v1
• Date: Wed, 3 Mar 2021 08:58:39 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-06 13:04:17.724417
• Title: Meta-Curriculum Learning for Domain Adaptation in Neural Machine Translation
• Title（参考訳）: ニューラルマシン翻訳におけるドメイン適応のためのメタキュリキュラム学習
• Authors: Runzhe Zhan, Xuebo Liu, Derek F. Wong, Lidia S. Chao
• Abstract要約: ニューラルマシン翻訳(NMT)における領域適応のための新しいメタカリキュラム学習の提案 メタトレーニング中、NMTはまず各ドメインから同様のカリキュラムを学習し、早期に悪い局所的最適値に陥ることを避ける。 メタキュラクルム学習は,慣れ親しんだドメインと未知のドメインの両方の翻訳性能を向上させることができる。
• 参考スコア（独自算出の注目度）: 19.973201669851626
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Meta-learning has been sufficiently validated to be beneficial for low-resource neural machine translation (NMT). However, we find that meta-trained NMT fails to improve the translation performance of the domain unseen at the meta-training stage. In this paper, we aim to alleviate this issue by proposing a novel meta-curriculum learning for domain adaptation in NMT. During meta-training, the NMT first learns the similar curricula from each domain to avoid falling into a bad local optimum early, and finally learns the curricula of individualities to improve the model robustness for learning domain-specific knowledge. Experimental results on 10 different low-resource domains show that meta-curriculum learning can improve the translation performance of both familiar and unfamiliar domains. All the codes and data are freely available at https://github.com/NLP2CT/Meta-Curriculum.
• Abstract（参考訳）: メタラーニングは低リソースニューラルネットワーク翻訳(NMT)に有用であることが十分に検証されている。 しかし, メタトレーニング段階においては, メタトレーニング段階において, ドメインの翻訳性能が向上しないことがわかった。 本稿では,NMTにおけるドメイン適応のためのメタカリキュラム学習を提案することにより,この問題を軽減することを目的とする。 メタトレーニング中、nmtはまず各ドメインから類似のカリキュラムを学習し、悪い局所的最適の早期に陥ることを避け、最終的に個人性のカリキュラムを学習し、ドメイン固有の知識を学ぶためのモデルロバスト性を改善する。 10種類の低リソースドメインに対する実験結果から,メタカリキュラム学習は慣れ親しんだドメインと馴染みのないドメインの両方の翻訳性能を向上させることが示唆された。 すべてのコードとデータはhttps://github.com/NLP2CT/Meta-Curriculumで自由に利用できます。

関連論文リスト

• Code-Switching with Word Senses for Pretraining in Neural Machine Translation [107.23743153715799]
  ニューラルネットワーク翻訳のための単語センス事前学習(WSP-NMT)について紹介する。 WSP-NMTは、知識ベースからの単語感覚情報を活用した多言語NMTモデルの事前学習のためのエンドツーエンドアプローチである。 実験の結果,全体の翻訳品質が大幅に向上した。
  論文  参考訳（メタデータ） (2023-10-21T16:13:01Z)
• Domain Adaptation for Arabic Machine Translation: The Case of Financial Texts [0.7673339435080445]
  金融分野でアラビア英語(AR-EN)翻訳のための並列コーパスを開発する。 我々は、ChatGPT-3.5 Turboを含むいくつかのNMTおよびLarge Languageモデルを微調整する。 ChatGPT翻訳の品質は, 自動評価および人的評価に基づく他のモデルよりも優れていた。
  論文  参考訳（メタデータ） (2023-09-22T13:37:19Z)
• $m^4Adapter$: Multilingual Multi-Domain Adaptation for Machine Translation with a Meta-Adapter [128.69723410769586]
  多言語ニューラルネットワーク翻訳モデル(MNMT)は、ドメインと言語ペアのデータに基づいて評価すると、最先端の性能が得られる。 ドメインシフトや新しい言語ペアへの変換にMNMTモデルを使用すると、パフォーマンスが劇的に低下する。 我々はメタラーニングとアダプタを用いたドメイン知識と言語知識を組み合わせた$m4Adapter$を提案する。
  論文  参考訳（メタデータ） (2022-10-21T12:25:05Z)
• Can Domains Be Transferred Across Languages in Multi-Domain Multilingual Neural Machine Translation? [52.27798071809941]
  本稿では,多言語NMTと多言語NMTの合成において,言語間でドメイン情報を転送できるかどうかを検討する。 マルチドメイン多言語(MDML)NMTは,BLEUで0ショット変換性能を+10ゲインまで向上させることができる。
  論文  参考訳（メタデータ） (2022-10-20T23:13:54Z)
• Non-Parametric Unsupervised Domain Adaptation for Neural Machine Translation [61.27321597981737]
  $k$NN-MTは、トレーニング済みニューラルネットワーク翻訳(NMT)モデルとドメイン固有のトークンレベルである$k$-nearest-neighbor検索を直接組み込むという有望な能力を示している。 対象言語におけるドメイン内単言語文を直接使用して,$k$-nearest-neighbor検索に有効なデータストアを構築する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-14T11:50:01Z)
• Phrase-level Active Learning for Neural Machine Translation [107.28450614074002]
  ドメイン内データの翻訳に所定の予算を費やすことのできる,アクティブな学習環境を提案する。 我々は、人間の翻訳者へのルーティングのために、新しいドメインの未ラベルデータから全文と個々の句を選択する。 ドイツ語と英語の翻訳タスクでは,不確実性に基づく文選択法に対して,能動的学習手法が一貫した改善を実現している。
  論文  参考訳（メタデータ） (2021-06-21T19:20:42Z)
• Domain Adaptation and Multi-Domain Adaptation for Neural Machine Translation: A Survey [9.645196221785694]
  ニューラルマシン翻訳(nmt)モデルのドメイン適応に対するロバストなアプローチに注目した。 特に、システムが複数のドメインから文を翻訳する必要がある場合を検討します。 我々はNMT研究の他の分野に対するドメイン適応とマルチドメイン適応技術の利点を強調した。
  論文  参考訳（メタデータ） (2021-04-14T16:21:37Z)
• Unsupervised Neural Machine Translation for Low-Resource Domains via Meta-Learning [27.86606560170401]
  unsupervised neural machine translation (UNMT) のための新しいメタ学習アルゴリズムを提案する。 私たちは、少量のトレーニングデータだけを利用して、別のドメインに適応するようにモデルを訓練します。 我々のモデルは、最大2-4 BLEUスコアの転送学習に基づくアプローチを超越している。
  論文  参考訳（メタデータ） (2020-10-18T17:54:13Z)
• Vocabulary Adaptation for Distant Domain Adaptation in Neural Machine Translation [14.390932594872233]
  語彙のミスマッチにより、ドメイン間のドメイン適応を効果的に行うことはできない。 本稿では,効果的な微調整法である語彙適応法を提案する。 本手法は,En-JaおよびDe-En翻訳における従来の微調整性能を3.86点,3.28点改善する。
  論文  参考訳（メタデータ） (2020-04-30T14:27:59Z)
• Meta Fine-Tuning Neural Language Models for Multi-Domain Text Mining [37.2106265998237]
  メタファインチューニング(MFT)と呼ばれる効果的な学習手法を提案する。 MFTは、ニューラルネットワークモデルのための同様のNLPタスクのグループを解決するためのメタラーナーとして機能する。 BERT 上で MFT を実装し,複数のマルチドメインテキストマイニングタスクを解決する。
  論文  参考訳（メタデータ） (2020-03-29T11:27:10Z)
• A Simple Baseline to Semi-Supervised Domain Adaptation for Machine Translation [73.3550140511458]
  State-of-the-art Neural Machine Translation (NMT)システムは、データハングリーであり、教師付きデータを持たない新しいドメインではパフォーマンスが良くない。 NMTの半教師付きドメイン適応シナリオに対する単純だが効果のあるアプローチを提案する。 このアプローチは、言語モデリング、バックトランスレーション、教師付き翻訳の3つのトレーニング目標を通じて、TransformerベースのNMTモデルを反復的にトレーニングする。
  論文  参考訳（メタデータ） (2020-01-22T16:42:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。