論文の概要: Norm-Based Curriculum Learning for Neural Machine Translation

• arxiv url: http://arxiv.org/abs/2006.02014v1
• Date: Wed, 3 Jun 2020 02:22:00 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-25 17:18:50.721664
• Title: Norm-Based Curriculum Learning for Neural Machine Translation
• Title（参考訳）: ニューラルマシン翻訳のためのノルムに基づくカリキュラム学習
• Authors: Xuebo Liu, Houtim Lai, Derek F. Wong, Lidia S. Chao
• Abstract要約: ニューラルネットワーク翻訳(NMT)システムは、特に高リソース設定でトレーニングに費用がかかる。 本稿では,NMTの学習効率を向上させるために,新しい規範に基づくカリキュラム学習手法を提案する。 提案手法はBLEUスコア(+1.17/+1.56)とトレーニングスピードアップ(2.22x/3.33x)で高いベースラインを達成できる。
• 参考スコア（独自算出の注目度）: 45.37588885850862
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A neural machine translation (NMT) system is expensive to train, especially with high-resource settings. As the NMT architectures become deeper and wider, this issue gets worse and worse. In this paper, we aim to improve the efficiency of training an NMT by introducing a novel norm-based curriculum learning method. We use the norm (aka length or module) of a word embedding as a measure of 1) the difficulty of the sentence, 2) the competence of the model, and 3) the weight of the sentence. The norm-based sentence difficulty takes the advantages of both linguistically motivated and model-based sentence difficulties. It is easy to determine and contains learning-dependent features. The norm-based model competence makes NMT learn the curriculum in a fully automated way, while the norm-based sentence weight further enhances the learning of the vector representation of the NMT. Experimental results for the WMT'14 English-German and WMT'17 Chinese-English translation tasks demonstrate that the proposed method outperforms strong baselines in terms of BLEU score (+1.17/+1.56) and training speedup (2.22x/3.33x).
• Abstract（参考訳）: ニューラルネットワーク翻訳(NMT)システムは、特に高リソース設定でトレーニングするのに高価である。 NMTアーキテクチャがより深く、より広くなるにつれて、この問題はますます悪化する。 本稿では,NMTの学習効率を向上させるために,新しい規範に基づくカリキュラム学習手法を提案する。 私たちは、単語埋め込みのノルム(長さまたはモジュール)を尺度として使用します。 1) 文の難しさ 2)モデルの能力,及び 3) 文の重み。 規範に基づく文難易度は、言語的動機づけとモデルに基づく文難易度の両方の利点を生かしている。 簡単に決定でき、学習に依存した特徴を含んでいる。 ノルムベースのモデル能力により、NMTはカリキュラムを完全に自動化された方法で学習し、ノルムベースの文重みはNMTのベクトル表現の学習をさらに強化する。 WMT'14英語とWMT'17中国語の翻訳タスクの実験結果は、BLEUスコア(+1.17/+1.56)とトレーニングスピードアップ(2.22x/3.33x)において、提案手法が強いベースラインを上回っていることを示している。

関連論文リスト

• Towards Reliable Neural Machine Translation with Consistency-Aware Meta-Learning [24.64700139151659]
  現在のニューラル機械翻訳(NMT)システムは信頼性の欠如に悩まされている。 本稿では,モデルに依存しないメタラーニング(MAML)アルゴリズムをベースとした,一貫性を考慮したメタラーニング(CAML)フレームワークを提案する。 我々は、NIST中国語から英語へのタスク、3つのWMT翻訳タスク、TED M2Oタスクについて実験を行った。
  論文  参考訳（メタデータ） (2023-03-20T09:41:28Z)
• Language Modeling, Lexical Translation, Reordering: The Training Process of NMT through the Lens of Classical SMT [64.1841519527504]
  ニューラルマシン翻訳は、翻訳プロセス全体をモデル化するために、単一のニューラルネットワークを使用する。 ニューラルネットワーク翻訳はデファクトスタンダードであるにもかかわらず、NMTモデルがトレーニングの過程でどのように異なる能力を獲得するのかは、まだ明らかになっていない。
  論文  参考訳（メタデータ） (2021-09-03T09:38:50Z)
• Phrase-level Active Learning for Neural Machine Translation [107.28450614074002]
  ドメイン内データの翻訳に所定の予算を費やすことのできる,アクティブな学習環境を提案する。 我々は、人間の翻訳者へのルーティングのために、新しいドメインの未ラベルデータから全文と個々の句を選択する。 ドイツ語と英語の翻訳タスクでは,不確実性に基づく文選択法に対して,能動的学習手法が一貫した改善を実現している。
  論文  参考訳（メタデータ） (2021-06-21T19:20:42Z)
• Self-supervised and Supervised Joint Training for Resource-rich Machine Translation [30.502625878505732]
  テキスト表現の自己教師付き事前学習が低リソースニューラルネットワーク翻訳(NMT)に成功している 我々は,NMTモデルを最適化するために,自己教師付き学習と教師付き学習を組み合わせた共同学習手法である$F$-XEnDecを提案する。
  論文  参考訳（メタデータ） (2021-06-08T02:35:40Z)
• Better Neural Machine Translation by Extracting Linguistic Information from BERT [4.353029347463806]
  ニューラルマシン翻訳(NMT)に言語情報を追加することは、主に事前訓練されたモデルからの点推定の使用に焦点を当てている。 我々は点推定の代わりにBERTから細調整ベクターベース言語情報を抽出することによりNMTを増強する。
  論文  参考訳（メタデータ） (2021-04-07T00:03:51Z)
• Self-Paced Learning for Neural Machine Translation [55.41314278859938]
  ニューラルネットワーク翻訳(NMT)訓練のためのセルフペースト学習を提案する。 提案モデルでは,強いベースラインよりも優れた性能が得られることを示す。
  論文  参考訳（メタデータ） (2020-10-09T11:33:16Z)
• Can Automatic Post-Editing Improve NMT? [9.233407096706744]
  自動後編集(APE)は機械翻訳の改善を目的としており、それによって人間の後編集の労力を減らす。 APEは統計機械翻訳(SMT)システムで使用されているが、ニューラル機械翻訳(NMT)システムでは成功していない。
  論文  参考訳（メタデータ） (2020-09-30T02:34:19Z)
• Assessing the Bilingual Knowledge Learned by Neural Machine Translation Models [72.56058378313963]
  NMTモデルで学習したバイリンガル知識をフレーズテーブルで評価することで,このギャップを埋める。 NMTモデルは、単純なものから複雑なものまでパターンを学習し、トレーニング例から本質的なバイリンガル知識を抽出する。
  論文  参考訳（メタデータ） (2020-04-28T03:44:34Z)
• Learning to Multi-Task Learn for Better Neural Machine Translation [53.06405021125476]
  マルチタスク学習は、言語関連バイアスをニューラルネットワーク翻訳モデルに注入するエレガントなアプローチである。 本稿では,学習スケジュールの学習,マルチタスク学習のための新しいフレームワークを提案する。 実験の結果、自動学習したトレーニングスケジューラがベストと競い合っており、最大1.1BLEUスコアが向上している。
  論文  参考訳（メタデータ） (2020-01-10T03:12:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。