論文の概要: Understanding Learning Dynamics for Neural Machine Translation

• arxiv url: http://arxiv.org/abs/2004.02199v1
• Date: Sun, 5 Apr 2020 13:32:58 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-16 12:08:54.905760
• Title: Understanding Learning Dynamics for Neural Machine Translation
• Title（参考訳）: ニューラルマシン翻訳のための学習ダイナミクスの理解
• Authors: Conghui Zhu, Guanlin Li, Lemao Liu, Tiejun Zhao, Shuming Shi
• Abstract要約: ロス・チェンジ・アロケーション (LCA)citeplan 2019-loss-change-allocation を用いてNMTの学習力学を理解することを提案する。 LCAは更新毎にデータセット全体の勾配を計算する必要があるため、NMTシナリオで実際に実施するための近似を提示する。 シミュレーション実験により, 近似計算は効率的であり, 実験により一貫した結果が得られることを示した。
• 参考スコア（独自算出の注目度）: 53.23463279153577
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite the great success of NMT, there still remains a severe challenge: it is hard to interpret the internal dynamics during its training process. In this paper we propose to understand learning dynamics of NMT by using a recent proposed technique named Loss Change Allocation (LCA)~\citep{lan-2019-loss-change-allocation}. As LCA requires calculating the gradient on an entire dataset for each update, we instead present an approximate to put it into practice in NMT scenario. %motivated by the lesson from sgd. Our simulated experiment shows that such approximate calculation is efficient and is empirically proved to deliver consistent results to the brute-force implementation. In particular, extensive experiments on two standard translation benchmark datasets reveal some valuable findings.
• Abstract（参考訳）: NMTの大きな成功にもかかわらず、依然として深刻な課題が残っており、トレーニングプロセス中に内部のダイナミクスを解釈することは困難である。 本稿では,最近提案されたLoss Change Allocation (LCA)~\citep{lan-2019-loss-change-allocation}を用いて,NMTの学習力学を理解することを提案する。 LCAは更新毎にデータセット全体の勾配を計算する必要があるため、NMTシナリオで実際に実施するための近似を提示する。 %のモチベーションが得られた。 シミュレーション実験により, 近似計算は効率的であり, 実験によりブルートフォースの実装に一貫した結果が得られた。 特に、2つの標準翻訳ベンチマークデータセットに関する広範な実験は、いくつかの重要な発見を示している。

関連論文リスト

• Importance-Aware Data Augmentation for Document-Level Neural Machine Translation [51.74178767827934]
  ドキュメントレベルのニューラルマシン翻訳(DocNMT)は、一貫性と結合性の両方を持つ翻訳を生成することを目的としている。 長い入力長とトレーニングデータの可用性が限られているため、DocNMTはデータスパシティーの課題に直面していることが多い。 本稿では,隠れ状態のノルムとトレーニング勾配から推定したトークン重要度情報に基づいてトレーニングデータを拡張するDocNMTのための新しいIADAアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-01-27T09:27:47Z)
• Code-Switching with Word Senses for Pretraining in Neural Machine Translation [107.23743153715799]
  ニューラルネットワーク翻訳のための単語センス事前学習(WSP-NMT)について紹介する。 WSP-NMTは、知識ベースからの単語感覚情報を活用した多言語NMTモデルの事前学習のためのエンドツーエンドアプローチである。 実験の結果,全体の翻訳品質が大幅に向上した。
  論文  参考訳（メタデータ） (2023-10-21T16:13:01Z)
• Nearest Neighbor Machine Translation is Meta-Optimizer on Output Projection Layer [44.02848852485475]
  Nearest Neighbor Machine Translation (k$NN-MT)はドメイン適応タスクで大きな成功を収めた。 理論的および実証的研究を通じて,$k$NN-MTを包括的に分析した。
  論文  参考訳（メタデータ） (2023-05-22T13:38:53Z)
• Towards Reliable Neural Machine Translation with Consistency-Aware Meta-Learning [24.64700139151659]
  現在のニューラル機械翻訳(NMT)システムは信頼性の欠如に悩まされている。 本稿では,モデルに依存しないメタラーニング(MAML)アルゴリズムをベースとした,一貫性を考慮したメタラーニング(CAML)フレームワークを提案する。 我々は、NIST中国語から英語へのタスク、3つのWMT翻訳タスク、TED M2Oタスクについて実験を行った。
  論文  参考訳（メタデータ） (2023-03-20T09:41:28Z)
• Nearest Neighbor Knowledge Distillation for Neural Machine Translation [50.0624778757462]
  k-nearest-neighbor machine translation (NN-MT) は機械翻訳タスクにおける最先端の結果の多くを達成している。 NN-KDはベースNMTモデルをトレーニングし、NNの知識を直接学習する。
  論文  参考訳（メタデータ） (2022-05-01T14:30:49Z)
• Learning to Generalize to More: Continuous Semantic Augmentation for Neural Machine Translation [50.54059385277964]
  CsaNMT(Continuous Semantic Augmentation)と呼ばれる新しいデータ拡張パラダイムを提案する。 CsaNMTは各トレーニングインスタンスを、同じ意味の下で適切なリテラル式をカバーできる隣接領域で拡張する。
  論文  参考訳（メタデータ） (2022-04-14T08:16:28Z)
• Dynamic Curriculum Learning for Low-Resource Neural Machine Translation [27.993407441922507]
  低リソースNMTにおけるトレーニングデータの有効利用について検討する。 特に、トレーニングのトレーニングサンプルを並べ替えるための動的カリキュラム学習(DCL)手法を提案する。 これにより、現在のモデルが学ぶのに十分な能力を持つような簡単なサンプルをハイライトすることで、トレーニングが簡単になります。
  論文  参考訳（メタデータ） (2020-11-30T08:13:41Z)
• Unsupervised Neural Machine Translation for Low-Resource Domains via Meta-Learning [27.86606560170401]
  unsupervised neural machine translation (UNMT) のための新しいメタ学習アルゴリズムを提案する。 私たちは、少量のトレーニングデータだけを利用して、別のドメインに適応するようにモデルを訓練します。 我々のモデルは、最大2-4 BLEUスコアの転送学習に基づくアプローチを超越している。
  論文  参考訳（メタデータ） (2020-10-18T17:54:13Z)
• Self-Paced Learning for Neural Machine Translation [55.41314278859938]
  ニューラルネットワーク翻訳(NMT)訓練のためのセルフペースト学習を提案する。 提案モデルでは,強いベースラインよりも優れた性能が得られることを示す。
  論文  参考訳（メタデータ） (2020-10-09T11:33:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。