論文の概要: Assessing the Bilingual Knowledge Learned by Neural Machine Translation Models

• arxiv url: http://arxiv.org/abs/2004.13270v1
• Date: Tue, 28 Apr 2020 03:44:34 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-08 22:06:39.032685
• Title: Assessing the Bilingual Knowledge Learned by Neural Machine Translation Models
• Title（参考訳）: ニューラルマシン翻訳モデルによるバイリンガル知識の評価
• Authors: Shilin He, Xing Wang, Shuming Shi, Michael R. Lyu, Zhaopeng Tu
• Abstract要約: NMTモデルで学習したバイリンガル知識をフレーズテーブルで評価することで,このギャップを埋める。 NMTモデルは、単純なものから複雑なものまでパターンを学習し、トレーニング例から本質的なバイリンガル知識を抽出する。
• 参考スコア（独自算出の注目度）: 72.56058378313963
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Machine translation (MT) systems translate text between different languages by automatically learning in-depth knowledge of bilingual lexicons, grammar and semantics from the training examples. Although neural machine translation (NMT) has led the field of MT, we have a poor understanding on how and why it works. In this paper, we bridge the gap by assessing the bilingual knowledge learned by NMT models with phrase table -- an interpretable table of bilingual lexicons. We extract the phrase table from the training examples that an NMT model correctly predicts. Extensive experiments on widely-used datasets show that the phrase table is reasonable and consistent against language pairs and random seeds. Equipped with the interpretable phrase table, we find that NMT models learn patterns from simple to complex and distill essential bilingual knowledge from the training examples. We also revisit some advances that potentially affect the learning of bilingual knowledge (e.g., back-translation), and report some interesting findings. We believe this work opens a new angle to interpret NMT with statistic models, and provides empirical supports for recent advances in improving NMT models.
• Abstract（参考訳）: 機械翻訳(MT)システムは、訓練例からバイリンガル語彙、文法、意味論の深い知識を自動的に学習することで、異なる言語間のテキストを翻訳する。 ニューラルマシン翻訳(NMT)はMTの分野をリードしているが、その仕組みや理由については理解が不十分である。 本稿では,NMTモデルで学習したバイリンガル知識を,二言語辞書の解釈可能な表である句表を用いて評価することにより,そのギャップを埋める。 NMTモデルが正しく予測するトレーニング例から句表を抽出する。 広く使われているデータセットに関する広範な実験は、フレーズテーブルが言語ペアやランダムな種に対して合理的で一貫性があることを示している。 解釈可能な句表と組み合わせることで,NMTモデルは単純から複雑にパターンを学習し,訓練例から本質的なバイリンガル知識を抽出する。 また、バイリンガル知識の学習に影響を与える可能性のあるいくつかの進歩(例えば、バック翻訳)を再考し、興味深い発見を報告する。 本研究は,NMTを統計モデルで解釈する新たな角度を開き,最近のNMTモデル改善の実証的支援を提供すると考えている。

関連論文リスト

• MT-PATCHER: Selective and Extendable Knowledge Distillation from Large Language Models for Machine Translation [61.65537912700187]
  機械翻訳(MT)分野における言語モデル(LLM)の強みを実証した。 我々は,LLMから既存のMTモデルに選択的かつ包括的かつ積極的に知識を伝達するMT-Patcherというフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-14T16:07:39Z)
• Unified Model Learning for Various Neural Machine Translation [63.320005222549646]
  既存の機械翻訳(NMT)研究は主にデータセット固有のモデルの開発に焦点を当てている。 我々は,NMT(UMLNMT)のための統一モデル学習モデル(Unified Model Learning for NMT)を提案する。 OurNMTは、データセット固有のモデルよりも大幅に改善され、モデルデプロイメントコストが大幅に削減される。
  論文  参考訳（メタデータ） (2023-05-04T12:21:52Z)
• Dict-NMT: Bilingual Dictionary based NMT for Extremely Low Resource Languages [1.8787713898828164]
  本稿では,辞書の品質,学習データセットのサイズ,言語家族などの影響を詳細に分析する。 複数の低リソーステスト言語で得られた結果は、ベースラインよりもバイリンガル辞書ベースの方法の明確な利点を示している。
  論文  参考訳（メタデータ） (2022-06-09T12:03:29Z)
• Language Modeling, Lexical Translation, Reordering: The Training Process of NMT through the Lens of Classical SMT [64.1841519527504]
  ニューラルマシン翻訳は、翻訳プロセス全体をモデル化するために、単一のニューラルネットワークを使用する。 ニューラルネットワーク翻訳はデファクトスタンダードであるにもかかわらず、NMTモデルがトレーニングの過程でどのように異なる能力を獲得するのかは、まだ明らかになっていない。
  論文  参考訳（メタデータ） (2021-09-03T09:38:50Z)
• Better Neural Machine Translation by Extracting Linguistic Information from BERT [4.353029347463806]
  ニューラルマシン翻訳(NMT)に言語情報を追加することは、主に事前訓練されたモデルからの点推定の使用に焦点を当てている。 我々は点推定の代わりにBERTから細調整ベクターベース言語情報を抽出することによりNMTを増強する。
  論文  参考訳（メタデータ） (2021-04-07T00:03:51Z)
• Improving the Lexical Ability of Pretrained Language Models for Unsupervised Neural Machine Translation [127.81351683335143]
  クロスリンガルプリトレーニングは、2つの言語の語彙的表現と高レベル表現を整列させるモデルを必要とする。 これまでの研究では、これは表現が十分に整合していないためです。 本稿では,語彙レベルの情報で事前学習するバイリンガルマスク言語モデルを,型レベルのクロスリンガルサブワード埋め込みを用いて強化する。
  論文  参考訳（メタデータ） (2021-03-18T21:17:58Z)
• Pre-training Multilingual Neural Machine Translation by Leveraging Alignment Information [72.2412707779571]
  mRASPは、汎用多言語ニューラルマシン翻訳モデルを事前訓練するためのアプローチである。 我々は,低,中,豊かな資源を含む多種多様な環境における42の翻訳方向の実験を行い,エキゾチックな言語対への変換を行った。
  論文  参考訳（メタデータ） (2020-10-07T03:57:54Z)
• Multi-task Learning for Multilingual Neural Machine Translation [32.81785430242313]
  本稿では,bitextデータ上での翻訳タスクと,モノリンガルデータ上での2つの認知タスクを併用してモデルを学習するマルチタスク学習フレームワークを提案する。 提案手法は,高リソース言語と低リソース言語の両方の翻訳品質を効果的に向上できることを示す。
  論文  参考訳（メタデータ） (2020-10-06T06:54:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。