論文の概要: Understanding and Analyzing Model Robustness and Knowledge-Transfer in Multilingual Neural Machine Translation using TX-Ray

• arxiv url: http://arxiv.org/abs/2412.13881v1
• Date: Wed, 18 Dec 2024 14:21:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-19 16:49:20.414506
• Title: Understanding and Analyzing Model Robustness and Knowledge-Transfer in Multilingual Neural Machine Translation using TX-Ray
• Title（参考訳）: TX線を用いた多言語ニューラルネットワーク翻訳におけるモデルロバストさと知識伝達の理解と解析
• Authors: Vageesh Saxena, Sharid Loáiciga, Nils Rethmeier,
• Abstract要約: 本研究では,言語間の知識伝達が,極低リソース環境におけるニューラルマシン翻訳(MNMT)をいかに向上させるかを検討する。 我々は、最小限の並列データを利用して、英語・ドイツ語・英語・フランス語・英語・スペイン語の翻訳を行い、言語間マッピングを確立する。 逐次移動学習は40kパラレル文コーパスのベースラインよりも優れており,その有効性を示している。
• 参考スコア（独自算出の注目度）: 3.2771631221674333
• License:
• Abstract: Neural networks have demonstrated significant advancements in Neural Machine Translation (NMT) compared to conventional phrase-based approaches. However, Multilingual Neural Machine Translation (MNMT) in extremely low-resource settings remains underexplored. This research investigates how knowledge transfer across languages can enhance MNMT in such scenarios. Using the Tatoeba translation challenge dataset from Helsinki NLP, we perform English-German, English-French, and English-Spanish translations, leveraging minimal parallel data to establish cross-lingual mappings. Unlike conventional methods relying on extensive pre-training for specific language pairs, we pre-train our model on English-English translations, setting English as the source language for all tasks. The model is fine-tuned on target language pairs using joint multi-task and sequential transfer learning strategies. Our work addresses three key questions: (1) How can knowledge transfer across languages improve MNMT in extremely low-resource scenarios? (2) How does pruning neuron knowledge affect model generalization, robustness, and catastrophic forgetting? (3) How can TX-Ray interpret and quantify knowledge transfer in trained models? Evaluation using BLEU-4 scores demonstrates that sequential transfer learning outperforms baselines on a 40k parallel sentence corpus, showcasing its efficacy. However, pruning neuron knowledge degrades performance, increases catastrophic forgetting, and fails to improve robustness or generalization. Our findings provide valuable insights into the potential and limitations of knowledge transfer and pruning in MNMT for extremely low-resource settings.
• Abstract（参考訳）: ニューラルネットワークは、従来のフレーズベースのアプローチと比較して、ニューラルネットワーク翻訳(NMT)において顕著な進歩を見せている。 しかし、極低リソース環境でのMNMT(Multilingual Neural Machine Translation)はいまだ未定である。 本研究では,言語間の知識伝達が,このようなシナリオにおけるMNMTをいかに向上させるかを検討する。 ヘルシンキNLPのTatoeba翻訳課題データセットを用いて、最小限の並列データを利用して、英語-ドイツ語、英語-フランス語、英語-スペイン語の翻訳を行い、言語間マッピングを確立する。 特定の言語対に対する広範囲な事前学習に依存する従来の方法とは異なり、我々は英語と英語の翻訳を事前学習し、すべてのタスクのソース言語として英語を設定します。 このモデルは、連立マルチタスクとシーケンシャルトランスファー学習戦略を用いて、ターゲット言語対に微調整される。 1) 言語間の知識伝達は、極低リソースのシナリオにおいて、どのようにMNMTを改善することができるのか? 2)プルーニングニューロンの知識は、モデル一般化、堅牢性、破滅的忘れにどのように影響するか? (3) 学習モデルにおける知識伝達の解釈と定量化は可能か? BLEU-4スコアを用いた評価では、シーケンシャルトランスファー学習は40kパラレル文コーパスのベースラインよりも優れており、その有効性を示している。 しかし、プルーニングニューロンの知識は性能を低下させ、破滅的な忘れ込みを増大させ、堅牢性や一般化を改善するのに失敗する。 本研究は,MNMTにおける知識伝達とプルーニングの可能性と限界について,極低リソース環境における貴重な知見を提供するものである。

関連論文リスト

• Relevance-guided Neural Machine Translation [5.691028372215281]
  ニューラルネットワーク翻訳(NMT)のための説明可能性に基づく学習手法を提案する。 その結果,低リソース環境下でのトレーニングにおいて,本手法が有望であることが示唆された。
  論文  参考訳（メタデータ） (2023-11-30T21:52:02Z)
• Machine Translation for Ge'ez Language [0.0]
  Ge'ezのような低リソース言語の機械翻訳は、語彙外単語、ドメインミスマッチ、ラベル付きトレーニングデータの欠如といった課題に直面している。 言語関連性に基づく多言語ニューラルマシン翻訳(MNMT)モデルを開発した。 また,最新のLCMであるGPT-3.5を用いて,ファジィマッチングを用いた数ショット翻訳実験を行った。
  論文  参考訳（メタデータ） (2023-11-24T14:55:23Z)
• Extending Multilingual Machine Translation through Imitation Learning [60.15671816513614]
  Imit-MNMTは、タスクを専門家の行動を模倣する模倣学習プロセスとして扱う。 提案手法は,新言語と原言語の翻訳性能を大幅に向上させることを示す。 我々はまた、我々のアプローチがコピーとオフターゲットの問題を解決することができることを示した。
  論文  参考訳（メタデータ） (2023-11-14T21:04:03Z)
• High-resource Language-specific Training for Multilingual Neural Machine Translation [109.31892935605192]
  負の干渉を軽減するために,HLT-MT(High-Resource Language-specific Training)を用いた多言語翻訳モデルを提案する。 具体的には、まずマルチ言語モデルを高リソースペアでトレーニングし、デコーダの上部にある言語固有のモジュールを選択する。 HLT-MTは、高リソース言語から低リソース言語への知識伝達のために、利用可能なすべてのコーパスでさらに訓練されている。
  論文  参考訳（メタデータ） (2022-07-11T14:33:13Z)
• Language Modeling, Lexical Translation, Reordering: The Training Process of NMT through the Lens of Classical SMT [64.1841519527504]
  ニューラルマシン翻訳は、翻訳プロセス全体をモデル化するために、単一のニューラルネットワークを使用する。 ニューラルネットワーク翻訳はデファクトスタンダードであるにもかかわらず、NMTモデルがトレーニングの過程でどのように異なる能力を獲得するのかは、まだ明らかになっていない。
  論文  参考訳（メタデータ） (2021-09-03T09:38:50Z)
• Pre-training Multilingual Neural Machine Translation by Leveraging Alignment Information [72.2412707779571]
  mRASPは、汎用多言語ニューラルマシン翻訳モデルを事前訓練するためのアプローチである。 我々は,低,中,豊かな資源を含む多種多様な環境における42の翻訳方向の実験を行い,エキゾチックな言語対への変換を行った。
  論文  参考訳（メタデータ） (2020-10-07T03:57:54Z)
• Assessing the Bilingual Knowledge Learned by Neural Machine Translation Models [72.56058378313963]
  NMTモデルで学習したバイリンガル知識をフレーズテーブルで評価することで,このギャップを埋める。 NMTモデルは、単純なものから複雑なものまでパターンを学習し、トレーニング例から本質的なバイリンガル知識を抽出する。
  論文  参考訳（メタデータ） (2020-04-28T03:44:34Z)
• Improving Massively Multilingual Neural Machine Translation and Zero-Shot Translation [81.7786241489002]
  ニューラルネットワーク翻訳(NMT)の多言語モデルは理論的には魅力的であるが、しばしばバイリンガルモデルに劣る。 我々は,多言語NMTが言語ペアをサポートするためにより強力なモデリング能力を必要とすることを論じる。 未知のトレーニング言語ペアの翻訳を強制するために,ランダムなオンライン翻訳を提案する。
  論文  参考訳（メタデータ） (2020-04-24T17:21:32Z)
• Transfer learning and subword sampling for asymmetric-resource one-to-many neural translation [14.116412358534442]
  低リソース言語のためのニューラルマシン翻訳を改善する方法について概説する。 人工的に制限された3つの翻訳タスクと1つの現実世界タスクでテストが行われる。 実験は、特にスケジュールされたマルチタスク学習、denoising autoencoder、サブワードサンプリングに肯定的な効果を示す。
  論文  参考訳（メタデータ） (2020-04-08T14:19:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。