論文の概要: Is Robustness Transferable across Languages in Multilingual Neural Machine Translation?

• arxiv url: http://arxiv.org/abs/2310.20162v1
• Date: Tue, 31 Oct 2023 04:10:31 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-01 16:34:08.392489
• Title: Is Robustness Transferable across Languages in Multilingual Neural Machine Translation?
• Title（参考訳）: 多言語ニューラルマシン翻訳におけるロバスト性は言語間で伝達可能か?
• Authors: Leiyu Pan, Supryadi and Deyi Xiong
• Abstract要約: 多言語ニューラルマシン翻訳における言語間のロバストネスの伝達性について検討する。 以上の結果から,一方の翻訳方向における頑健性は他の翻訳方向への変換が可能であることが示唆された。
• 参考スコア（独自算出の注目度）: 45.04661608619081
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Robustness, the ability of models to maintain performance in the face of perturbations, is critical for developing reliable NLP systems. Recent studies have shown promising results in improving the robustness of models through adversarial training and data augmentation. However, in machine translation, most of these studies have focused on bilingual machine translation with a single translation direction. In this paper, we investigate the transferability of robustness across different languages in multilingual neural machine translation. We propose a robustness transfer analysis protocol and conduct a series of experiments. In particular, we use character-, word-, and multi-level noises to attack the specific translation direction of the multilingual neural machine translation model and evaluate the robustness of other translation directions. Our findings demonstrate that the robustness gained in one translation direction can indeed transfer to other translation directions. Additionally, we empirically find scenarios where robustness to character-level noise and word-level noise is more likely to transfer.
• Abstract（参考訳）: モデルが摂動に直面して性能を維持する能力であるロバストネスは、信頼性の高いNLPシステムの開発に不可欠である。 近年の研究では、敵対的トレーニングとデータ拡張によるモデルの堅牢性向上に有望な成果が示されている。 しかし、機械翻訳においては、これらの研究のほとんどは1つの翻訳方向のバイリンガル機械翻訳に焦点が当てられている。 本稿では,多言語ニューラルマシン翻訳における言語間の堅牢性の伝達可能性について検討する。 本稿では,ロバスト性伝達解析プロトコルを提案し,一連の実験を行う。 特に,多言語ニューラルマシン翻訳モデルの特定の翻訳方向を攻撃し,他の翻訳方向の堅牢性を評価するために,文字,単語,マルチレベルノイズを用いる。 以上の結果から,一方の翻訳方向における頑健性は他の翻訳方向への変換が可能であることが示唆された。 さらに,文字レベルのノイズや単語レベルのノイズに対するロバスト性が伝達しやすいシナリオを経験的に発見する。

関連論文リスト

• Can Machine Translation Bridge Multilingual Pretraining and Cross-lingual Transfer Learning? [8.630930380973489]
  本稿では,機械翻訳を言語表現学習の強化を目的とした継続的な学習目的として活用する可能性について検討する。 この結果から,機械翻訳の継続学習が言語間表現学習の強化に失敗することが明らかとなった。 言語横断シナリオにおける明示的な文レベルのアライメントは、言語間移動事前学習に有害である、と結論付けた。
  論文  参考訳（メタデータ） (2024-03-25T13:53:04Z)
• How Robust is Neural Machine Translation to Language Imbalance in Multilingual Tokenizer Training? [86.48323488619629]
  トークン化学習コーパスにおいて,言語間でのデータ比が変化するにつれて,翻訳性能がどう変化するかを分析する。 言語が均等にサンプリングされる場合、比較的優れたパフォーマンスが観察されることが多いが、下流のパフォーマンスは、通常予想していたよりも、言語の不均衡に対して堅牢である。
  論文  参考訳（メタデータ） (2022-04-29T17:50:36Z)
• Oolong: Investigating What Makes Transfer Learning Hard with Controlled Studies [21.350999136803843]
  GLUEベンチマークの言語を体系的に変換し、言語間変動の1軸を一度に変更する。 モデルが構文的変化から大きく回復することはできるが,語彙的誤りから回復することは不可能である。 我々の実験は、言語移行シナリオを設計する際に研究者が最も注目すべき言語間移動の要因に関する洞察を提供する。
  論文  参考訳（メタデータ） (2022-02-24T19:00:39Z)
• DEEP: DEnoising Entity Pre-training for Neural Machine Translation [123.6686940355937]
  機械翻訳モデルは通常、トレーニングコーパスで稀な名前付きエンティティの翻訳を貧弱に生成することが示されている。 文中の名前付きエンティティ翻訳精度を向上させるために,大量のモノリンガルデータと知識ベースを利用するDenoising Entity Pre-training法であるDEEPを提案する。
  論文  参考訳（メタデータ） (2021-11-14T17:28:09Z)
• Rethinking Zero-shot Neural Machine Translation: From a Perspective of Latent Variables [28.101782382170306]
  従来の訓練対象にピボット言語に基づく自動エンコーダ目標を導入し,ゼロショット方向の翻訳精度を向上させる。 提案手法は, 突発的相関を効果的に排除し, 顕著な性能で最先端の手法を著しく上回ることを示す。
  論文  参考訳（メタデータ） (2021-09-10T07:18:53Z)
• Modelling Latent Translations for Cross-Lingual Transfer [47.61502999819699]
  従来のパイプラインの2つのステップ(翻訳と分類)を1つのモデルに統合する新しい手法を提案する。 我々は,多言語NLUタスクにおける新しい潜時翻訳モデルの評価を行った。 ゼロショットと数ショットの学習設定の両方で、平均2.7の精度ポイントのゲインを報告します。
  論文  参考訳（メタデータ） (2021-07-23T17:11:27Z)
• It's Easier to Translate out of English than into it: Measuring Neural Translation Difficulty by Cross-Mutual Information [90.35685796083563]
  クロスミューチュアル情報(英: Cross-mutual information、XMI)は、機械翻訳の難易度に関する非対称情報理論の指標である。 XMIは、ほとんどのニューラルマシン翻訳モデルの確率的性質を利用する。 本稿では,現代ニューラル翻訳システムを用いた言語間翻訳の難易度に関する最初の体系的および制御的な研究について述べる。
  論文  参考訳（メタデータ） (2020-05-05T17:38:48Z)
• Translation Artifacts in Cross-lingual Transfer Learning [51.66536640084888]
  機械翻訳は、既存の言語間モデルに顕著な影響を与える微妙なアーティファクトを導入することができることを示す。 自然言語の推論では、前提と仮説を独立に翻訳することで、それらの間の語彙的重複を減らすことができる。 また、XNLIでは、それぞれ4.3点と2.8点の翻訳とゼロショットのアプローチを改善している。
  論文  参考訳（メタデータ） (2020-04-09T17:54:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。