論文の概要: On the Strengths of Cross-Attention in Pretrained Transformers for Machine Translation

• arxiv url: http://arxiv.org/abs/2104.08771v1
• Date: Sun, 18 Apr 2021 08:41:01 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-22 09:07:58.005644
• Title: On the Strengths of Cross-Attention in Pretrained Transformers for Machine Translation
• Title（参考訳）: 機械翻訳用プレトレーニングトランスにおけるクロスアテンションの強度について
• Authors: Mozhdeh Gheini, Xiang Ren, Jonathan May
• Abstract要約: 機械翻訳の文脈におけるトランスフォーマーアーキテクチャにおけるクロスアテンションの力について検討する。 新しい言語でデータセット上で翻訳モデルを微調整するトランスファーラーニング実験では、新しい言語の埋め込みとは別に、競合するBLEUパフォーマンスを得るためには、クロスアテンションパラメータのみを微調整する必要があることがわかります。
• 参考スコア（独自算出の注目度）: 44.36297199737276
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study the power of cross-attention in the Transformer architecture within the context of machine translation. In transfer learning experiments, where we fine-tune a translation model on a dataset with one new language, we find that, apart from the new language's embeddings, only the cross-attention parameters need to be fine-tuned to obtain competitive BLEU performance. We provide insights into why this is the case and further find that limiting fine-tuning in this manner yields cross-lingually aligned type embeddings. The implications of this finding include a mitigation of catastrophic forgetting in the network and the potential for zero-shot translation.
• Abstract（参考訳）: 機械翻訳の文脈におけるトランスフォーマーアーキテクチャにおけるクロスアテンションの力について検討する。 トランスファーラーニング実験では、新しい言語を組み込んだデータセットの翻訳モデルを微調整し、新しい言語の埋め込みとは別に、競合するBLEU性能を得るためには、クロスアテンションパラメータのみを微調整する必要がある。 このような方法による微調整の制限は、言語間の整合した型埋め込みをもたらすことを、我々はさらに発見する。 この発見の意味は、ネットワークにおける破滅的な忘れの緩和とゼロショット翻訳の可能性である。

関連論文リスト

• Understanding and Addressing the Under-Translation Problem from the Perspective of Decoding Objective [72.83966378613238]
  最新のニューラル・マシン・トランスレーション(NMT)システムでは、アンダー・トランスレーションとオーバー・トランスレーションの2つの課題が残っている。 我々は,NMTにおけるアンダートランスレーションの根本原因を詳細に分析し,デコード目的の観点から解説する。 本研究は,低翻訳の検知器としてEOS(End Of Sentence)予測の信頼性を活用し,低翻訳のリスクが高い候補を罰する信頼性に基づくペナルティを強化することを提案する。
  論文  参考訳（メタデータ） (2024-05-29T09:25:49Z)
• Is Robustness Transferable across Languages in Multilingual Neural Machine Translation? [45.04661608619081]
  多言語ニューラルマシン翻訳における言語間のロバストネスの伝達性について検討する。 以上の結果から,一方の翻訳方向における頑健性は他の翻訳方向への変換が可能であることが示唆された。
  論文  参考訳（メタデータ） (2023-10-31T04:10:31Z)
• Viewing Knowledge Transfer in Multilingual Machine Translation Through a Representational Lens [15.283483438956264]
  本稿では,言語間の表現的類似度を測定するRepresentational Transfer potential (RTP)を紹介する。 RTPは正と負の両方の転送(干渉)を計測できることを示し、RTPは翻訳品質の変化と強く相関していることを示した。 我々は,言語間で表現をより不変にするための補助的類似性損失を用いた新しい学習手法を開発した。
  論文  参考訳（メタデータ） (2023-05-19T09:36:48Z)
• Modelling Latent Translations for Cross-Lingual Transfer [47.61502999819699]
  従来のパイプラインの2つのステップ(翻訳と分類)を1つのモデルに統合する新しい手法を提案する。 我々は,多言語NLUタスクにおける新しい潜時翻訳モデルの評価を行った。 ゼロショットと数ショットの学習設定の両方で、平均2.7の精度ポイントのゲインを報告します。
  論文  参考訳（メタデータ） (2021-07-23T17:11:27Z)
• It's Easier to Translate out of English than into it: Measuring Neural Translation Difficulty by Cross-Mutual Information [90.35685796083563]
  クロスミューチュアル情報(英: Cross-mutual information、XMI)は、機械翻訳の難易度に関する非対称情報理論の指標である。 XMIは、ほとんどのニューラルマシン翻訳モデルの確率的性質を利用する。 本稿では,現代ニューラル翻訳システムを用いた言語間翻訳の難易度に関する最初の体系的および制御的な研究について述べる。
  論文  参考訳（メタデータ） (2020-05-05T17:38:48Z)
• From Zero to Hero: On the Limitations of Zero-Shot Cross-Lingual Transfer with Multilingual Transformers [62.637055980148816]
  言語モデリングの目的によって事前訓練された多言語トランスフォーマーは、NLPの事実上のデフォルト転送パラダイムとなっている。 膨大な多言語変換器による言語間変換は,リソースリーンシナリオや遠方言語では著しく効果が低いことを示す。
  論文  参考訳（メタデータ） (2020-05-01T22:04:58Z)
• Translation Artifacts in Cross-lingual Transfer Learning [51.66536640084888]
  機械翻訳は、既存の言語間モデルに顕著な影響を与える微妙なアーティファクトを導入することができることを示す。 自然言語の推論では、前提と仮説を独立に翻訳することで、それらの間の語彙的重複を減らすことができる。 また、XNLIでは、それぞれ4.3点と2.8点の翻訳とゼロショットのアプローチを改善している。
  論文  参考訳（メタデータ） (2020-04-09T17:54:30Z)
• Explicit Reordering for Neural Machine Translation [50.70683739103066]
  Transformer-based neural machine translation (NMT)では、位置符号化機構は、自己アテンションネットワークが順序依存でソース表現を学習するのに役立つ。 本研究では,トランスフォーマーベースのNMTに対して,このリオーダ情報を明示的にモデル化する新しいリオーダ手法を提案する。 WMT14, WAT ASPEC日本語訳, WMT17中国語訳の実証結果から, 提案手法の有効性が示唆された。
  論文  参考訳（メタデータ） (2020-04-08T05:28:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。