論文の概要: Informative Language Representation Learning for Massively Multilingual Neural Machine Translation

• arxiv url: http://arxiv.org/abs/2209.01530v1
• Date: Sun, 4 Sep 2022 04:27:17 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-07 13:33:15.232546
• Title: Informative Language Representation Learning for Massively Multilingual Neural Machine Translation
• Title（参考訳）: 多言語多言語ニューラルマシン翻訳のための情報言語表現学習
• Authors: Renren Jin and Deyi Xiong
• Abstract要約: 多言語ニューラルマシン翻訳モデルでは、通常、人工言語トークンを使用して、所望のターゲット言語への翻訳をガイドする。 近年の研究では、先行する言語トークンは、多言語ニューラルマシン翻訳モデルから正しい翻訳方向へのナビゲートに失敗することがある。 本稿では,言語埋め込み型エンボディメントと言語認識型マルチヘッドアテンションという2つの手法を提案する。
• 参考スコア（独自算出の注目度）: 47.19129812325682
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In a multilingual neural machine translation model that fully shares parameters across all languages, an artificial language token is usually used to guide translation into the desired target language. However, recent studies show that prepending language tokens sometimes fails to navigate the multilingual neural machine translation models into right translation directions, especially on zero-shot translation. To mitigate this issue, we propose two methods, language embedding embodiment and language-aware multi-head attention, to learn informative language representations to channel translation into right directions. The former embodies language embeddings into different critical switching points along the information flow from the source to the target, aiming at amplifying translation direction guiding signals. The latter exploits a matrix, instead of a vector, to represent a language in the continuous space. The matrix is chunked into multiple heads so as to learn language representations in multiple subspaces. Experiment results on two datasets for massively multilingual neural machine translation demonstrate that language-aware multi-head attention benefits both supervised and zero-shot translation and significantly alleviates the off-target translation issue. Further linguistic typology prediction experiments show that matrix-based language representations learned by our methods are capable of capturing rich linguistic typology features.
• Abstract（参考訳）: すべての言語でパラメータを完全に共有する多言語ニューラルネットワーク翻訳モデルでは、通常、人工言語トークンが望ましいターゲット言語への翻訳を誘導するために使用される。 しかし、最近の研究では、予測される言語トークンは、特にゼロショット翻訳において、多言語ニューラルマシン翻訳モデルから正しい翻訳方向へのナビゲートに失敗することがある。 この問題を軽減するために,言語埋め込み具現化法と言語認識型多頭注意法という2つの手法を提案する。 前者言語は、ソースからターゲットへの情報の流れに沿って異なる臨界切替点に埋め込み、翻訳方向案内信号の増幅を目的としている。 後者は、連続空間における言語を表現するためにベクトルの代わりに行列を利用する。 行列は、複数の部分空間で言語表現を学ぶために、複数のヘッドに分割される。 大規模多言語ニューラルマシン翻訳のための2つのデータセットの実験結果は、言語対応のマルチヘッド注意が教師付き翻訳とゼロショット翻訳の両方に有益であり、ターゲット外の翻訳問題を著しく軽減することを示している。 さらなる言語型学予測実験により,本手法で学習した行列型言語表現は,豊かな言語型学の特徴を捉えることができることが示された。

関連論文リスト

• Decoupled Vocabulary Learning Enables Zero-Shot Translation from Unseen Languages [55.157295899188476]
  ニューラルマシン翻訳システムは、異なる言語の文を共通の表現空間にマッピングすることを学ぶ。 本研究では、この仮説を未知の言語からのゼロショット翻訳により検証する。 この設定により、全く見えない言語からのゼロショット翻訳が可能になることを実証する。
  論文  参考訳（メタデータ） (2024-08-05T07:58:58Z)
• Improving Multilingual Neural Machine Translation by Utilizing Semantic and Linguistic Features [18.76505158652759]
  複数の言語間の意味的特徴と言語的特徴を利用して多言語翻訳を強化することを提案する。 エンコーダ側では,意味的特徴と言語的特徴を両立させることにより,エンコーダ表現を整合させる非係合学習タスクを導入する。 デコーダ側では、言語エンコーダを利用して低レベル言語機能を統合し、ターゲット言語生成を支援する。
  論文  参考訳（メタデータ） (2024-08-02T17:10:12Z)
• Towards a Deep Understanding of Multilingual End-to-End Speech Translation [52.26739715012842]
  我々は22言語以上で訓練された多言語エンドツーエンド音声翻訳モデルで学習した表現を解析する。 我々は分析から3つの大きな発見を得た。
  論文  参考訳（メタデータ） (2023-10-31T13:50:55Z)
• Automatic Discrimination of Human and Neural Machine Translation in Multilingual Scenarios [4.631167282648452]
  我々は人間と機械の翻訳を自動で識別するタスクに取り組む。 複数言語と多言語事前学習言語モデルを考慮した多言語環境で実験を行う。
  論文  参考訳（メタデータ） (2023-05-31T11:41:24Z)
• The Reality of Multi-Lingual Machine Translation [3.183845608678763]
  『多言語機械翻訳の現実』では、機械翻訳システムにおける2言語以上の使用の利点と危険性について論じている。 著者: ディープラーニングアプリケーションの主な例は機械翻訳です。
  論文  参考訳（メタデータ） (2022-02-25T16:44:06Z)
• Towards Zero-shot Language Modeling [90.80124496312274]
  人間の言語学習に誘導的に偏りを持つニューラルモデルを構築した。 類型的に多様な訓練言語のサンプルからこの分布を推測する。 我々は、保留言語に対する遠隔監視として、追加の言語固有の側情報を利用する。
  論文  参考訳（メタデータ） (2021-08-06T23:49:18Z)
• Gender Bias in Multilingual Embeddings and Cross-Lingual Transfer [101.58431011820755]
  多言語埋め込みにおけるジェンダーバイアスとNLPアプリケーションの伝達学習への影響について検討する。 我々は、バイアス分析のための多言語データセットを作成し、多言語表現におけるバイアスの定量化方法をいくつか提案する。
  論文  参考訳（メタデータ） (2020-05-02T04:34:37Z)
• Bridging Linguistic Typology and Multilingual Machine Translation with Multi-View Language Representations [83.27475281544868]
  特異ベクトル標準相関解析を用いて、各情報源からどのような情報が誘導されるかを調べる。 我々の表現は類型学を組み込み、言語関係と相関関係を強化する。 次に、多言語機械翻訳のための多視点言語ベクトル空間を利用して、競合する全体的な翻訳精度を実現する。
  論文  参考訳（メタデータ） (2020-04-30T16:25:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。