論文の概要: On Learning Language-Invariant Representations for Universal Machine Translation

• arxiv url: http://arxiv.org/abs/2008.04510v1
• Date: Tue, 11 Aug 2020 04:45:33 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-31 10:37:26.387310
• Title: On Learning Language-Invariant Representations for Universal Machine Translation
• Title（参考訳）: ユニバーサル機械翻訳のための言語不変表現の学習について
• Authors: Han Zhao, Junjie Hu, Andrej Risteski
• Abstract要約: ユニバーサル機械翻訳は、任意の言語間の翻訳を学ぶことを目的としている。 我々は、この取り組みのある種の不確実性を一般に証明し、データの追加的な(しかし自然な)構造の存在に肯定的な結果をもたらす。 我々は、我々の理論的な洞察と意味が、普遍機械翻訳のアルゴリズム設計に寄与すると信じている。
• 参考スコア（独自算出の注目度）: 33.40094622605891
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The goal of universal machine translation is to learn to translate between any pair of languages, given a corpus of paired translated documents for \emph{a small subset} of all pairs of languages. Despite impressive empirical results and an increasing interest in massively multilingual models, theoretical analysis on translation errors made by such universal machine translation models is only nascent. In this paper, we formally prove certain impossibilities of this endeavour in general, as well as prove positive results in the presence of additional (but natural) structure of data. For the former, we derive a lower bound on the translation error in the many-to-many translation setting, which shows that any algorithm aiming to learn shared sentence representations among multiple language pairs has to make a large translation error on at least one of the translation tasks, if no assumption on the structure of the languages is made. For the latter, we show that if the paired documents in the corpus follow a natural \emph{encoder-decoder} generative process, we can expect a natural notion of ``generalization'': a linear number of language pairs, rather than quadratic, suffices to learn a good representation. Our theory also explains what kinds of connection graphs between pairs of languages are better suited: ones with longer paths result in worse sample complexity in terms of the total number of documents per language pair needed. We believe our theoretical insights and implications contribute to the future algorithmic design of universal machine translation.
• Abstract（参考訳）: 普遍機械翻訳の目標は、すべての言語対の「emph{a small subset}」のペア翻訳文書のコーパスを与えられた任意の言語間の翻訳を学ぶことである。 印象的な経験的結果と多言語モデルへの関心の高まりにもかかわらず、そのような普遍的な機械翻訳モデルによる翻訳誤りの理論解析は生まれたばかりである。 本稿では,この試みが一般に不正確であることを形式的に証明するとともに,付加的な(しかし自然な)データ構造の存在下での肯定的な結果を証明する。 前者に対しては,複数言語間の共用文表現を学習しようとするアルゴリズムが,言語構造を前提としない場合,少なくとも1つの翻訳タスクに対して大きな翻訳誤りを犯さなければならないことを示す,多対多の翻訳設定における翻訳誤差の低い境界を導出する。 後者の場合、コーパス内のペア化された文書が自然の \emph{encoder-decoder} 生成過程に従えば、「一般化」という自然な概念が期待できる。 長いパスを持つ言語は、必要な言語ペア当たりのドキュメントの総数の観点から、サンプルの複雑さを悪化させます。 我々の理論的な洞察と意味は、普遍機械翻訳のアルゴリズム設計に寄与すると考えている。

関連論文リスト

• Decoupled Vocabulary Learning Enables Zero-Shot Translation from Unseen Languages [55.157295899188476]
  ニューラルマシン翻訳システムは、異なる言語の文を共通の表現空間にマッピングすることを学ぶ。 本研究では、この仮説を未知の言語からのゼロショット翻訳により検証する。 この設定により、全く見えない言語からのゼロショット翻訳が可能になることを実証する。
  論文  参考訳（メタデータ） (2024-08-05T07:58:58Z)
• Decomposed Prompting for Machine Translation Between Related Languages using Large Language Models [55.35106713257871]
  DecoMTは、単語チャンク翻訳のシーケンスに翻訳プロセスを分解する、数発のプロンプトの新しいアプローチである。 DecoMTはBLOOMモデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-05-22T14:52:47Z)
• The Best of Both Worlds: Combining Human and Machine Translations for Multilingual Semantic Parsing with Active Learning [50.320178219081484]
  人文翻訳と機械翻訳の両方の長所を生かした能動的学習手法を提案する。 理想的な発話選択は、翻訳されたデータの誤りとバイアスを著しく低減することができる。
  論文  参考訳（メタデータ） (2023-05-22T05:57:47Z)
• Improving Zero-Shot Multilingual Translation with Universal Representations and Cross-Mappings [23.910477693942905]
  改良されたゼロショット翻訳では、普遍的な表現と横断的な関係を学習する必要がある。 エンコーダによって出力される表現の差をモデル化するための最適理論に基づく状態距離を提案する。 本稿では,モデルが一貫した予測を行うのに役立つ合意に基づくトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2022-10-28T02:47:05Z)
• Informative Language Representation Learning for Massively Multilingual Neural Machine Translation [47.19129812325682]
  多言語ニューラルマシン翻訳モデルでは、通常、人工言語トークンを使用して、所望のターゲット言語への翻訳をガイドする。 近年の研究では、先行する言語トークンは、多言語ニューラルマシン翻訳モデルから正しい翻訳方向へのナビゲートに失敗することがある。 本稿では,言語埋め込み型エンボディメントと言語認識型マルチヘッドアテンションという2つの手法を提案する。
  論文  参考訳（メタデータ） (2022-09-04T04:27:17Z)
• Complete Multilingual Neural Machine Translation [44.98358050355681]
  本稿では、英語中心の並列コーパスを充実させるために、多方向整列例を用いて検討する。 このような接続パターンでMNMTを完全多言語ニューラルネットワーク翻訳(cMNMT)と呼ぶ。 対象言語のみに条件付けされた新たなトレーニングデータサンプリング戦略と組み合わせて、cMNMTは全ての言語ペアに対して競合翻訳品質を得る。
  論文  参考訳（メタデータ） (2020-10-20T13:03:48Z)
• Pre-training Multilingual Neural Machine Translation by Leveraging Alignment Information [72.2412707779571]
  mRASPは、汎用多言語ニューラルマシン翻訳モデルを事前訓練するためのアプローチである。 我々は,低,中,豊かな資源を含む多種多様な環境における42の翻訳方向の実験を行い,エキゾチックな言語対への変換を行った。
  論文  参考訳（メタデータ） (2020-10-07T03:57:54Z)
• Fine-Grained Analysis of Cross-Linguistic Syntactic Divergences [18.19093600136057]
  並列コーパスから任意の言語対の発散パターンを抽出するフレームワークを提案する。 我々のフレームワークは、言語間の相違の詳細な図を提供し、以前のアプローチを一般化し、完全に自動化することを示します。
  論文  参考訳（メタデータ） (2020-05-07T13:05:03Z)
• Bridging Linguistic Typology and Multilingual Machine Translation with Multi-View Language Representations [83.27475281544868]
  特異ベクトル標準相関解析を用いて、各情報源からどのような情報が誘導されるかを調べる。 我々の表現は類型学を組み込み、言語関係と相関関係を強化する。 次に、多言語機械翻訳のための多視点言語ベクトル空間を利用して、競合する全体的な翻訳精度を実現する。
  論文  参考訳（メタデータ） (2020-04-30T16:25:39Z)
• Knowledge Distillation for Multilingual Unsupervised Neural Machine Translation [61.88012735215636]
  unsupervised neural machine translation (UNMT) は、最近、いくつかの言語対に対して顕著な結果を得た。 UNMTは単一の言語ペア間でのみ翻訳することができ、同時に複数の言語ペアに対して翻訳結果を生成することはできない。 本稿では,1つのエンコーダと1つのデコーダを用いて13言語間を翻訳する簡単な手法を実証的に紹介する。
  論文  参考訳（メタデータ） (2020-04-21T17:26:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。