論文の概要: Pointer-Generator Networks for Low-Resource Machine Translation: Don't Copy That!

• arxiv url: http://arxiv.org/abs/2403.10963v3
• Date: Tue, 18 Jun 2024 02:57:31 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-20 03:55:50.983684
• Title: Pointer-Generator Networks for Low-Resource Machine Translation: Don't Copy That!
• Title（参考訳）: 低リソース機械翻訳のためのポインタジェネレータネットワーク:それをコピーするな!
• Authors: Niyati Bafna, Philipp Koehn, David Yarowsky,
• Abstract要約: 本研究では,Transformer-based neural machine translation (NMT) が高リソース環境において非常に有効であることを示す。 このモデルでは,近縁な言語対と遠縁な言語対に対する改善が示されていない。 この動作の理由に関する議論は、LR NMTのいくつかの一般的な課題を浮き彫りにしている。
• 参考スコア（独自算出の注目度）: 13.120825574589437
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While Transformer-based neural machine translation (NMT) is very effective in high-resource settings, many languages lack the necessary large parallel corpora to benefit from it. In the context of low-resource (LR) MT between two closely-related languages, a natural intuition is to seek benefits from structural "shortcuts", such as copying subwords from the source to the target, given that such language pairs often share a considerable number of identical words, cognates, and borrowings. We test Pointer-Generator Networks for this purpose for six language pairs over a variety of resource ranges, and find weak improvements for most settings. However, analysis shows that the model does not show greater improvements for closely-related vs. more distant language pairs, or for lower resource ranges, and that the models do not exhibit the expected usage of the mechanism for shared subwords. Our discussion of the reasons for this behaviour highlights several general challenges for LR NMT, such as modern tokenization strategies, noisy real-world conditions, and linguistic complexities. We call for better scrutiny of linguistically motivated improvements to NMT given the blackbox nature of Transformer models, as well as for a focus on the above problems in the field.
• Abstract（参考訳）: Transformerベースのニューラルネットワーク翻訳(NMT)は、高リソース設定において非常に効果的であるが、多くの言語では、その恩恵を受けるために必要な大きな並列コーパスが欠如している。 2つの近縁言語間の低リソース (LR) MT の文脈において、自然な直観は、ソースからターゲットへのサブワードのコピーのような構造的な「ショートカット」の恩恵を求めることである。 この目的のためにPointer-Generator Networksを、さまざまなリソース範囲で6つの言語ペアでテストし、ほとんどの設定で弱い改善点を見つけました。 しかし, 分析の結果, より近い言語対とより遠い言語対, あるいはより低いリソース範囲において, モデルがより大きな改善を示さないこと, 共有サブワードに対して, モデルが期待される使用方法を示していないこと, などの結果が得られた。 この行動の理由に関する議論は、現代のトークン化戦略、雑音の多い現実世界の条件、言語的複雑さなど、LR NMTのいくつかの一般的な課題を浮き彫りにしている。 我々は、トランスフォーマーモデルのブラックボックスの性質を考えると、言語的に動機づけられたNMTの改善のより精査と、この分野における上記の問題に焦点をあてることを求めている。

関連論文リスト

• Low-resource neural machine translation with morphological modeling [3.3721926640077804]
  ニューラルマシン翻訳(NMT)における形態的モデリングは、オープン語彙機械翻訳を実現するための有望なアプローチである。 低リソース環境における複雑な形態をモデル化するためのフレームワークソリューションを提案する。 パブリックドメインのパラレルテキストを用いた英訳であるKinyarwandaについて,提案手法の評価を行った。
  論文  参考訳（メタデータ） (2024-04-03T01:31:41Z)
• MoSECroT: Model Stitching with Static Word Embeddings for Crosslingual Zero-shot Transfer [50.40191599304911]
  クロスリンガルゼロショット転送のための静的単語埋め込みを用いたMoSECroTモデルスティッチについて紹介する。 本稿では,ソースコードPLMの埋め込みと対象言語の静的単語埋め込みのための共通空間を構築するために,相対表現を利用した最初のフレームワークを提案する。 提案するフレームワークは,MoSECroTに対処する際,弱いベースラインと競合するが,強いベースラインに比べて競合する結果が得られないことを示す。
  論文  参考訳（メタデータ） (2024-01-09T21:09:07Z)
• Mitigating Data Imbalance and Representation Degeneration in Multilingual Machine Translation [103.90963418039473]
  Bi-ACLは、MNMTモデルの性能を向上させるために、ターゲット側モノリンガルデータとバイリンガル辞書のみを使用するフレームワークである。 Bi-ACLは、長い尾の言語でも、高リソースの言語でも、より効果的であることを示す。
  論文  参考訳（メタデータ） (2023-05-22T07:31:08Z)
• Improving Multilingual Neural Machine Translation System for Indic Languages [0.0]
  低リソース言語翻訳に関わる問題に対処する多言語ニューラルマシン翻訳(MNMT)システムを提案する。 提案モデルの実現には最先端のトランスフォーマーアーキテクチャを用いる。 大量のデータに対する試行は、従来のモデルよりもその優位性を明らかにしている。
  論文  参考訳（メタデータ） (2022-09-27T09:51:56Z)
• Exploring Unsupervised Pretraining Objectives for Machine Translation [99.5441395624651]
  教師なし言語間事前訓練は、ニューラルマシン翻訳(NMT)の強力な結果を得た ほとんどのアプローチは、入力の一部をマスキングしてデコーダで再構成することで、シーケンス・ツー・シーケンスアーキテクチャにマスク付き言語モデリング(MLM)を適用する。 マスキングと、実際の(完全な)文に似た入力を生成する代替目的を、文脈に基づいて単語を並べ替えて置き換えることにより比較する。
  論文  参考訳（メタデータ） (2021-06-10T10:18:23Z)
• Pre-training Multilingual Neural Machine Translation by Leveraging Alignment Information [72.2412707779571]
  mRASPは、汎用多言語ニューラルマシン翻訳モデルを事前訓練するためのアプローチである。 我々は,低,中,豊かな資源を含む多種多様な環境における42の翻訳方向の実験を行い,エキゾチックな言語対への変換を行った。
  論文  参考訳（メタデータ） (2020-10-07T03:57:54Z)
• Learning Source Phrase Representations for Neural Machine Translation [65.94387047871648]
  本稿では,対応するトークン表現から句表現を生成可能な注意句表現生成機構を提案する。 実験では,強力なトランスフォーマーベースライン上でのWMT 14の英語・ドイツ語・英語・フランス語タスクにおいて,大幅な改善が得られた。
  論文  参考訳（メタデータ） (2020-06-25T13:43:11Z)
• Improving Massively Multilingual Neural Machine Translation and Zero-Shot Translation [81.7786241489002]
  ニューラルネットワーク翻訳(NMT)の多言語モデルは理論的には魅力的であるが、しばしばバイリンガルモデルに劣る。 我々は,多言語NMTが言語ペアをサポートするためにより強力なモデリング能力を必要とすることを論じる。 未知のトレーニング言語ペアの翻訳を強制するために,ランダムなオンライン翻訳を提案する。
  論文  参考訳（メタデータ） (2020-04-24T17:21:32Z)
• On Optimal Transformer Depth for Low-Resource Language Translation [14.879321342968256]
  変圧器モデルでは,低変圧深度でよく(かつよく)機能することを示す。 非常に大規模なモデルを使用する分野における現在の傾向は、低リソース言語では有害であることがわかった。
  論文  参考訳（メタデータ） (2020-04-09T08:25:02Z)
• Transformer++ [0.0]
  注意機構を用いた変圧器は、シーケンスモデリングにおける最先端の結果のみを達成した。 コンボリューションを用いたマルチヘッドのコンテキストから依存関係を学習する新しい手法を提案する。 新しい形態の多面的注意と伝統的な形態は、WMT 2014の英語-ドイツ語と英語-フランス語の翻訳タスクにおいて、Transformerよりも優れた結果をもたらす。
  論文  参考訳（メタデータ） (2020-03-02T13:00:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。