Fugu-MT 論文翻訳(概要): A Preordered RNN Layer Boosts Neural Machine Translation in Low Resource Settings

論文の概要: A Preordered RNN Layer Boosts Neural Machine Translation in Low Resource Settings

arxiv url: http://arxiv.org/abs/2112.13960v1
Date: Tue, 28 Dec 2021 01:36:22 GMT
ステータス: 処理完了
システム内更新日: 2021-12-31 06:40:39.262408
Title: A Preordered RNN Layer Boosts Neural Machine Translation in Low Resource Settings
Title（参考訳）: 低リソース環境下でのニューラルネットワーク翻訳を向上する事前順序付きRNN層
Authors: Mohaddeseh Bastan and Shahram Khadivi
Abstract要約: 我々は、データ不足を軽減するために、情報を並べ替えることで、注意に基づくニューラルネットワークを強化することを提案する。この増補により、英語からペルシア語、ペルシア語への翻訳の質が最大6%向上する。
参考スコア（独自算出の注目度）: 4.462172357341907
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Neural Machine Translation (NMT) models are strong enough to convey semantic and syntactic information from the source language to the target language. However, these models are suffering from the need for a large amount of data to learn the parameters. As a result, for languages with scarce data, these models are at risk of underperforming. We propose to augment attention based neural network with reordering information to alleviate the lack of data. This augmentation improves the translation quality for both English to Persian and Persian to English by up to 6% BLEU absolute over the baseline models.
Abstract（参考訳）: ニューラルネットワーク翻訳(NMT)モデルは、ソース言語からターゲット言語に意味と構文情報を伝達するのに十分な強度を持つ。しかし、これらのモデルはパラメータを学習するために大量のデータを必要とすることに苦しんでいる。その結果、データが少ない言語では、これらのモデルはパフォーマンス低下のリスクにさらされる。我々は、データ不足を軽減するために、情報を並べ替えることで注意に基づくニューラルネットワークを強化することを提案する。この拡張により、英語からペルシア語とペルシア語の両方の翻訳品質が、ベースラインモデルに対して最大6%のBLEU絶対値で向上する。

関連論文リスト

Generative-Adversarial Networks for Low-Resource Language Data Augmentation in Machine Translation [0.0]
低リソース言語データの拡張にGAN(generative-adrial Network)を活用することを提案する。我々のモデルは、データ拡張の可能性を示し、「健康な昼食が調理されていることを私に尋ねて」といった文で単言語データを生成する。
論文参考訳（メタデータ） (2024-08-24T00:02:00Z)
Improving Language Models Trained on Translated Data with Continual Pre-Training and Dictionary Learning Analysis [3.16714407449467]
学習言語モデルにおける翻訳と合成データの役割について検討する。 NLLB-3B MTモデルを用いて英語からアラビア語に翻訳した。これらの問題を是正するために、我々は、合成された高品質のアラビア物語の小さなデータセットでモデルを事前訓練する。
論文参考訳（メタデータ） (2024-05-23T07:53:04Z)
Efficiently Adapting Pretrained Language Models To New Languages [9.33333013114014]
近年の大規模言語モデル (LLM) は低リソース言語に準最適性能を示す。我々は,既存の学習済みLLMをこれらの問題に対処することなく,新しい言語に効率的に適応する方法について検討する。
論文参考訳（メタデータ） (2023-11-09T20:59:08Z)
Improving Cross-lingual Information Retrieval on Low-Resource Languages via Optimal Transport Distillation [21.057178077747754]
本稿では,低リソースな言語間情報検索のためのOPTICAL: Optimal Transport 蒸留法を提案する。クエリドキュメントマッチングの知識から言語間知識を分離することにより、OPTICALは蒸留訓練のためのbitextデータのみを必要とする。実験結果から,OPTICALは最小限のトレーニングデータにより,低リソース言語上での強いベースラインを著しく上回ることがわかった。
論文参考訳（メタデータ） (2023-01-29T22:30:36Z)
Language Contamination Explains the Cross-lingual Capabilities of English Pretrained Models [79.38278330678965]
一般的な英語事前学習コーパスには、かなりの量の非英語テキストが含まれていることが判明した。これにより、大規模なデータセットで数十億の外国語トークンが生成される。そして、これらの少数の非英語データでさえ、それらに基づいて訓練されたモデルの言語間移動を促進することを実証する。
論文参考訳（メタデータ） (2022-04-17T23:56:54Z)
Developing neural machine translation models for Hungarian-English [0.0]
私は、Hunglish2コーパスを使用して、英語とハンガリー語とハンガリー英語のニューラルマシン翻訳タスクのモデルをトレーニングします。ハンガリー語で最良のモデルはBLEUスコア33.9、英語で最高のモデルはBLEUスコア28.6である。
論文参考訳（メタデータ） (2021-11-07T14:35:00Z)
Exploring Unsupervised Pretraining Objectives for Machine Translation [99.5441395624651]
教師なし言語間事前訓練は、ニューラルマシン翻訳(NMT)の強力な結果を得たほとんどのアプローチは、入力の一部をマスキングしてデコーダで再構成することで、シーケンス・ツー・シーケンスアーキテクチャにマスク付き言語モデリング(MLM)を適用する。マスキングと、実際の(完全な)文に似た入力を生成する代替目的を、文脈に基づいて単語を並べ替えて置き換えることにより比較する。
論文参考訳（メタデータ） (2021-06-10T10:18:23Z)
Understanding and Improving Lexical Choice in Non-Autoregressive Translation [98.11249019844281]
低周波ワードの有用な情報を復元するために、生データをNATモデルに公開することを提案する。提案手法は,WMT14英語-ドイツ語とWMT16ルーマニア英語-英語データセットのSOTA NAT性能を27.8BLEU点,33.8BLEU点まで向上させる。
論文参考訳（メタデータ） (2020-12-29T03:18:50Z)
Comparison of Interactive Knowledge Base Spelling Correction Models for Low-Resource Languages [81.90356787324481]
低リソース言語に対する正規化の推進は、パターンの予測が難しいため、難しい作業である。この研究は、ターゲット言語データに様々な量を持つニューラルモデルとキャラクタ言語モデルの比較を示す。我々の利用シナリオは、ほぼゼロのトレーニング例によるインタラクティブな修正であり、より多くのデータが収集されるにつれてモデルを改善する。
論文参考訳（メタデータ） (2020-10-20T17:31:07Z)
Leveraging Monolingual Data with Self-Supervision for Multilingual Neural Machine Translation [54.52971020087777]
モノリンガルデータを使用することで、マルチリンガルモデルにおける低リソース言語の翻訳品質が大幅に向上する。自己監督は多言語モデルのゼロショット翻訳品質を改善する。並列データやバックトランスレーションなしで、ro-en翻訳で最大33のBLEUを得る。
論文参考訳（メタデータ） (2020-05-11T00:20:33Z)
Improving Massively Multilingual Neural Machine Translation and Zero-Shot Translation [81.7786241489002]
ニューラルネットワーク翻訳(NMT)の多言語モデルは理論的には魅力的であるが、しばしばバイリンガルモデルに劣る。我々は,多言語NMTが言語ペアをサポートするためにより強力なモデリング能力を必要とすることを論じる。未知のトレーニング言語ペアの翻訳を強制するために,ランダムなオンライン翻訳を提案する。
論文参考訳（メタデータ） (2020-04-24T17:21:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。