論文の概要: A Preordered RNN Layer Boosts Neural Machine Translation in Low Resource
Settings
- arxiv url: http://arxiv.org/abs/2112.13960v1
- Date: Tue, 28 Dec 2021 01:36:22 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-31 06:40:39.262408
- Title: A Preordered RNN Layer Boosts Neural Machine Translation in Low Resource
Settings
- Title(参考訳): 低リソース環境下でのニューラルネットワーク翻訳を向上する事前順序付きRNN層
- Authors: Mohaddeseh Bastan and Shahram Khadivi
- Abstract要約: 我々は、データ不足を軽減するために、情報を並べ替えることで、注意に基づくニューラルネットワークを強化することを提案する。
この増補により、英語からペルシア語、ペルシア語への翻訳の質が最大6%向上する。
- 参考スコア(独自算出の注目度): 4.462172357341907
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Neural Machine Translation (NMT) models are strong enough to convey semantic
and syntactic information from the source language to the target language.
However, these models are suffering from the need for a large amount of data to
learn the parameters. As a result, for languages with scarce data, these models
are at risk of underperforming. We propose to augment attention based neural
network with reordering information to alleviate the lack of data. This
augmentation improves the translation quality for both English to Persian and
Persian to English by up to 6% BLEU absolute over the baseline models.
- Abstract(参考訳): ニューラルネットワーク翻訳(NMT)モデルは、ソース言語からターゲット言語に意味と構文情報を伝達するのに十分な強度を持つ。
しかし、これらのモデルはパラメータを学習するために大量のデータを必要とすることに苦しんでいる。
その結果、データが少ない言語では、これらのモデルはパフォーマンス低下のリスクにさらされる。
我々は、データ不足を軽減するために、情報を並べ替えることで注意に基づくニューラルネットワークを強化することを提案する。
この拡張により、英語からペルシア語とペルシア語の両方の翻訳品質が、ベースラインモデルに対して最大6%のBLEU絶対値で向上する。
関連論文リスト
- Efficiently Adapting Pretrained Language Models To New Languages [9.33333013114014]
近年の大規模言語モデル (LLM) は低リソース言語に準最適性能を示す。
我々は,既存の学習済みLLMをこれらの問題に対処することなく,新しい言語に効率的に適応する方法について検討する。
論文 参考訳(メタデータ) (2023-11-09T20:59:08Z) - Reduce, Reuse, Recycle: Is Perturbed Data better than Other Language
augmentation for Low Resource Self-Supervised Speech Models [52.92618442300405]
自己教師付き表現学習(SSRL)は、教師付きモデルと比較して下流音素認識の性能を改善した。
SSRLモデルのトレーニングには大量の事前学習データが必要である。
本稿では,低リソース条件下でのSSRLモデルの事前学習に音声拡張を用い,音素認識をダウンストリームタスクとして評価する。
論文 参考訳(メタデータ) (2023-09-22T10:09:09Z) - Improving Cross-lingual Information Retrieval on Low-Resource Languages
via Optimal Transport Distillation [21.057178077747754]
本稿では,低リソースな言語間情報検索のためのOPTICAL: Optimal Transport 蒸留法を提案する。
クエリドキュメントマッチングの知識から言語間知識を分離することにより、OPTICALは蒸留訓練のためのbitextデータのみを必要とする。
実験結果から,OPTICALは最小限のトレーニングデータにより,低リソース言語上での強いベースラインを著しく上回ることがわかった。
論文 参考訳(メタデータ) (2023-01-29T22:30:36Z) - Language Contamination Explains the Cross-lingual Capabilities of
English Pretrained Models [79.38278330678965]
一般的な英語事前学習コーパスには、かなりの量の非英語テキストが含まれていることが判明した。
これにより、大規模なデータセットで数十億の外国語トークンが生成される。
そして、これらの少数の非英語データでさえ、それらに基づいて訓練されたモデルの言語間移動を促進することを実証する。
論文 参考訳(メタデータ) (2022-04-17T23:56:54Z) - TunBERT: Pretrained Contextualized Text Representation for Tunisian
Dialect [0.0]
表現不足言語に対するモノリンガルトランスフォーマーに基づく言語モデルのトレーニングの実現可能性について検討する。
構造化データの代わりにノイズの多いWebクローリングデータを使用することは、そのような非標準言語にとってより便利であることを示す。
我々の最高のパフォーマンスTunBERTモデルは、下流の3つのタスクすべてにおいて最先端のタスクに到達または改善します。
論文 参考訳(メタデータ) (2021-11-25T15:49:50Z) - Developing neural machine translation models for Hungarian-English [0.0]
私は、Hunglish2コーパスを使用して、英語とハンガリー語とハンガリー英語のニューラルマシン翻訳タスクのモデルをトレーニングします。
ハンガリー語で最良のモデルはBLEUスコア33.9、英語で最高のモデルはBLEUスコア28.6である。
論文 参考訳(メタデータ) (2021-11-07T14:35:00Z) - Exploring Unsupervised Pretraining Objectives for Machine Translation [99.5441395624651]
教師なし言語間事前訓練は、ニューラルマシン翻訳(NMT)の強力な結果を得た
ほとんどのアプローチは、入力の一部をマスキングしてデコーダで再構成することで、シーケンス・ツー・シーケンスアーキテクチャにマスク付き言語モデリング(MLM)を適用する。
マスキングと、実際の(完全な)文に似た入力を生成する代替目的を、文脈に基づいて単語を並べ替えて置き換えることにより比較する。
論文 参考訳(メタデータ) (2021-06-10T10:18:23Z) - Understanding and Improving Lexical Choice in Non-Autoregressive
Translation [98.11249019844281]
低周波ワードの有用な情報を復元するために、生データをNATモデルに公開することを提案する。
提案手法は,WMT14英語-ドイツ語とWMT16ルーマニア英語-英語データセットのSOTA NAT性能を27.8BLEU点,33.8BLEU点まで向上させる。
論文 参考訳(メタデータ) (2020-12-29T03:18:50Z) - A Hybrid Approach for Improved Low Resource Neural Machine Translation
using Monolingual Data [0.0]
多くの言語ペアは低リソースであるため、利用可能な並列データの量や品質は、ニューラルネットワーク翻訳(NMT)モデルをトレーニングするのに十分ではない。
本研究は, 後方モデルと前方モデルの両方が単言語的対象データから恩恵を受けられるような, 新たなアプローチを提案する。
論文 参考訳(メタデータ) (2020-11-14T22:18:45Z) - Comparison of Interactive Knowledge Base Spelling Correction Models for
Low-Resource Languages [81.90356787324481]
低リソース言語に対する正規化の推進は、パターンの予測が難しいため、難しい作業である。
この研究は、ターゲット言語データに様々な量を持つニューラルモデルとキャラクタ言語モデルの比較を示す。
我々の利用シナリオは、ほぼゼロのトレーニング例によるインタラクティブな修正であり、より多くのデータが収集されるにつれてモデルを改善する。
論文 参考訳(メタデータ) (2020-10-20T17:31:07Z) - Leveraging Monolingual Data with Self-Supervision for Multilingual
Neural Machine Translation [54.52971020087777]
モノリンガルデータを使用することで、マルチリンガルモデルにおける低リソース言語の翻訳品質が大幅に向上する。
自己監督は多言語モデルのゼロショット翻訳品質を改善する。
並列データやバックトランスレーションなしで、ro-en翻訳で最大33のBLEUを得る。
論文 参考訳(メタデータ) (2020-05-11T00:20:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。