論文の概要: Transformers for Low-Resource Languages:Is F\'eidir Linn!
- arxiv url: http://arxiv.org/abs/2403.01985v1
- Date: Mon, 4 Mar 2024 12:29:59 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-06 18:45:30.850470
- Title: Transformers for Low-Resource Languages:Is F\'eidir Linn!
- Title（参考訳）: 低リソース言語用トランスフォーマー:Is F\'eidir Linn!
- Authors: S\'eamus Lankford, Haithem Afli and Andy Way
- Abstract要約: 一般に、ニューラルネットワークモデルは訓練データが不十分な言語ペアで実行されることが多い。
適切なパラメータを選択することで、パフォーマンスが大幅に向上することを示す。
Transformer最適化モデルでは,ベースラインRNNモデルと比較してBLEUスコアが7.8ポイント向上した。
- 参考スコア（独自算出の注目度）: 2.648836772989769
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The Transformer model is the state-of-the-art in Machine Translation.
However, in general, neural translation models often under perform on language
pairs with insufficient training data. As a consequence, relatively few
experiments have been carried out using this architecture on low-resource
language pairs. In this study, hyperparameter optimization of Transformer
models in translating the low-resource English-Irish language pair is
evaluated. We demonstrate that choosing appropriate parameters leads to
considerable performance improvements. Most importantly, the correct choice of
subword model is shown to be the biggest driver of translation performance.
SentencePiece models using both unigram and BPE approaches were appraised.
Variations on model architectures included modifying the number of layers,
testing various regularisation techniques and evaluating the optimal number of
heads for attention. A generic 55k DGT corpus and an in-domain 88k public admin
corpus were used for evaluation. A Transformer optimized model demonstrated a
BLEU score improvement of 7.8 points when compared with a baseline RNN model.
Improvements were observed across a range of metrics, including TER, indicating
a substantially reduced post editing effort for Transformer optimized models
with 16k BPE subword models. Bench-marked against Google Translate, our
translation engines demonstrated significant improvements. The question of
whether or not Transformers can be used effectively in a low-resource setting
of English-Irish translation has been addressed. Is f\'eidir linn - yes we can.
- Abstract（参考訳）: Transformerモデルは機械翻訳における最先端技術である。
しかし、一般的には、神経翻訳モデルは訓練データ不足の言語ペアで実行されることが多い。
その結果、低リソース言語ペアでこのアーキテクチャを使用した実験は、比較的少ない。
本研究では,低リソースの英アイルランド語対の翻訳におけるトランスフォーマーモデルのハイパーパラメータ最適化を評価する。
適切なパラメータを選択するとパフォーマンスが大幅に向上することを示す。
最も重要なことは、サブワードモデルの正しい選択が翻訳性能の最大の原動力であることが示されている。
ユニグラムおよびBPEアプローチの両方を用いたSentencePieceモデルの評価を行った。
モデルアーキテクチャのバリエーションには、レイヤー数の変更、様々な正規化技法のテスト、注意のために最適なヘッド数の評価が含まれる。
ジェネリック55kDGTコーパスとインドメイン88kパブリック管理者コーパスを用いて評価を行った。
Transformer最適化モデルでは,ベースラインRNNモデルと比較してBLEUスコアが7.8ポイント向上した。
16kのBPEサブワードモデルを持つTransformer最適化モデルの編集作業が大幅に削減されたことを示し、TERを含む様々な指標で改善が見られた。
bench-marked against google translate では、翻訳エンジンが大幅に改善されました。
トランスフォーマーが英語-アイルランド語翻訳の低リソース設定で効果的に使用できるかどうかという問題は解決されている。
f\'eidir linn - はい、可能です。
関連論文リスト
- Low-resource neural machine translation with morphological modeling [3.3721926640077804]
ニューラルマシン翻訳(NMT)における形態的モデリングは、オープン語彙機械翻訳を実現するための有望なアプローチである。
低リソース環境における複雑な形態をモデル化するためのフレームワークソリューションを提案する。
パブリックドメインのパラレルテキストを用いた英訳であるKinyarwandaについて,提案手法の評価を行った。
論文 参考訳（メタデータ） (2024-04-03T01:31:41Z) - Human Evaluation of English--Irish Transformer-Based NMT [2.648836772989769]
ベストパフォーマンスのTransformerシステムは、RNNベースのモデルと比較して精度と誤差を著しく低減する。
Google Translateに対してベンチマークを行ったところ、我々の翻訳エンジンは大幅に改善された。
論文 参考訳（メタデータ） (2024-03-04T11:45:46Z) - Deep Learning Transformer Architecture for Named Entity Recognition on
Low Resourced Languages: State of the art results [0.0]
本稿では,低リソースの南アフリカ(SA)言語10言語を対象とした,NERのためのディープラーニング(DL)トランスフォーマーアーキテクチャモデルの評価について報告する。
その結果,言語毎に離散的な微調整パラメータを適用すると,トランスフォーマーモデルの性能が著しく向上することがわかった。
さらなる研究は、他の自然言語処理タスクやアプリケーション上で、より最近のトランスフォーマーアーキテクチャモデルを評価する可能性がある。
論文 参考訳（メタデータ） (2021-11-01T11:02:01Z) - Improving Neural Machine Translation by Bidirectional Training [85.64797317290349]
我々は、ニューラルネットワーク翻訳のためのシンプルで効果的な事前学習戦略である双方向トレーニング(BiT)を提案する。
具体的には、初期モデルのパラメータを双方向に更新し、正常にモデルを調整する。
実験の結果,BiTは8つの言語対上の15の翻訳タスクに対して,SOTAニューラルマシン翻訳性能を著しく向上させることがわかった。
論文 参考訳（メタデータ） (2021-09-16T07:58:33Z) - Bayesian Transformer Language Models for Speech Recognition [59.235405107295655]
トランスフォーマーで表現される最先端のニューラルネットワークモデル(LM)は非常に複雑である。
本稿では,トランスフォーマーLM推定のためのベイズ学習フレームワークを提案する。
論文 参考訳（メタデータ） (2021-02-09T10:55:27Z) - Optimizing Transformer for Low-Resource Neural Machine Translation [4.802292434636455]
低リソース言語としても知られる、限られた並列データを持つ言語ペアは、ニューラルマシン翻訳の課題である。
IWSLT14トレーニングデータの異なるサブセットに対する実験により,低リソース条件下でのTransformerの有効性がハイパーパラメータ設定に大きく依存していることが判明した。
低リソース条件に最適化されたTransformerを使用することで、Transformerのデフォルト設定に比べて、変換品質は7.3 BLEUポイントまで向上する。
論文 参考訳（メタデータ） (2020-11-04T13:12:29Z) - Pre-training Multilingual Neural Machine Translation by Leveraging
Alignment Information [72.2412707779571]
mRASPは、汎用多言語ニューラルマシン翻訳モデルを事前訓練するためのアプローチである。
我々は,低,中,豊かな資源を含む多種多様な環境における42の翻訳方向の実験を行い,エキゾチックな言語対への変換を行った。
論文 参考訳（メタデータ） (2020-10-07T03:57:54Z) - Learning Source Phrase Representations for Neural Machine Translation [65.94387047871648]
本稿では,対応するトークン表現から句表現を生成可能な注意句表現生成機構を提案する。
実験では,強力なトランスフォーマーベースライン上でのWMT 14の英語・ドイツ語・英語・フランス語タスクにおいて,大幅な改善が得られた。
論文 参考訳（メタデータ） (2020-06-25T13:43:11Z) - Recipes for Adapting Pre-trained Monolingual and Multilingual Models to
Machine Translation [50.0258495437314]
機械翻訳(MT)における事前学習モデルの微調整において、凍結パラメータの利点と欠点と新しいパラメータの追加について検討する。
BARTでは、モデルパラメータの大部分を凍結し、追加の位置埋め込みを追加することで、最高のパフォーマンスを得ることができます。
mBARTでは、ほとんどの言語ペアがエンコーダで、ほとんどのデコーダはフリーズして、素早い微調整のパフォーマンスにマッチするか、向上します。
論文 参考訳（メタデータ） (2020-04-30T16:09:22Z) - Optimus: Organizing Sentences via Pre-trained Modeling of a Latent Space [109.79957125584252]
変分オートエンコーダ(VAE)は、強力な生成モデルであり、自然言語の効果的な表現学習フレームワークである。
本稿では,最初の大規模言語VAEモデルであるOptimusを提案する。
論文 参考訳（メタデータ） (2020-04-05T06:20:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。