論文の概要: Optimizing Transformer for Low-Resource Neural Machine Translation
- arxiv url: http://arxiv.org/abs/2011.02266v1
- Date: Wed, 4 Nov 2020 13:12:29 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-29 21:20:25.548271
- Title: Optimizing Transformer for Low-Resource Neural Machine Translation
- Title（参考訳）: 低リソースニューラルマシン変換のための最適化トランスフォーマー
- Authors: Ali Araabi, Christof Monz
- Abstract要約: 低リソース言語としても知られる、限られた並列データを持つ言語ペアは、ニューラルマシン翻訳の課題である。
IWSLT14トレーニングデータの異なるサブセットに対する実験により,低リソース条件下でのTransformerの有効性がハイパーパラメータ設定に大きく依存していることが判明した。
低リソース条件に最適化されたTransformerを使用することで、Transformerのデフォルト設定に比べて、変換品質は7.3 BLEUポイントまで向上する。
- 参考スコア（独自算出の注目度）: 4.802292434636455
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Language pairs with limited amounts of parallel data, also known as
low-resource languages, remain a challenge for neural machine translation.
While the Transformer model has achieved significant improvements for many
language pairs and has become the de facto mainstream architecture, its
capability under low-resource conditions has not been fully investigated yet.
Our experiments on different subsets of the IWSLT14 training data show that the
effectiveness of Transformer under low-resource conditions is highly dependent
on the hyper-parameter settings. Our experiments show that using an optimized
Transformer for low-resource conditions improves the translation quality up to
7.3 BLEU points compared to using the Transformer default settings.
- Abstract（参考訳）: 低リソース言語としても知られる、限られた並列データを持つ言語ペアは、ニューラルマシン翻訳の課題である。
Transformerモデルは、多くの言語ペアにおいて大幅な改善を達成し、事実上の主流アーキテクチャとなっているが、低リソース条件下での機能については、まだ完全には研究されていない。
IWSLT14トレーニングデータの異なるサブセットに対する実験により,低リソース条件下でのTransformerの有効性はハイパーパラメータ設定に大きく依存していることがわかった。
本研究では,低リソース条件に最適化されたトランスを用いることで,トランスのデフォルト設定よりも7.3 bleu点までの変換品質が向上することを示す。
関連論文リスト
- Transformers for Low-Resource Languages:Is F\'eidir Linn! [2.648836772989769]
一般に、ニューラルネットワークモデルは訓練データが不十分な言語ペアで実行されることが多い。
適切なパラメータを選択することで、パフォーマンスが大幅に向上することを示す。
Transformer最適化モデルでは,ベースラインRNNモデルと比較してBLEUスコアが7.8ポイント向上した。
論文 参考訳（メタデータ） (2024-03-04T12:29:59Z) - Enhancing Neural Machine Translation of Low-Resource Languages: Corpus
Development, Human Evaluation and Explainable AI Architectures [0.0]
Transformerアーキテクチャは、特に高リソースの言語ペアにおいて、ゴールドスタンダードとして際立っている。
低リソース言語のための並列データセットの不足は、機械翻訳開発を妨げる可能性がある。
この論文では、ニューラルネットワーク翻訳モデルの開発、微調整、デプロイのために合理化された2つのオープンソースアプリケーションであるAdaptNMTとAdaptMLLMを紹介している。
論文 参考訳（メタデータ） (2024-03-03T18:08:30Z) - Quick Back-Translation for Unsupervised Machine Translation [9.51657235413336]
我々は Transformer back-translation: Quick Back-translation (QBT) に対する2対1の改善を提案する。
QBTは、エンコーダを生成モデルとして再使用し、エンコーダ生成シーケンスを使用してデコーダを訓練する。
様々なWMTベンチマーク実験により、QBTはトレーニング効率の点で標準逆翻訳法よりも劇的に優れていることが示された。
論文 参考訳（メタデータ） (2023-12-01T20:27:42Z) - Enhanced Transformer Architecture for Natural Language Processing [2.6071653283020915]
Transformerは自然言語処理(NLP)分野における最先端モデルである
本稿では,トランスフォーマーの新たな構造を提案し,全層正規化,重み付け残差接続,強化学習を利用した位置符号化,マスク付き自己注意が特徴である。
The proposed Transformer model, called Enhanced Transformer, is confirmeded by the bilingual evaluation understudy (BLEU) score obtained with the Multi30k translation dataset。
論文 参考訳（メタデータ） (2023-10-17T01:59:07Z) - Strategies for improving low resource speech to text translation relying
on pre-trained ASR models [59.90106959717875]
本稿では,テキスト翻訳(ST)における低音源音声の性能向上のための技術と知見について述べる。
本研究は,英語とポルトガル語,タマシェク語とフランス語の2つの言語対について,シミュレーションおよび実低資源設定について実験を行った。
論文 参考訳（メタデータ） (2023-05-31T21:58:07Z) - Optimizing Deep Transformers for Chinese-Thai Low-Resource Translation [9.294853905247383]
CCMT 2022中国語-タイ低リソース機械翻訳タスクにおけるDeep Transformer変換モデルの利用について検討する。
レイヤ数が増加すると、新しいモデルパラメータの正規化も増加するので、最高のパフォーマンス設定を採用するが、Transformerの深さを24層に増やす。
本研究は,中国語-タイ語翻訳におけるSOTA性能を制約付き評価で取得する。
論文 参考訳（メタデータ） (2022-12-24T05:35:04Z) - Towards Lightweight Transformer via Group-wise Transformation for
Vision-and-Language Tasks [126.33843752332139]
本稿では,LW-Transformerと呼ばれる視覚・言語タスクのための,普遍的で軽量なトランスフォーマーに対するグループワイズ変換を提案する。
LW-Transformerを一組のTransformerベースのネットワークに適用し、3つの視覚・言語タスクと6つのベンチマークデータセットで定量的に測定する。
実験の結果,LW-Transformerは多数のパラメータや計算を節約しながら,視覚・言語タスクのためのトランスフォーマーネットワークと非常に競合する性能を発揮することがわかった。
論文 参考訳（メタデータ） (2022-04-16T11:30:26Z) - Bayesian Transformer Language Models for Speech Recognition [59.235405107295655]
トランスフォーマーで表現される最先端のニューラルネットワークモデル(LM)は非常に複雑である。
本稿では,トランスフォーマーLM推定のためのベイズ学習フレームワークを提案する。
論文 参考訳（メタデータ） (2021-02-09T10:55:27Z) - Applying the Transformer to Character-level Transduction [68.91664610425114]
この変換器は、様々な単語レベルのNLPタスクにおいて、繰り返しニューラルネットワークに基づくシーケンス・ツー・シーケンスモデルより優れていることが示されている。
十分なバッチサイズで、トランスフォーマーは文字レベルタスクの繰り返しモデルよりも優れていることを示す。
論文 参考訳（メタデータ） (2020-05-20T17:25:43Z) - Explicit Reordering for Neural Machine Translation [50.70683739103066]
Transformer-based neural machine translation (NMT)では、位置符号化機構は、自己アテンションネットワークが順序依存でソース表現を学習するのに役立つ。
本研究では,トランスフォーマーベースのNMTに対して,このリオーダ情報を明示的にモデル化する新しいリオーダ手法を提案する。
WMT14, WAT ASPEC日本語訳, WMT17中国語訳の実証結果から, 提案手法の有効性が示唆された。
論文 参考訳（メタデータ） (2020-04-08T05:28:46Z) - Transformer on a Diet [81.09119185568296]
トランスフォーマーは、効率よくシーケンス情報をキャプチャできる能力のおかげで、広く使われている。
BERT や GPT-2 のような最近の開発は、有効性を重視した重いアーキテクチャしか提供していない。
計算量が少ないトランスフォーマーが競合する結果をもたらすかどうかを調べるために, 慎重に設計された3つの光トランスフォーマーアーキテクチャを探索する。
論文 参考訳（メタデータ） (2020-02-14T18:41:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。