Fugu-MT 論文翻訳(概要): Optimizing Deep Transformers for Chinese-Thai Low-Resource Translation

論文の概要: Optimizing Deep Transformers for Chinese-Thai Low-Resource Translation

arxiv url: http://arxiv.org/abs/2212.12662v1
Date: Sat, 24 Dec 2022 05:35:04 GMT
ステータス: 処理完了
システム内更新日: 2022-12-27 14:15:15.104089
Title: Optimizing Deep Transformers for Chinese-Thai Low-Resource Translation
Title（参考訳）: 中国-タイ低リソース翻訳のためのディープトランスの最適化
Authors: Wenjie Hao, Hongfei Xu, Lingling Mu and Hongying Zan
Abstract要約: CCMT 2022中国語-タイ低リソース機械翻訳タスクにおけるDeep Transformer変換モデルの利用について検討する。レイヤ数が増加すると、新しいモデルパラメータの正規化も増加するので、最高のパフォーマンス設定を採用するが、Transformerの深さを24層に増やす。本研究は,中国語-タイ語翻訳におけるSOTA性能を制約付き評価で取得する。
参考スコア（独自算出の注目度）: 9.294853905247383
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: In this paper, we study the use of deep Transformer translation model for the CCMT 2022 Chinese-Thai low-resource machine translation task. We first explore the experiment settings (including the number of BPE merge operations, dropout probability, embedding size, etc.) for the low-resource scenario with the 6-layer Transformer. Considering that increasing the number of layers also increases the regularization on new model parameters (dropout modules are also introduced when using more layers), we adopt the highest performance setting but increase the depth of the Transformer to 24 layers to obtain improved translation quality. Our work obtains the SOTA performance in the Chinese-to-Thai translation in the constrained evaluation.
Abstract（参考訳）: 本稿では,中国-タイの低リソース機械翻訳タスクCCMT 2022におけるDeep Transformer変換モデルの利用について検討する。まず,6層トランスフォーマを用いた低リソースシナリオを対象とした実験(BPEマージ操作数,ドロップアウト確率,埋め込みサイズなど)について検討する。レイヤ数の増加は新たなモデルパラメータの正規化(より多くのレイヤを使用する場合、ドロップアウトモジュールも導入される)も増加させるので、最高のパフォーマンス設定を採用するが、トランスフォーマーの深さを24層に増やして翻訳品質を向上させる。本研究は,中国語-タイ語翻訳におけるSOTA性能を制約付き評価で取得する。

関連論文リスト

HW-TSC's Submission to the CCMT 2024 Machine Translation Tasks [12.841065384808733]
我々はバイリンガル機械翻訳タスクとマルチドメイン機械翻訳タスクに参加する。これら2つの翻訳タスクでは,正規化ドロップアウト,双方向トレーニング,データ多様化,前方翻訳,後方翻訳,交互学習,カリキュラム学習,トランスダクティブアンサンブル学習などの学習戦略を用いる。
論文参考訳（メタデータ） (2024-09-23T09:20:19Z)
Quick Back-Translation for Unsupervised Machine Translation [9.51657235413336]
我々は Transformer back-translation: Quick Back-translation (QBT) に対する2対1の改善を提案する。 QBTは、エンコーダを生成モデルとして再使用し、エンコーダ生成シーケンスを使用してデコーダを訓練する。様々なWMTベンチマーク実験により、QBTはトレーニング効率の点で標準逆翻訳法よりも劇的に優れていることが示された。
論文参考訳（メタデータ） (2023-12-01T20:27:42Z)
Enhanced Transformer Architecture for Natural Language Processing [2.6071653283020915]
Transformerは自然言語処理(NLP)分野における最先端モデルである本稿では,トランスフォーマーの新たな構造を提案し,全層正規化,重み付け残差接続,強化学習を利用した位置符号化,マスク付き自己注意が特徴である。 The proposed Transformer model, called Enhanced Transformer, is confirmeded by the bilingual evaluation understudy (BLEU) score obtained with the Multi30k translation dataset。
論文参考訳（メタデータ） (2023-10-17T01:59:07Z)
Modeling Context With Linear Attention for Scalable Document-Level Translation [72.41955536834702]
本稿では,近年の文書翻訳における線形アテンションモデルの有効性について検討し,直流帰納バイアスを促進するためにセンデンシャルゲートで拡張する。感性ゲーティングはIWSLTの翻訳品質をさらに向上させることを示す。
論文参考訳（メタデータ） (2022-10-16T03:41:50Z)
DeepNet: Scaling Transformers to 1,000 Layers [106.33669415337135]
トランスフォーマーの残差接続を修正するための新しい正規化関数(DeepNorm)を導入する。詳細な理論解析により、モデル更新は安定な方法でバウンドできることが示されている。トランスフォーマーを1,000層まで拡張することに成功したが、これは従来のディープトランスフォーマーよりも1桁も深い。
論文参考訳（メタデータ） (2022-03-01T15:36:38Z)
Optimizing Transformer for Low-Resource Neural Machine Translation [4.802292434636455]
低リソース言語としても知られる、限られた並列データを持つ言語ペアは、ニューラルマシン翻訳の課題である。 IWSLT14トレーニングデータの異なるサブセットに対する実験により,低リソース条件下でのTransformerの有効性がハイパーパラメータ設定に大きく依存していることが判明した。低リソース条件に最適化されたTransformerを使用することで、Transformerのデフォルト設定に比べて、変換品質は7.3 BLEUポイントまで向上する。
論文参考訳（メタデータ） (2020-11-04T13:12:29Z)
Multi-Unit Transformers for Neural Machine Translation [51.418245676894465]
マルチユニット変換器 (MUTE) を提案し, 変換器の表現性を向上する。具体的には、複数の並列ユニットを使用し、複数のユニットによるモデリングがモデル性能を改善し、多様性を導入することを示す。
論文参考訳（メタデータ） (2020-10-21T03:41:49Z)
Deep Transformers with Latent Depth [42.33955275626127]
Transformerモデルは、多くのシーケンスモデリングタスクにおいて最先端のパフォーマンスを達成した。本稿では,層選択の後方分布を学習することで,どの層を使うかを自動的に学習する確率的フレームワークを提案する。多言語機械翻訳のための1つの共有トランスフォーマーネットワークを学習する新しい手法を提案する。
論文参考訳（メタデータ） (2020-09-28T07:13:23Z)
Rewiring the Transformer with Depth-Wise LSTMs [55.50278212605607]
カスケードトランスとサブ層を接続する奥行きLSTMを用いたトランスフォーマーを提案する。 6層トランスを用いた実験では、WMT 14英語/ドイツ語/フランス語タスクとOPUS-100多言語NMTタスクの両方でBLEUが大幅に改善された。
論文参考訳（メタデータ） (2020-07-13T09:19:34Z)
Applying the Transformer to Character-level Transduction [68.91664610425114]
この変換器は、様々な単語レベルのNLPタスクにおいて、繰り返しニューラルネットワークに基づくシーケンス・ツー・シーケンスモデルより優れていることが示されている。十分なバッチサイズで、トランスフォーマーは文字レベルタスクの繰り返しモデルよりも優れていることを示す。
論文参考訳（メタデータ） (2020-05-20T17:25:43Z)
Explicit Reordering for Neural Machine Translation [50.70683739103066]
Transformer-based neural machine translation (NMT)では、位置符号化機構は、自己アテンションネットワークが順序依存でソース表現を学習するのに役立つ。本研究では,トランスフォーマーベースのNMTに対して,このリオーダ情報を明示的にモデル化する新しいリオーダ手法を提案する。 WMT14, WAT ASPEC日本語訳, WMT17中国語訳の実証結果から, 提案手法の有効性が示唆された。
論文参考訳（メタデータ） (2020-04-08T05:28:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。