論文の概要: Language Models are Good Translators

• arxiv url: http://arxiv.org/abs/2106.13627v1
• Date: Fri, 25 Jun 2021 13:30:29 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-28 17:26:51.667293
• Title: Language Models are Good Translators
• Title（参考訳）: 言語モデルは優れた翻訳者です
• Authors: Shuo Wang, Zhaopeng Tu, Zhixing Tan, Wenxuan Wang, Maosong Sun, Yang Liu
• Abstract要約: 単一言語モデル(LM4MT)は,強力なエンコーダデコーダNMTモデルと同等の性能が得られることを示す。 ピボットベースおよびゼロショット変換タスクの実験により、LM4MTはエンコーダ・デコーダのNMTモデルよりも大きなマージンで優れていることが示された。
• 参考スコア（独自算出の注目度）: 63.528370845657896
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent years have witnessed the rapid advance in neural machine translation (NMT), the core of which lies in the encoder-decoder architecture. Inspired by the recent progress of large-scale pre-trained language models on machine translation in a limited scenario, we firstly demonstrate that a single language model (LM4MT) can achieve comparable performance with strong encoder-decoder NMT models on standard machine translation benchmarks, using the same training data and similar amount of model parameters. LM4MT can also easily utilize source-side texts as additional supervision. Though modeling the source- and target-language texts with the same mechanism, LM4MT can provide unified representations for both source and target sentences, which can better transfer knowledge across languages. Extensive experiments on pivot-based and zero-shot translation tasks show that LM4MT can outperform the encoder-decoder NMT model by a large margin.
• Abstract（参考訳）: 近年、エンコーダ-デコーダアーキテクチャの中核であるニューラルネットワーク翻訳(NMT)が急速に進歩しているのを目撃している。 機械翻訳における大規模事前学習言語モデルの限られたシナリオにおける最近の進歩に触発されて、我々はまず、単一の言語モデル(LM4MT)が標準機械翻訳ベンチマークにおける強力なエンコーダ・デコーダNMTモデルと同等の性能を達成できることを実証した。 LM4MTはソースサイドのテキストを簡単に追加の監視として利用することができる。 同じメカニズムでソースとターゲットのテキストをモデリングするが、LM4MTはソースとターゲットの文の両方に統一表現を提供し、言語間で知識を伝達する。 ピボットベースおよびゼロショット変換タスクの広範囲な実験により、LM4MTはエンコーダ・デコーダNMTモデルよりも大きなマージンで優れていることが示された。

関連論文リスト

• TransLLaMa: LLM-based Simultaneous Translation System [18.27477980076409]
  Decoderのみの大規模言語モデル(LLM)は,特別な"待機"トークンを生成することで,入力セグメンテーションを直接制御できることを示す。 これにより、別個の政策の必要性が排除され、LLMは英語とドイツ語と英語とロシア語のSiMTタスクを実行できるようになる。 また, GPT-4 などのクローズドソースモデルの評価を行い, 事前訓練をせずに SiMT タスクの実行を奨励する結果を示した。
  論文  参考訳（メタデータ） (2024-02-07T07:39:27Z)
• Unified Model Learning for Various Neural Machine Translation [63.320005222549646]
  既存の機械翻訳(NMT)研究は主にデータセット固有のモデルの開発に焦点を当てている。 我々は,NMT(UMLNMT)のための統一モデル学習モデル(Unified Model Learning for NMT)を提案する。 OurNMTは、データセット固有のモデルよりも大幅に改善され、モデルデプロイメントコストが大幅に削減される。
  論文  参考訳（メタデータ） (2023-05-04T12:21:52Z)
• Towards Making the Most of Multilingual Pretraining for Zero-Shot Neural Machine Translation [74.158365847236]
  SixT++は、100のソース言語をサポートする強力な多言語NMTモデルであるが、たった6つのソース言語からの並列データセットで一度トレーニングされている。 CRISSとm2m-100は、それぞれ7.2と5.0BLEUの2つの強い多言語NMTシステムより大幅に優れていた。
  論文  参考訳（メタデータ） (2021-10-16T10:59:39Z)
• Exploring Unsupervised Pretraining Objectives for Machine Translation [99.5441395624651]
  教師なし言語間事前訓練は、ニューラルマシン翻訳(NMT)の強力な結果を得た ほとんどのアプローチは、入力の一部をマスキングしてデコーダで再構成することで、シーケンス・ツー・シーケンスアーキテクチャにマスク付き言語モデリング(MLM)を適用する。 マスキングと、実際の(完全な)文に似た入力を生成する代替目的を、文脈に基づいて単語を並べ替えて置き換えることにより比較する。
  論文  参考訳（メタデータ） (2021-06-10T10:18:23Z)
• Zero-shot Cross-lingual Transfer of Neural Machine Translation with Multilingual Pretrained Encoders [74.89326277221072]
  多言語プリトレーニング済みエンコーダによるNMTモデルのクロスリンガル転送を改善する方法は、未検討です。 このタスクのシンプルで効果的なモデルであるSixTを提案します。 私達のモデルはCRISSおよびm2m-100より多くの英語テストセットでよりよい性能を達成します。
  論文  参考訳（メタデータ） (2021-04-18T07:42:45Z)
• Improving Zero-shot Neural Machine Translation on Language-specific Encoders-Decoders [19.44855809470709]
  近年,共有エンコーダデコーダを用いたユニバーサルニューラルネットワーク翻訳(NMT)は,ゼロショット翻訳において良好な性能を示した。 ユニバーサルNMTとは異なり、共同で訓練された言語固有のエンコーダ・デコーダは、非共有モジュール間で普遍的な表現を目指す。 言語固有エンコーダ・デコーダを用いたゼロショット翻訳について検討する。
  論文  参考訳（メタデータ） (2021-02-12T15:36:33Z)
• Pre-training Multilingual Neural Machine Translation by Leveraging Alignment Information [72.2412707779571]
  mRASPは、汎用多言語ニューラルマシン翻訳モデルを事前訓練するためのアプローチである。 我々は,低,中,豊かな資源を含む多種多様な環境における42の翻訳方向の実験を行い,エキゾチックな言語対への変換を行った。
  論文  参考訳（メタデータ） (2020-10-07T03:57:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。