論文の概要: Improvement in Machine Translation with Generative Adversarial Networks
- arxiv url: http://arxiv.org/abs/2111.15166v1
- Date: Tue, 30 Nov 2021 06:51:13 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-02 02:33:43.229238
- Title: Improvement in Machine Translation with Generative Adversarial Networks
- Title(参考訳): 生成型adversarial networkによる機械翻訳の改善
- Authors: Jay Ahn, Hari Madhu, Viet Nguyen
- Abstract要約: 我々は、テキスト生成のモデルであるRelGANと、逆機械翻訳モデルであるNMT-GANからインスピレーションを得て、不器用な非流用な英語文から流用なものへの変換を学ぶモデルを実装した。
パラメータ $lambda$ を使って入力文からの逸脱量を制御します。
- 参考スコア(独自算出の注目度): 0.9612136532344103
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper, we explore machine translation improvement via Generative
Adversarial Network (GAN) architecture. We take inspiration from RelGAN, a
model for text generation, and NMT-GAN, an adversarial machine translation
model, to implement a model that learns to transform awkward, non-fluent
English sentences to fluent ones, while only being trained on monolingual
corpora. We utilize a parameter $\lambda$ to control the amount of deviation
from the input sentence, i.e. a trade-off between keeping the original tokens
and modifying it to be more fluent. Our results improved upon phrase-based
machine translation in some cases. Especially, GAN with a transformer generator
shows some promising results. We suggests some directions for future works to
build upon this proof-of-concept.
- Abstract(参考訳): 本稿では,gan(generative adversarial network)アーキテクチャによる機械翻訳の改善について検討する。
我々は、テキスト生成のモデルであるRelGANと、逆機械翻訳モデルであるNMT-GANからインスピレーションを得て、モノリンガルコーパスでのみ訓練されながら、ぎこちなく非流用な英語文を流用するモデルを実装する。
パラメータ$\lambda$を使用して、入力文からの逸脱量、すなわち、元のトークンを保持し、それをより流動的に修正するトレードオフを制御する。
語句に基づく機械翻訳では,いくつかのケースで改善が見られた。
特に、変圧器付きganは有望な結果を示す。
我々は、この概念実証に基づく今後の研究の方向性を提案する。
関連論文リスト
- Decomposed Prompting for Machine Translation Between Related Languages
using Large Language Models [55.35106713257871]
DecoMTは、単語チャンク翻訳のシーケンスに翻訳プロセスを分解する、数発のプロンプトの新しいアプローチである。
DecoMTはBLOOMモデルよりも優れていることを示す。
論文 参考訳(メタデータ) (2023-05-22T14:52:47Z) - Summarize and Generate to Back-translate: Unsupervised Translation of
Programming Languages [86.08359401867577]
バックトランスレーションは、並列データがほとんど、あるいは全く利用できない場合のニューラルマシン翻訳の有効性で広く知られている。
コード要約と生成による逆翻訳を提案する。
提案手法は最先端の手法と競合することを示す。
論文 参考訳(メタデータ) (2022-05-23T08:20:41Z) - Unsupervised Neural Machine Translation with Generative Language Models
Only [19.74865387759671]
生成事前学習言語モデルから、最先端の教師なしニューラルネットワーク翻訳システムを導出する方法を示す。
本手法は, 数発増幅, 蒸留, 逆翻訳の3段階からなる。
論文 参考訳(メタデータ) (2021-10-11T17:35:34Z) - ChrEnTranslate: Cherokee-English Machine Translation Demo with Quality
Estimation and Corrective Feedback [70.5469946314539]
ChrEnTranslateは、英語と絶滅危惧言語チェロキーとの翻訳のためのオンライン機械翻訳デモシステムである。
統計モデルとニューラルネットワークモデルの両方をサポートし、信頼性をユーザに通知するための品質評価を提供する。
論文 参考訳(メタデータ) (2021-07-30T17:58:54Z) - Exploring Unsupervised Pretraining Objectives for Machine Translation [99.5441395624651]
教師なし言語間事前訓練は、ニューラルマシン翻訳(NMT)の強力な結果を得た
ほとんどのアプローチは、入力の一部をマスキングしてデコーダで再構成することで、シーケンス・ツー・シーケンスアーキテクチャにマスク付き言語モデリング(MLM)を適用する。
マスキングと、実際の(完全な)文に似た入力を生成する代替目的を、文脈に基づいて単語を並べ替えて置き換えることにより比較する。
論文 参考訳(メタデータ) (2021-06-10T10:18:23Z) - XLM-T: Scaling up Multilingual Machine Translation with Pretrained
Cross-lingual Transformer Encoders [89.0059978016914]
そこで本稿では,既製のクロスリンガルトランスフォーマでモデルを初期化し,多言語並列データで微調整するXLM-Tを提案する。
この単純な方法は,10対のWMTデータセットと94対のOPUS-100コーパスにおいて,大幅な改善を実現する。
論文 参考訳(メタデータ) (2020-12-31T11:16:51Z) - From Unsupervised Machine Translation To Adversarial Text Generation [35.762161773313515]
本稿では、教師なしニューラルネットワーク翻訳システムのエンコーダ表現からテキストを生成することができる自己注意型バイリンガル対向テキスト生成器(B-GAN)を提案する。
B-GANは、注目に基づくデコーダと組み合わせて、流動的な文を生成する分散潜在空間表現を生成することができる。
論文 参考訳(メタデータ) (2020-11-10T23:03:50Z) - Token Drop mechanism for Neural Machine Translation [12.666468105300002]
NMTモデルの一般化とオーバーフィッティングを回避するため,Token Dropを提案する。
単語ドロップアウトと同様に、ドロップトークンを単語に0をセットするのではなく、特別なトークンに置き換える。
論文 参考訳(メタデータ) (2020-10-21T14:02:27Z) - Learning Source Phrase Representations for Neural Machine Translation [65.94387047871648]
本稿では,対応するトークン表現から句表現を生成可能な注意句表現生成機構を提案する。
実験では,強力なトランスフォーマーベースライン上でのWMT 14の英語・ドイツ語・英語・フランス語タスクにおいて,大幅な改善が得られた。
論文 参考訳(メタデータ) (2020-06-25T13:43:11Z) - Universal Vector Neural Machine Translation With Effective Attention [0.0]
本稿では,エンコーダ-デコーダモデルに基づくニューラルネットワーク翻訳の特異モデルを提案する。
我々は、複数の言語を予測できる中立/ユニバーサルモデル表現を導入する。
論文 参考訳(メタデータ) (2020-06-09T01:13:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。