論文の概要: Shared Latent Space by Both Languages in Non-Autoregressive Neural
Machine Translation
- arxiv url: http://arxiv.org/abs/2305.03511v1
- Date: Tue, 2 May 2023 15:33:09 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-14 21:17:38.203782
- Title: Shared Latent Space by Both Languages in Non-Autoregressive Neural
Machine Translation
- Title(参考訳): 非自己回帰型ニューラルマシン翻訳における両言語間の共有潜在空間
- Authors: DongNyeong Heo and Heeyoul Choi
- Abstract要約: 本稿では、二重再構成の視点と高度な階層型潜在モデルに基づく新しい潜在変数モデリングを提案する。
提案手法である em LadderNMT は,両言語にまたがる潜在空間を共有して,上記の欠点を仮説的に緩和あるいは解決する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Latent variable modeling in non-autoregressive neural machine translation
(NAT) is a promising approach to mitigate the multimodality problem. In the
previous works, they added an auxiliary model to estimate the posterior
distribution of the latent variable conditioned on the source and target
sentences. However, it causes several disadvantages, such as redundant
information extraction in the latent variable, increasing parameters, and a
tendency to ignore a part of the information from the inputs. In this paper, we
propose a new latent variable modeling that is based on a dual reconstruction
perspective and an advanced hierarchical latent modeling approach. Our proposed
method, {\em LadderNMT}, shares a latent space across both languages so that it
hypothetically alleviates or solves the above disadvantages. Experimental
results quantitatively and qualitatively demonstrate that our proposed latent
variable modeling learns an advantageous latent space and significantly
improves translation quality in WMT translation tasks.
- Abstract(参考訳): 非自己回帰型ニューラルマシン翻訳(nat)における潜在変数モデリングは、マルチモダリティ問題を緩和するための有望なアプローチである。
先行研究では、原文と対象文に条件づけられた潜在変数の後方分布を推定するための補助モデルを追加した。
しかし、潜在変数における冗長な情報抽出、パラメータの増加、入力からの情報の一部を無視する傾向など、いくつかの欠点が生じる。
本稿では,2つの再構成視点と高度な階層型潜在モデルに基づく新しい潜在変数モデリングを提案する。
提案手法であるLadderNMTは、両方の言語にまたがる潜在空間を共有して、上記の欠点を仮説的に緩和または解決する。
実験により,提案した潜伏変数モデリングが有利な潜伏空間を学習し,WMT翻訳タスクの翻訳品質を著しく向上することを示す。
関連論文リスト
- Mitigating Data Imbalance and Representation Degeneration in
Multilingual Machine Translation [103.90963418039473]
Bi-ACLは、MNMTモデルの性能を向上させるために、ターゲット側モノリンガルデータとバイリンガル辞書のみを使用するフレームワークである。
Bi-ACLは、長い尾の言語でも、高リソースの言語でも、より効果的であることを示す。
論文 参考訳(メタデータ) (2023-05-22T07:31:08Z) - Tailoring Language Generation Models under Total Variation Distance [55.89964205594829]
ニューラルネットワーク生成の標準パラダイムは、最適化方法として最大推定(MLE)を採用する。
言語生成に適用するための実践的境界を開発する。
本稿では,TVD推定のトレードオフのバランスをとるためのTaiLr の目標について紹介する。
論文 参考訳(メタデータ) (2023-02-26T16:32:52Z) - Modelling Latent Translations for Cross-Lingual Transfer [47.61502999819699]
従来のパイプラインの2つのステップ(翻訳と分類)を1つのモデルに統合する新しい手法を提案する。
我々は,多言語NLUタスクにおける新しい潜時翻訳モデルの評価を行った。
ゼロショットと数ショットの学習設定の両方で、平均2.7の精度ポイントのゲインを報告します。
論文 参考訳(メタデータ) (2021-07-23T17:11:27Z) - Discrete Auto-regressive Variational Attention Models for Text Modeling [53.38382932162732]
変分オートエンコーダ(VAE)はテキストモデリングに広く応用されている。
情報不足と後部崩壊という2つの課題に悩まされている。
本稿では,自己回帰変動注意モデル(DAVAM)を提案する。
論文 参考訳(メタデータ) (2021-06-16T06:36:26Z) - Variational Neural Machine Translation with Normalizing Flows [13.537869825364718]
変分ニューラルネットワーク変換(VNMT)は、ターゲット翻訳の生成をモデル化するための魅力的なフレームワークである。
本稿では,VNMTフレームワークを最先端のTransformerに適用し,正規化フローに基づくより柔軟な近似後流を導入することを提案する。
論文 参考訳(メタデータ) (2020-05-28T13:30:53Z) - Improve Variational Autoencoder for Text Generationwith Discrete Latent
Bottleneck [52.08901549360262]
変分オートエンコーダ(VAE)は、エンドツーエンドの表現学習において必須のツールである。
VAEは強い自己回帰デコーダで潜伏変数を無視する傾向がある。
よりコンパクトな潜在空間において暗黙的な潜在特徴マッチングを強制する原理的アプローチを提案する。
論文 参考訳(メタデータ) (2020-04-22T14:41:37Z) - Discrete Variational Attention Models for Language Generation [51.88612022940496]
本稿では,言語における離散性に起因する注意機構のカテゴリー分布を考慮した離散的変動注意モデルを提案する。
離散性の特質により,提案手法の訓練は後部崩壊に支障を来さない。
論文 参考訳(メタデータ) (2020-04-21T05:49:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。