論文の概要: Variational Neural Machine Translation with Normalizing Flows

• arxiv url: http://arxiv.org/abs/2005.13978v1
• Date: Thu, 28 May 2020 13:30:53 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-27 05:10:40.180833
• Title: Variational Neural Machine Translation with Normalizing Flows
• Title（参考訳）: 正規化流を用いた変動型ニューラルマシン翻訳
• Authors: Hendra Setiawan, Matthias Sperber, Udhay Nallasamy, Matthias Paulik
• Abstract要約: 変分ニューラルネットワーク変換(VNMT)は、ターゲット翻訳の生成をモデル化するための魅力的なフレームワークである。 本稿では,VNMTフレームワークを最先端のTransformerに適用し,正規化フローに基づくより柔軟な近似後流を導入することを提案する。
• 参考スコア（独自算出の注目度）: 13.537869825364718
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Variational Neural Machine Translation (VNMT) is an attractive framework for modeling the generation of target translations, conditioned not only on the source sentence but also on some latent random variables. The latent variable modeling may introduce useful statistical dependencies that can improve translation accuracy. Unfortunately, learning informative latent variables is non-trivial, as the latent space can be prohibitively large, and the latent codes are prone to be ignored by many translation models at training time. Previous works impose strong assumptions on the distribution of the latent code and limit the choice of the NMT architecture. In this paper, we propose to apply the VNMT framework to the state-of-the-art Transformer and introduce a more flexible approximate posterior based on normalizing flows. We demonstrate the efficacy of our proposal under both in-domain and out-of-domain conditions, significantly outperforming strong baselines.
• Abstract（参考訳）: 変分ニューラルネットワーク変換(VNMT)は、原文だけでなく、潜在確率変数にも条件付けされたターゲット翻訳の生成をモデル化するための魅力的なフレームワークである。 潜在変数モデリングは、翻訳精度を向上させる有用な統計依存性をもたらすかもしれない。 残念ながら、潜時空間は禁止的に大きくなり、潜時符号は訓練時に多くの翻訳モデルによって無視される傾向があるため、潜時変数の学習は簡単ではない。 以前の作品は潜在コードの分布に強い仮定を課しており、nmtアーキテクチャの選択を制限している。 本稿では,VNMTフレームワークを最先端の変圧器に適用し,正規化フローに基づくより柔軟な近似後流を導入することを提案する。 本提案の有効性をドメイン内およびドメイン外の両方の条件下で示し,強力なベースラインを著しく上回っている。

関連論文リスト

• Shared Latent Space by Both Languages in Non-Autoregressive Neural Machine Translation [0.0]
  非自己回帰型ニューラルマシン翻訳(NAT)は自己回帰型ニューラルマシン翻訳(AT)と比較して翻訳速度が大幅に向上する 潜在変数モデリングは、この品質ギャップを埋めるための有望なアプローチとして現れています。
  論文  参考訳（メタデータ） (2023-05-02T15:33:09Z)
• DaLC: Domain Adaptation Learning Curve Prediction for Neural Machine Translation [10.03007605098947]
  ニューラルネットワーク翻訳(NMT)モデルのドメイン適応(DA)は、しばしば、ドメイン内の並列データのサンプルに基づいて新しいドメインに適応する訓練済みの一般NMTモデルに依存する。 本稿では,ソース言語におけるドメイン内単言語サンプルに基づいて,DAのパフォーマンスを予測可能なドメイン学習曲線予測(DaLC)モデルを提案する。
  論文  参考訳（メタデータ） (2022-04-20T06:57:48Z)
• Learning to Generalize to More: Continuous Semantic Augmentation for Neural Machine Translation [50.54059385277964]
  CsaNMT(Continuous Semantic Augmentation)と呼ばれる新しいデータ拡張パラダイムを提案する。 CsaNMTは各トレーニングインスタンスを、同じ意味の下で適切なリテラル式をカバーできる隣接領域で拡張する。
  論文  参考訳（メタデータ） (2022-04-14T08:16:28Z)
• Non-Parametric Unsupervised Domain Adaptation for Neural Machine Translation [61.27321597981737]
  $k$NN-MTは、トレーニング済みニューラルネットワーク翻訳(NMT)モデルとドメイン固有のトークンレベルである$k$-nearest-neighbor検索を直接組み込むという有望な能力を示している。 対象言語におけるドメイン内単言語文を直接使用して,$k$-nearest-neighbor検索に有効なデータストアを構築する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-14T11:50:01Z)
• Context-Adaptive Document-Level Neural Machine Translation [1.52292571922932]
  モデルが必要かつ有用なコンテキストを適用できるようにするデータ適応メソッドを紹介します。 実験によれば、提案手法は1.99 bleu ポイントのゲインで従来の手法よりも大幅に性能が向上する。
  論文  参考訳（メタデータ） (2021-04-16T17:43:58Z)
• Neural Inverse Text Normalization [11.240669509034298]
  逆テキスト正規化のための効率的かつ堅牢なニューラルソリューションを提案する。 言語の専門家が手作業でカリキュラムを作成する必要なく、他の言語に簡単に拡張できることが示される。 プリトレーニングと融合したトランスベースモデルは、複数のデータセットで一貫して低いwerを達成する。
  論文  参考訳（メタデータ） (2021-02-12T07:53:53Z)
• Learning Source Phrase Representations for Neural Machine Translation [65.94387047871648]
  本稿では,対応するトークン表現から句表現を生成可能な注意句表現生成機構を提案する。 実験では,強力なトランスフォーマーベースライン上でのWMT 14の英語・ドイツ語・英語・フランス語タスクにおいて,大幅な改善が得られた。
  論文  参考訳（メタデータ） (2020-06-25T13:43:11Z)
• Language Model Prior for Low-Resource Neural Machine Translation [85.55729693003829]
  ニューラル翻訳モデル (TM) において, LM を事前に組み込む新しい手法を提案する。 正規化項を追加し、TMの出力分布をLMの下で予測可能とする。 2つの低リソース機械翻訳データセットの結果は、限られたモノリンガルデータであっても明らかな改善を示している。
  論文  参考訳（メタデータ） (2020-04-30T16:29:56Z)
• Improve Variational Autoencoder for Text Generationwith Discrete Latent Bottleneck [52.08901549360262]
  変分オートエンコーダ(VAE)は、エンドツーエンドの表現学習において必須のツールである。 VAEは強い自己回帰デコーダで潜伏変数を無視する傾向がある。 よりコンパクトな潜在空間において暗黙的な潜在特徴マッチングを強制する原理的アプローチを提案する。
  論文  参考訳（メタデータ） (2020-04-22T14:41:37Z)
• Learning Contextualized Sentence Representations for Document-Level Neural Machine Translation [59.191079800436114]
  文書レベルの機械翻訳は、文間の依存関係をソース文の翻訳に組み込む。 本稿では,ニューラルマシン翻訳(NMT)を訓練し,文のターゲット翻訳と周辺文の双方を予測することによって,文間の依存関係をモデル化するフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-03-30T03:38:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。