論文の概要: Flow-Adapter Architecture for Unsupervised Machine Translation
- arxiv url: http://arxiv.org/abs/2204.12225v1
- Date: Tue, 26 Apr 2022 11:00:32 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-27 13:36:25.185021
- Title: Flow-Adapter Architecture for Unsupervised Machine Translation
- Title（参考訳）: 教師なし機械翻訳のためのフロー適応アーキテクチャ
- Authors: Yihong Liu, Haris Jabbar, Hinrich Sch\"utze
- Abstract要約: 教師なしNMTのためのフローアダプタアーキテクチャを提案する。
我々は正規化フローを利用して文レベルの潜在表現の分布を明示的にモデル化する。
このアーキテクチャでは、各言語の教師なしのトレーニングを独立して行うことができる。
- 参考スコア（独自算出の注目度）: 0.3093890460224435
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: In this work, we propose a flow-adapter architecture for unsupervised NMT. It
leverages normalizing flows to explicitly model the distributions of
sentence-level latent representations, which are subsequently used in
conjunction with the attention mechanism for the translation task. The primary
novelties of our model are: (a) capturing language-specific sentence
representations separately for each language using normalizing flows and (b)
using a simple transformation of these latent representations for translating
from one language to another. This architecture allows for unsupervised
training of each language independently. While there is prior work on latent
variables for supervised MT, to the best of our knowledge, this is the first
work that uses latent variables and normalizing flows for unsupervised MT. We
obtain competitive results on several unsupervised MT benchmarks.
- Abstract（参考訳）: 本研究では,教師なしNMTのためのフローアダプタアーキテクチャを提案する。
正規化フローを利用して文レベルの潜在表現の分布を明示的にモデル化し、その後、翻訳タスクの注意機構と共に使用される。
私たちのモデルの主な特徴は
(a)正規化フローを用いて各言語毎に言語固有の文表現を別々に捉えること。
(b)ある言語から別の言語への翻訳にこれらの潜在表現の単純な変換を用いる。
このアーキテクチャにより、各言語の教師なしのトレーニングが独立に可能になる。
教師付きmtの潜在変数に関する先行研究は,我々の知る限りでは最善だが,教師なしmtの潜在変数と正規化フローを用いた最初の作業である。
関連論文リスト
- Towards Zero-Shot Multimodal Machine Translation [64.9141931372384]
本稿では,マルチモーダル機械翻訳システムの学習において,完全教師付きデータの必要性を回避する手法を提案する。
我々の手法はZeroMMTと呼ばれ、2つの目的の混合で学習することで、強いテキストのみの機械翻訳(MT)モデルを適応させることである。
本手法が完全に教師付きトレーニングデータを持たない言語に一般化されることを証明するため,CoMMuTE評価データセットをアラビア語,ロシア語,中国語の3言語に拡張した。
論文 参考訳（メタデータ） (2024-07-18T15:20:31Z) - CLIPTrans: Transferring Visual Knowledge with Pre-trained Models for
Multimodal Machine Translation [31.911593690549633]
マルチモーダル機械翻訳(MMT)システムは、視覚的知識でニューラルネットワーク翻訳(NMT)を強化する。
注釈付き多言語視覚言語データが不足しているため、従来の作業は、強力なMTTモデルをゼロからトレーニングする際の課題に直面していた。
独立に訓練されたマルチモーダルM-CLIPと多言語mBARTを適応させるCLIPTransを提案する。
論文 参考訳（メタデータ） (2023-08-29T11:29:43Z) - Bilingual Synchronization: Restoring Translational Relationships with
Editing Operations [2.0411082897313984]
我々は、最初のターゲットシーケンスを仮定するより一般的な設定を考え、ソースの有効な翻訳に変換する必要がある。
この結果から、一度微調整された1つの汎用的な編集ベースシステムは、これらのタスクに特化して訓練された専用システムと比較、あるいは性能に優れる可能性が示唆された。
論文 参考訳（メタデータ） (2022-10-24T12:25:44Z) - Learning to Generalize to More: Continuous Semantic Augmentation for
Neural Machine Translation [50.54059385277964]
CsaNMT(Continuous Semantic Augmentation)と呼ばれる新しいデータ拡張パラダイムを提案する。
CsaNMTは各トレーニングインスタンスを、同じ意味の下で適切なリテラル式をカバーできる隣接領域で拡張する。
論文 参考訳（メタデータ） (2022-04-14T08:16:28Z) - Improving Multilingual Translation by Representation and Gradient
Regularization [82.42760103045083]
表現レベルと勾配レベルの両方でNMTモデルを正規化するための共同手法を提案する。
提案手法は,オフターゲット翻訳の発生率の低減とゼロショット翻訳性能の向上に有効であることを示す。
論文 参考訳（メタデータ） (2021-09-10T10:52:21Z) - Language Modeling, Lexical Translation, Reordering: The Training Process
of NMT through the Lens of Classical SMT [64.1841519527504]
ニューラルマシン翻訳は、翻訳プロセス全体をモデル化するために、単一のニューラルネットワークを使用する。
ニューラルネットワーク翻訳はデファクトスタンダードであるにもかかわらず、NMTモデルがトレーニングの過程でどのように異なる能力を獲得するのかは、まだ明らかになっていない。
論文 参考訳（メタデータ） (2021-09-03T09:38:50Z) - Exploring Unsupervised Pretraining Objectives for Machine Translation [99.5441395624651]
教師なし言語間事前訓練は、ニューラルマシン翻訳(NMT)の強力な結果を得た
ほとんどのアプローチは、入力の一部をマスキングしてデコーダで再構成することで、シーケンス・ツー・シーケンスアーキテクチャにマスク付き言語モデリング(MLM)を適用する。
マスキングと、実際の(完全な)文に似た入力を生成する代替目的を、文脈に基づいて単語を並べ替えて置き換えることにより比較する。
論文 参考訳（メタデータ） (2021-06-10T10:18:23Z) - Variational Neural Machine Translation with Normalizing Flows [13.537869825364718]
変分ニューラルネットワーク変換(VNMT)は、ターゲット翻訳の生成をモデル化するための魅力的なフレームワークである。
本稿では,VNMTフレームワークを最先端のTransformerに適用し,正規化フローに基づくより柔軟な近似後流を導入することを提案する。
論文 参考訳（メタデータ） (2020-05-28T13:30:53Z) - Cross-lingual Supervision Improves Unsupervised Neural Machine
Translation [97.84871088440102]
我々は,高リソース言語対からゼロリソース翻訳方向への弱教師付き信号を活用するために,多言語非教師付きNMTフレームワークを導入する。
6つのベンチマークの教師なし翻訳方向において,BLEUスコアが3以上あることにより,翻訳品質が大幅に向上する。
論文 参考訳（メタデータ） (2020-04-07T05:46:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。