論文の概要: Does Multi-Encoder Help? A Case Study on Context-Aware Neural Machine Translation

• arxiv url: http://arxiv.org/abs/2005.03393v2
• Date: Sun, 17 May 2020 03:09:33 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-05 23:14:58.387154
• Title: Does Multi-Encoder Help? A Case Study on Context-Aware Neural Machine Translation
• Title（参考訳）: マルチエンコーダは役に立つか? 文脈認識型ニューラルマシン翻訳の事例研究
• Authors: Bei Li, Hui Liu, Ziyang Wang, Yufan Jiang, Tong Xiao, Jingbo Zhu, Tongran Liu, Changliang Li
• Abstract要約: 文脈エンコーダは周囲の文を符号化するだけでなく、ノイズ発生器として振る舞う。 これにより、コンテキスト対応翻訳におけるマルチエンコーダの真のメリットを再考することができる。 IWSLT Fr-Enタスクでは,ノイズ生成とドロップアウト手法を慎重に利用することで,新しい最先端のタスクを構築できる。
• 参考スコア（独自算出の注目度）: 45.28625502349165
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In encoder-decoder neural models, multiple encoders are in general used to represent the contextual information in addition to the individual sentence. In this paper, we investigate multi-encoder approaches in documentlevel neural machine translation (NMT). Surprisingly, we find that the context encoder does not only encode the surrounding sentences but also behaves as a noise generator. This makes us rethink the real benefits of multi-encoder in context-aware translation - some of the improvements come from robust training. We compare several methods that introduce noise and/or well-tuned dropout setup into the training of these encoders. Experimental results show that noisy training plays an important role in multi-encoder-based NMT, especially when the training data is small. Also, we establish a new state-of-the-art on IWSLT Fr-En task by careful use of noise generation and dropout methods.
• Abstract（参考訳）: エンコーダ・デコーダニューラルモデルでは、一般に複数のエンコーダが個々の文に加えて文脈情報を表現するために使用される。 本稿では,文書レベルのニューラルマシン翻訳(NMT)におけるマルチエンコーダアプローチについて検討する。 驚くべきことに、文脈エンコーダは周囲の文を符号化するだけでなく、ノイズ発生器として振る舞う。 これにより、コンテキスト対応翻訳におけるマルチエンコーダの本当のメリットを再考することができます。 これらのエンコーダのトレーニングにノイズおよび/またはよく調整されたドロップアウト設定を導入するいくつかの方法を比較した。 実験の結果,マルチエンコーダベースのnmtでは,特にトレーニングデータが小さい場合には,ノイズトレーニングが重要な役割を担っていることがわかった。 また,ノイズ生成とドロップアウトを慎重に利用することにより,iwslt fr-enタスクに関する最新技術を確立する。

関連論文リスト

• Investigating Pre-trained Audio Encoders in the Low-Resource Condition [66.92823764664206]
  低リソース環境下で3つの最先端エンコーダ(Wav2vec2,WavLM,Whisper)を用いて総合的な実験を行う。 本稿では,タスク性能,収束速度,エンコーダの表現特性に関する定量的,定性的な分析を行った。
  論文  参考訳（メタデータ） (2023-05-28T14:15:19Z)
• Sentence Embedder Guided Utterance Encoder (SEGUE) for Spoken Language Understanding [20.29393658193842]
  我々は,テキスト文埋め込み器からwav2vec 2.0に直接蒸留する簡単な方法を用いて事前学習を行う。 そこで本手法は,微調整条件下でのSLUタスク性能を向上させることができることを確認した。 しかし、このモデルは、アプローチの強みと弱みを強調するタスクにおいて、さらに悪化します。
  論文  参考訳（メタデータ） (2023-05-20T23:55:55Z)
• A Study of Autoregressive Decoders for Multi-Tasking in Computer Vision [93.90545426665999]
  マルチモーダルコンピュータビジョンにおけるマルチタスク学習のための自動回帰デコーダについて詳しく検討する。 鍵となる発見は、凍結した事前訓練されたエンコーダの上で学んだ小さなデコーダが驚くほどうまく機能していることである。 これはデコーダに自然言語で事前訓練された視覚モデルと対話するように教えるものであると見なすことができる。
  論文  参考訳（メタデータ） (2023-03-30T13:42:58Z)
• DeepA: A Deep Neural Analyzer For Speech And Singing Vocoding [71.73405116189531]
  本稿では,従来のボコーダで定義されている音声をエミュレートする入力音声から,F0と音節/音節/音節のエンコーディングを抽出するニューラルボコーダを提案する。 ディープ・ニューラル・アナライザは学習可能であるため、信号の再構成と操作がより正確であり、音声から歌への一般化が期待できる。
  論文  参考訳（メタデータ） (2021-10-13T01:39:57Z)
• A manifold learning perspective on representation learning: Learning decoder and representations without an encoder [0.0]
  オートエンコーダは表現学習で一般的に使用される。 多様体学習にインスパイアされて、トレーニングサンプルの表現を学習することで、デコーダを単独で訓練できることが示される。 デコーダのみを訓練する我々のアプローチは、小さなデータセットでも表現学習を容易にする。
  論文  参考訳（メタデータ） (2021-08-31T15:08:50Z)
• DeltaLM: Encoder-Decoder Pre-training for Language Generation and Translation by Augmenting Pretrained Multilingual Encoders [92.90543340071007]
  本稿では,事前訓練された多言語エンコーダデコーダモデルDeltaLMを紹介する。 具体的には,事前学習した多言語エンコーダをデコーダで拡張し,自己指導型で事前学習する。 実験により、DeltaLMは自然言語生成と翻訳の両方のタスクにおいて、様々な強力なベースラインを上回ります。
  論文  参考訳（メタデータ） (2021-06-25T16:12:10Z)
• Stacked Acoustic-and-Textual Encoding: Integrating the Pre-trained Models into Speech Translation Encoders [30.160261563657947]
  エンドツーエンドの音声翻訳では、事前トレーニングが有望です。 Stackedを提案します。 音声翻訳のための音響・テキスト(SATE)法 エンコーダはアコースティックシーケンスを通常どおりに処理することから始まり、その後はアコースティックシーケンスのように振る舞う。 MTエンコーダは入力シーケンスのグローバル表現である。
  論文  参考訳（メタデータ） (2021-05-12T16:09:53Z)
• Divide and Rule: Training Context-Aware Multi-Encoder Translation Models with Little Resources [20.057692375546356]
  マルチエンコーダモデルは、文書レベルのコンテキスト情報を現在の文と共にエンコードすることで、翻訳品質の向上を目指しています。 これらのパラメータのトレーニングは、コンテキストのトレーニング信号がスパースしているため、大量のデータを必要とする。 本稿では,並列文集合の訓練信号を豊かにするための,分割文対に基づく効率的な代替手法を提案する。
  論文  参考訳（メタデータ） (2021-03-31T15:15:32Z)
• Bi-Decoder Augmented Network for Neural Machine Translation [108.3931242633331]
  本稿では,ニューラルマシン翻訳タスクのためのBi-Decoder Augmented Network (BiDAN)を提案する。 各デコーダは入力されたテキストの表現を対応する言語に変換するため、2つの目的語と共同でトレーニングすることで、共有エンコーダは言語に依存しない意味空間を生成することができる。
  論文  参考訳（メタデータ） (2020-01-14T02:05:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。