論文の概要: Scheduled Multi-task Learning for Neural Chat Translation

• arxiv url: http://arxiv.org/abs/2205.03766v1
• Date: Sun, 8 May 2022 02:57:28 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-10 15:04:58.889651
• Title: Scheduled Multi-task Learning for Neural Chat Translation
• Title（参考訳）: ニューラルネットワーク翻訳のためのスケジューリングマルチタスク学習
• Authors: Yunlong Liang, Fandong Meng, Jinan Xu, Yufeng Chen and Jie Zhou
• Abstract要約: ニューラルチャット翻訳(NCT)のためのマルチタスク学習フレームワークを提案する。 具体的には、大規模なドメイン内チャット翻訳データをトレーニングに組み込むための3段階のトレーニングフレームワークを考案する。 提案手法の有効性と優越性を検証するために, 4言語方向の広範囲な実験を行った。
• 参考スコア（独自算出の注目度）: 66.81525961469494
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural Chat Translation (NCT) aims to translate conversational text into different languages. Existing methods mainly focus on modeling the bilingual dialogue characteristics (e.g., coherence) to improve chat translation via multi-task learning on small-scale chat translation data. Although the NCT models have achieved impressive success, it is still far from satisfactory due to insufficient chat translation data and simple joint training manners. To address the above issues, we propose a scheduled multi-task learning framework for NCT. Specifically, we devise a three-stage training framework to incorporate the large-scale in-domain chat translation data into training by adding a second pre-training stage between the original pre-training and fine-tuning stages. Further, we investigate where and how to schedule the dialogue-related auxiliary tasks in multiple training stages to effectively enhance the main chat translation task. Extensive experiments in four language directions (English-Chinese and English-German) verify the effectiveness and superiority of the proposed approach. Additionally, we have made the large-scale in-domain paired bilingual dialogue dataset publicly available to the research community.
• Abstract（参考訳）: Neural Chat Translation (NCT)は、会話テキストをさまざまな言語に翻訳することを目的としている。 既存の手法は主に多言語対話の特徴(例えばコヒーレンス)をモデル化し、小規模チャット翻訳データを用いたマルチタスク学習によるチャット翻訳を改善することに焦点を当てている。 NCTモデルは目覚ましい成功を収めているが、チャット翻訳データや単純な共同学習方法が不十分なため、まだ十分ではない。 上記の課題に対処するため,NCTのためのマルチタスク学習フレームワークを提案する。 具体的には,最初の事前学習段階と微調整段階の間に第2の事前学習段階を追加することにより,大規模ドメイン内チャット翻訳データをトレーニングに組み込むための3段階学習フレームワークを考案する。 さらに,複数の訓練段階における対話関連補助タスクのスケジュールについて検討し,主要なチャット翻訳タスクを効果的に強化する。 4つの言語方向(英語と中国語とドイツ語)における広範囲な実験は、提案手法の有効性と優位性を検証する。 また,本研究のコミュニティでは,多言語多言語対話データセットを広く公開している。

関連論文リスト

• ComSL: A Composite Speech-Language Model for End-to-End Speech-to-Text Translation [79.66359274050885]
  公的な事前訓練された音声のみのモデルと言語のみのモデルからなる複合アーキテクチャ上に構築された音声言語モデルであるComSLを提案する。 提案手法は,エンドツーエンドの音声-テキスト翻訳タスクにおいて有効であることを示す。
  論文  参考訳（メタデータ） (2023-05-24T07:42:15Z)
• Efficiently Aligned Cross-Lingual Transfer Learning for Conversational Tasks using Prompt-Tuning [98.60739735409243]
  英語のような高リソース言語で訓練された言語モデルの言語間移動は、多くのNLPタスクのために広く研究されている。 並列および大規模多言語会話データセットである言語間アライメント事前学習のためのXSGDを導入する。 協調的な言語間表現を容易にするために,アライメントプロンプトを学習するための効率的なプロンプトチューニング手法を開発した。
  論文  参考訳（メタデータ） (2023-04-03T18:46:01Z)
• A Multi-task Multi-stage Transitional Training Framework for Neural Chat Translation [84.59697583372888]
  ニューラルチャット翻訳(NCT)は、異なる言語の話者間の言語間チャットを翻訳することを目的としている。 既存の文脈対応NMTモデルは、注釈付きバイリンガル対話のリソースが限られているため、満足な性能を達成できない。 NCTモデルをバイリンガルチャット翻訳データセットと追加の単言語対話を用いて訓練するマルチタスク・マルチステージ・トランザクショナル(MMT)トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-01-27T14:41:16Z)
• Bridging Cross-Lingual Gaps During Leveraging the Multilingual Sequence-to-Sequence Pretraining for Text Generation [80.16548523140025]
  プレトレインとファインチューンの間のギャップを埋めるために、コードスイッチングの復元タスクを追加して、バニラプレトレイン-ファインチューンパイプラインを拡張します。 提案手法は,言語間文表現距離を狭くし,簡単な計算コストで低周波語翻訳を改善する。
  論文  参考訳（メタデータ） (2022-04-16T16:08:38Z)
• Cross-lingual Intermediate Fine-tuning improves Dialogue State Tracking [84.50302759362698]
  我々は、事前訓練された多言語モデルの中間微調整により、伝達学習プロセスを強化する。 我々は、パラレルおよび会話型の映画字幕データセットを使用して、言語間中間タスクを設計する。 パラレルなMultiWoZデータセットとMultilingual WoZデータセットの精度を20%向上させる。
  論文  参考訳（メタデータ） (2021-09-28T11:22:38Z)
• An Empirical Study of Cross-Lingual Transferability in Generative Dialogue State Tracker [33.2309643963072]
  多言語事前学習セq2seqモデルを用いた言語間対話状態追跡システムの転送可能性について検討した。 また、我々のアプローチの低言語間移動可能性も調べ、調査と議論を行う。
  論文  参考訳（メタデータ） (2021-01-27T12:45:55Z)
• Multi-task Learning for Multilingual Neural Machine Translation [32.81785430242313]
  本稿では,bitextデータ上での翻訳タスクと,モノリンガルデータ上での2つの認知タスクを併用してモデルを学習するマルチタスク学習フレームワークを提案する。 提案手法は,高リソース言語と低リソース言語の両方の翻訳品質を効果的に向上できることを示す。
  論文  参考訳（メタデータ） (2020-10-06T06:54:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。