論文の概要: A Multi-task Multi-stage Transitional Training Framework for Neural Chat Translation

• arxiv url: http://arxiv.org/abs/2301.11749v1
• Date: Fri, 27 Jan 2023 14:41:16 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-30 15:18:11.962755
• Title: A Multi-task Multi-stage Transitional Training Framework for Neural Chat Translation
• Title（参考訳）: ニューラルネットワーク翻訳のためのマルチタスク多段階遷移学習フレームワーク
• Authors: Chulun Zhou, Yunlong Liang, Fandong Meng, Jie Zhou, Jinan Xu, Hongji Wang, Min Zhang and Jinsong Su
• Abstract要約: ニューラルチャット翻訳(NCT)は、異なる言語の話者間の言語間チャットを翻訳することを目的としている。 既存の文脈対応NMTモデルは、注釈付きバイリンガル対話のリソースが限られているため、満足な性能を達成できない。 NCTモデルをバイリンガルチャット翻訳データセットと追加の単言語対話を用いて訓練するマルチタスク・マルチステージ・トランザクショナル(MMT)トレーニングフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 84.59697583372888
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Neural chat translation (NCT) aims to translate a cross-lingual chat between speakers of different languages. Existing context-aware NMT models cannot achieve satisfactory performances due to the following inherent problems: 1) limited resources of annotated bilingual dialogues; 2) the neglect of modelling conversational properties; 3) training discrepancy between different stages. To address these issues, in this paper, we propose a multi-task multi-stage transitional (MMT) training framework, where an NCT model is trained using the bilingual chat translation dataset and additional monolingual dialogues. We elaborately design two auxiliary tasks, namely utterance discrimination and speaker discrimination, to introduce the modelling of dialogue coherence and speaker characteristic into the NCT model. The training process consists of three stages: 1) sentence-level pre-training on large-scale parallel corpus; 2) intermediate training with auxiliary tasks using additional monolingual dialogues; 3) context-aware fine-tuning with gradual transition. Particularly, the second stage serves as an intermediate phase that alleviates the training discrepancy between the pre-training and fine-tuning stages. Moreover, to make the stage transition smoother, we train the NCT model using a gradual transition strategy, i.e., gradually transiting from using monolingual to bilingual dialogues. Extensive experiments on two language pairs demonstrate the effectiveness and superiority of our proposed training framework.
• Abstract（参考訳）: neural chat translation (nct)は、異なる言語の話者間の言語間チャットを翻訳することを目的としている。 既存の文脈対応NMTモデルは、以下の固有の問題により満足な性能を達成できない。 1) 注釈付きバイリンガル対話の限られた資源 2) 会話特性のモデル化の無視 3) 異なるステージ間のトレーニングの不一致。 本稿では,多言語間チャット翻訳データセットと追加の単言語対話を用いてnctモデルを訓練するマルチタスク多段階トランザクショナル(mmt)トレーニングフレームワークを提案する。 nctモデルに対話コヒーレンスと話者特性のモデル化を導入するため,発話識別と話者識別という2つの補助タスクを精巧に設計した。 訓練は3つの段階からなる。 1) 大規模並列コーパスにおける文レベルの事前訓練 2 追加の単言語対話を用いた補助作業による中間訓練 3) 段階的遷移を伴う文脈対応微調整。 特に第2段階は、事前訓練と微調整の段階間の訓練の相違を軽減する中間段階として機能する。 さらに,段階遷移をよりスムーズにするために,段階遷移戦略,すなわちモノリンガル対話からバイリンガル対話へ徐々に移行する戦略を用いてNCTモデルを訓練する。 2つの言語ペアに関する広範な実験により,提案するトレーニングフレームワークの有効性と優位性が実証された。

関連論文リスト

• VECO 2.0: Cross-lingual Language Model Pre-training with Multi-granularity Contrastive Learning [56.47303426167584]
  複数粒度アライメントを持つコントラスト学習に基づく言語間事前学習モデルVECO2.0を提案する。 具体的には、シーケンス・ツー・シーケンスアライメントが誘導され、並列対の類似性を最大化し、非並列対を最小化する。 トークン・ツー・トークンのアライメントは、シソーラス辞書を介して発掘された同義トークンと、バイリンガルな例の他の未使用トークンとのギャップを埋めるために統合される。
  論文  参考訳（メタデータ） (2023-04-17T12:23:41Z)
• Cross-Align: Modeling Deep Cross-lingual Interactions for Word Alignment [63.0407314271459]
  提案したCross-Alignは、5つの言語ペアのうち4つで最先端(SOTA)のパフォーマンスを達成する。 実験の結果,提案したCross-Alignは5つの言語ペアのうち4つで最先端(SOTA)のパフォーマンスを達成することがわかった。
  論文  参考訳（メタデータ） (2022-10-09T02:24:35Z)
• Scheduled Multi-task Learning for Neural Chat Translation [66.81525961469494]
  ニューラルチャット翻訳(NCT)のためのマルチタスク学習フレームワークを提案する。 具体的には、大規模なドメイン内チャット翻訳データをトレーニングに組み込むための3段階のトレーニングフレームワークを考案する。 提案手法の有効性と優越性を検証するために, 4言語方向の広範囲な実験を行った。
  論文  参考訳（メタデータ） (2022-05-08T02:57:28Z)
• MVP: Multi-Stage Vision-Language Pre-Training via Multi-Level Semantic Alignment [24.720485548282845]
  言語と視覚のための2段階の意味表現を構築するために,両モードの概念を導入する。 我々は、一様学習と多様学習という2つの段階において、相互モダリティモデルを訓練する。 我々のモデルは、いくつかのビジョンと言語タスクに関する最先端の結果を生成する。
  論文  参考訳（メタデータ） (2022-01-29T14:30:59Z)
• Towards Making the Most of Dialogue Characteristics for Neural Chat Translation [39.995680617671184]
  NCTモデルへの対話特性のモデリングによるチャット翻訳の促進を提案する。 これらすべてのタスクのトレーニング目標を通じて,NCTモデルを最適化する。 4つの言語方向に関する総合的な実験により,提案手法の有効性と優位性を検証した。
  論文  参考訳（メタデータ） (2021-09-02T02:04:00Z)
• Cross-lingual Transferring of Pre-trained Contextualized Language Models [73.97131976850424]
  本稿では,PRLMのための新しい言語間モデル転送フレームワークTreLMを提案する。 シンボルの順序と言語間のシーケンス長の差に対処するため,中間的なTRILayer構造を提案する。 提案手法は,スクラッチから学習した言語モデルに対して,性能と効率の両面で,限られたデータで著しく優れることを示す。
  論文  参考訳（メタデータ） (2021-07-27T06:51:13Z)
• Cross-lingual Spoken Language Understanding with Regularized Representation Alignment [71.53159402053392]
  外部リソースを使わずに言語間で単語レベルの表現と文レベルの表現を整列する正規化手法を提案する。 言語間言語理解タスクの実験により、我々のモデルは、数ショットとゼロショットの両方のシナリオにおいて、最先端の手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2020-09-30T08:56:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。