論文の概要: Scheduled Multi-task Learning for Neural Chat Translation

• arxiv url: http://arxiv.org/abs/2205.03766v2
• Date: Tue, 10 May 2022 09:49:54 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-12 18:53:56.944607
• Title: Scheduled Multi-task Learning for Neural Chat Translation
• Title（参考訳）: ニューラルネットワーク翻訳のためのスケジューリングマルチタスク学習
• Authors: Yunlong Liang, Fandong Meng, Jinan Xu, Yufeng Chen and Jie Zhou
• Abstract要約: ニューラルチャット翻訳(NCT)のためのマルチタスク学習フレームワークを提案する。 具体的には、大規模なドメイン内チャット翻訳データをトレーニングに組み込むための3段階のトレーニングフレームワークを考案する。 提案手法の有効性と優越性を検証するために, 4言語方向の広範囲な実験を行った。
• 参考スコア（独自算出の注目度）: 66.81525961469494
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural Chat Translation (NCT) aims to translate conversational text into different languages. Existing methods mainly focus on modeling the bilingual dialogue characteristics (e.g., coherence) to improve chat translation via multi-task learning on small-scale chat translation data. Although the NCT models have achieved impressive success, it is still far from satisfactory due to insufficient chat translation data and simple joint training manners. To address the above issues, we propose a scheduled multi-task learning framework for NCT. Specifically, we devise a three-stage training framework to incorporate the large-scale in-domain chat translation data into training by adding a second pre-training stage between the original pre-training and fine-tuning stages. Further, we investigate where and how to schedule the dialogue-related auxiliary tasks in multiple training stages to effectively enhance the main chat translation task. Extensive experiments in four language directions (English-Chinese and English-German) verify the effectiveness and superiority of the proposed approach. Additionally, we have made the large-scale in-domain paired bilingual dialogue dataset publicly available to the research community.
• Abstract（参考訳）: Neural Chat Translation (NCT)は、会話テキストをさまざまな言語に翻訳することを目的としている。 既存の手法は主に多言語対話の特徴(例えばコヒーレンス)をモデル化し、小規模チャット翻訳データを用いたマルチタスク学習によるチャット翻訳を改善することに焦点を当てている。 NCTモデルは目覚ましい成功を収めているが、チャット翻訳データや単純な共同学習方法が不十分なため、まだ十分ではない。 上記の課題に対処するため,NCTのためのマルチタスク学習フレームワークを提案する。 具体的には,最初の事前学習段階と微調整段階の間に第2の事前学習段階を追加することにより,大規模ドメイン内チャット翻訳データをトレーニングに組み込むための3段階学習フレームワークを考案する。 さらに,複数の訓練段階における対話関連補助タスクのスケジュールについて検討し,主要なチャット翻訳タスクを効果的に強化する。 4つの言語方向(英語と中国語とドイツ語)における広範囲な実験は、提案手法の有効性と優位性を検証する。 また,本研究のコミュニティでは,多言語多言語対話データセットを広く公開している。

関連論文リスト

• Bridging Cross-Lingual Gaps During Leveraging the Multilingual Sequence-to-Sequence Pretraining for Text Generation [80.16548523140025]
  プレトレインとファインチューンの間のギャップを埋めるために、コードスイッチングの復元タスクを追加して、バニラプレトレイン-ファインチューンパイプラインを拡張します。 提案手法は,言語間文表現距離を狭くし,簡単な計算コストで低周波語翻訳を改善する。
  論文  参考訳（メタデータ） (2022-04-16T16:08:38Z)
• Towards Generalized Models for Task-oriented Dialogue Modeling on Spoken Conversations [22.894541507068933]
  本稿では,DSTC-10の音声対話課題における知識ベースタスク指向対話モデリングのための一般化モデルの構築について述べる。 我々は,人工誤り注入やラウンドトリップ音声変換など,手書きデータに対する広範なデータ拡張戦略を採用している。 本手法は, 客観的評価では3位, 最終公式評価では2位である。
  論文  参考訳（メタデータ） (2022-03-08T12:26:57Z)
• Cross-Lingual Dialogue Dataset Creation via Outline-Based Generation [70.81596088969378]
  言語間アウトラインに基づく対話データセット(COD)は、自然言語の理解を可能にする。 CODは、4つの異なる言語で対話状態の追跡とエンドツーエンドの対話モデリングと評価を可能にする。
  論文  参考訳（メタデータ） (2022-01-31T18:11:21Z)
• Linguistic Knowledge in Data Augmentation for Natural Language Processing: An Example on Chinese Question Matching [0.0]
  2つのDAプログラムは5つの簡単なテキスト編集操作によって拡張テキストを生成する。 1つはn-gram言語モデルで拡張され、余分な言語知識と融合する。 強化された訓練セットの両タイプで訓練されたモデルは、関連する未拡張セットで直接訓練されたモデルよりも優れていた。
  論文  参考訳（メタデータ） (2021-11-29T17:07:49Z)
• Cross-lingual Intermediate Fine-tuning improves Dialogue State Tracking [84.50302759362698]
  我々は、事前訓練された多言語モデルの中間微調整により、伝達学習プロセスを強化する。 我々は、パラレルおよび会話型の映画字幕データセットを使用して、言語間中間タスクを設計する。 パラレルなMultiWoZデータセットとMultilingual WoZデータセットの精度を20%向上させる。
  論文  参考訳（メタデータ） (2021-09-28T11:22:38Z)
• Cross-lingual Transferring of Pre-trained Contextualized Language Models [73.97131976850424]
  本稿では,PRLMのための新しい言語間モデル転送フレームワークTreLMを提案する。 シンボルの順序と言語間のシーケンス長の差に対処するため,中間的なTRILayer構造を提案する。 提案手法は,スクラッチから学習した言語モデルに対して,性能と効率の両面で,限られたデータで著しく優れることを示す。
  論文  参考訳（メタデータ） (2021-07-27T06:51:13Z)
• Improving Speech Translation by Understanding and Learning from the Auxiliary Text Translation Task [26.703809355057224]
  我々は,タスクがマルチタスク学習フレームワークにおけるメインタスクに与える影響を理解するために,詳細な分析を行う。 解析により、マルチタスク学習は、異なるモダリティから同様のデコーダ表現を生成する傾向があることを確認した。 これらの知見に触発されて,翻訳品質を向上させる3つの方法を提案する。
  論文  参考訳（メタデータ） (2021-07-12T23:53:40Z)
• UC2: Universal Cross-lingual Cross-modal Vision-and-Language Pre-training [52.852163987208826]
  UC2は、言語間クロスモーダル表現学習のための最初の機械翻訳拡張フレームワークである。 Masked Region-token Modeling (MRTM) と Visual Translation Language Modeling (VTLM) の2つの新しいプリトレーニングタスクを提案する。 提案手法は,英語タスクにおける単言語学習モデルと同等の性能を維持しつつ,多種多様な非英語ベンチマークで新たな最先端を実現する。
  論文  参考訳（メタデータ） (2021-04-01T08:30:53Z)
• An Empirical Study of Cross-Lingual Transferability in Generative Dialogue State Tracker [33.2309643963072]
  多言語事前学習セq2seqモデルを用いた言語間対話状態追跡システムの転送可能性について検討した。 また、我々のアプローチの低言語間移動可能性も調べ、調査と議論を行う。
  論文  参考訳（メタデータ） (2021-01-27T12:45:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。