論文の概要: MulZDG: Multilingual Code-Switching Framework for Zero-shot Dialogue Generation

• arxiv url: http://arxiv.org/abs/2208.08629v1
• Date: Thu, 18 Aug 2022 04:28:20 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-19 13:28:26.943727
• Title: MulZDG: Multilingual Code-Switching Framework for Zero-shot Dialogue Generation
• Title（参考訳）: MulZDG:ゼロショット対話生成のための多言語コードスイッチングフレームワーク
• Authors: Yongkang Liu, Shi Feng, Daling Wang, Yifei Zhang
• Abstract要約: MulZDGは、大規模なトレーニングサンプルを持つ英語コーパスから、ゼロサンプルを持つ非英語コーパスへ、知識を効果的に転送することができる。 まず、単言語英語データセットからランダムに選択された翻訳発話を用いて、多言語コードスイッチング対話データセットを構築する。 次に、MulZDGを用いて、コードスイッチングデータセットに基づく統合多言語対話モデルを訓練する。
• 参考スコア（独自算出の注目度）: 23.711903266714508
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Building dialogue generation systems in a zero-shot scenario remains a huge challenge, since the typical zero-shot approaches in dialogue generation rely heavily on large-scale pre-trained language generation models such as GPT-3 and T5. The research on zero-shot dialogue generation without cumbersome language models is limited due to lacking corresponding parallel dialogue corpora. In this paper, we propose a simple but effective Multilingual learning framework for Zero-shot Dialogue Generation (dubbed as MulZDG) that can effectively transfer knowledge from an English corpus with large-scale training samples to a non-English corpus with zero samples. Besides, MulZDG can be viewed as a multilingual data augmentation method to improve the performance of the resource-rich language. First, we construct multilingual code-switching dialogue datasets via translation utterances randomly selected from monolingual English datasets. Then we employ MulZDG to train a unified multilingual dialogue model based on the code-switching datasets. The MulZDG can conduct implicit semantic alignment between different languages. Experiments on DailyDialog and DSTC7 datasets demonstrate that MulZDG not only achieve competitive performance under zero-shot case compared to training with sufficient examples but also greatly improve the performance of the source language.
• Abstract（参考訳）: GPT-3やT5のような大規模学習済み言語生成モデルに大きく依存するため、ゼロショットシナリオで対話生成システムを構築することは大きな課題である。 言語モデルを持たないゼロショット対話生成の研究は、対応するパラレル対話コーパスの欠如により制限されている。 本稿では,大規模な学習サンプルを持つ英語コーパスから,ゼロサンプルの非英語コーパスへ知識を効果的に伝達する,ゼロショット対話生成(mulzdg)のための,単純かつ効果的な多言語学習フレームワークを提案する。 さらに、MulZDGはリソース豊富な言語の性能を向上させるための多言語データ拡張手法と見なすことができる。 まず,単言語英語データセットからランダムに選択した翻訳発話を用いて,多言語コード切り換え対話データセットを構築する。 次に、MulZDGを用いて、コードスイッチングデータセットに基づく統合多言語対話モデルを訓練する。 MulZDGは異なる言語間で暗黙的なセマンティックアライメントを行うことができる。 DailyDialog と DSTC7 データセットの実験では、MulZDG がゼロショットケース下での競争性能を達成するだけでなく、十分な例によるトレーニングよりも、ソースコードのパフォーマンスを大幅に向上することを示した。

関連論文リスト

• ChatZero:Zero-shot Cross-Lingual Dialogue Generation via Pseudo-Target Language [53.8622516025736]
  そこで本研究では,言語間符号切替方式に基づく,エンドツーエンドのゼロショット対話生成モデルChatZeroを提案する。 多言語DailyDialogとDSTC7-AVSDデータセットの実験は、ChatZeroが元のパフォーマンスの90%以上を達成することを示した。
  論文  参考訳（メタデータ） (2024-08-16T13:11:53Z)
• Soft Language Clustering for Multilingual Model Pre-training [57.18058739931463]
  本稿では,インスタンスを条件付きで符号化するためのフレキシブルガイダンスとして,コンテキスト的にプロンプトを検索するXLM-Pを提案する。 我々のXLM-Pは、(1)言語間における言語不変および言語固有知識の軽量なモデリングを可能にし、(2)他の多言語事前学習手法との容易な統合を可能にする。
  論文  参考訳（メタデータ） (2023-06-13T08:08:08Z)
• Efficiently Aligned Cross-Lingual Transfer Learning for Conversational Tasks using Prompt-Tuning [98.60739735409243]
  英語のような高リソース言語で訓練された言語モデルの言語間移動は、多くのNLPタスクのために広く研究されている。 並列および大規模多言語会話データセットである言語間アライメント事前学習のためのXSGDを導入する。 協調的な言語間表現を容易にするために,アライメントプロンプトを学習するための効率的なプロンプトチューニング手法を開発した。
  論文  参考訳（メタデータ） (2023-04-03T18:46:01Z)
• Multi2WOZ: A Robust Multilingual Dataset and Conversational Pretraining for Task-Oriented Dialog [67.20796950016735]
  Multi2WOZデータセットは、中国語、ドイツ語、アラビア語、ロシア語の4つの言語にまたがる。 本稿では,任意の下流TODタスクに対する言語間移動を容易にすることを目的とした,事前学習言語モデル(PrLM)の多言語会話特化のための新しいフレームワークを提案する。 実験の結果,目標言語における(I)会話の特殊化と,(II)具体的なTODタスクのための少数ショット転送の組み合わせが,ほとんどの場合,最高の性能を示すことがわかった。
  論文  参考訳（メタデータ） (2022-05-20T18:35:38Z)
• Cross-Lingual Dialogue Dataset Creation via Outline-Based Generation [70.81596088969378]
  言語間アウトラインに基づく対話データセット(COD)は、自然言語の理解を可能にする。 CODは、4つの異なる言語で対話状態の追跡とエンドツーエンドの対話モデリングと評価を可能にする。
  論文  参考訳（メタデータ） (2022-01-31T18:11:21Z)
• Cross-lingual Intermediate Fine-tuning improves Dialogue State Tracking [84.50302759362698]
  我々は、事前訓練された多言語モデルの中間微調整により、伝達学習プロセスを強化する。 我々は、パラレルおよび会話型の映画字幕データセットを使用して、言語間中間タスクを設計する。 パラレルなMultiWoZデータセットとMultilingual WoZデータセットの精度を20%向上させる。
  論文  参考訳（メタデータ） (2021-09-28T11:22:38Z)
• Adapting Monolingual Models: Data can be Scarce when Language Similarity is High [3.249853429482705]
  ゼロショット転送学習の性能を,可能な限り少ないデータで検証する。 我々は、低リソースターゲット言語2種類のデータを用いて、BERTベースの4つのモデルの語彙層を再学習する。 高言語的類似性により、10MBのデータは、実質的なモノリンガル転送性能を達成するのに十分である。
  論文  参考訳（メタデータ） (2021-05-06T17:43:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。