論文の概要: A Unified Data Augmentation Framework for Low-Resource Multi-Domain Dialogue Generation

• arxiv url: http://arxiv.org/abs/2406.09881v2
• Date: Fri, 28 Jun 2024 12:58:11 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-01 19:11:01.335026
• Title: A Unified Data Augmentation Framework for Low-Resource Multi-Domain Dialogue Generation
• Title（参考訳）: 低リソースマルチドメイン対話生成のための統一データ拡張フレームワーク
• Authors: Yongkang Liu, Ercong Nie, Shi Feng, Zheng Hua, Zifeng Ding, Daling Wang, Yifei Zhang, Hinrich Schütze,
• Abstract要約: 現在の最先端の対話システムは、広範なトレーニングデータセットに大きく依存している。 我々はtextbfAMD$2$G と呼ばれる textbfMulti-textbfDomain textbfDialogue textbfGeneration のための新しいデータ textbfAugmentation フレームワークを提案する。 AMD$2$Gフレームワークは、データ拡張プロセスと、ドメインに依存しないトレーニングとドメイン適応トレーニングという2段階のトレーニングアプローチで構成されている。
• 参考スコア（独自算出の注目度）: 52.0964459842176
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Current state-of-the-art dialogue systems heavily rely on extensive training datasets. However, challenges arise in domains where domain-specific training datasets are insufficient or entirely absent. To tackle this challenge, we propose a novel data \textbf{A}ugmentation framework for \textbf{M}ulti-\textbf{D}omain \textbf{D}ialogue \textbf{G}eneration, referred to as \textbf{AMD$^2$G}. The AMD$^2$G framework consists of a data augmentation process and a two-stage training approach: domain-agnostic training and domain adaptation training. We posit that domain corpora are a blend of domain-agnostic and domain-specific features, with certain representation patterns shared among diverse domains. Domain-agnostic training aims to enable models to learn these common expressive patterns. To construct domain-agnostic dialogue corpora, we employ a \textit{\textbf{de-domaining}} data processing technique used to remove domain-specific features. By mitigating the effects of domain-specific features, the model trained on the de-domained corpora can effectively learn common expression patterns in different domains. Subsequently, we adapt the learned domain-agnostic features to the target domain through domain adaptation training. We conduct experiments on Chinese dialogue datasets from five different domains and show that AMD$^2$G achieves superior performance compared to both direct training on the target domain corpus and collective training on all five domain corpora. Our work underscores AMD$^2$G as a viable alternative solution for low-resource multi-domain dialogue generation. Code and data associated with our work are available on GitHub repository$^{\text 1}$.
• Abstract（参考訳）: 現在の最先端の対話システムは、広範なトレーニングデータセットに大きく依存している。 しかし、ドメイン固有のトレーニングデータセットが不十分であるか、完全に欠落しているドメインで課題が発生する。 この課題に対処するために,新しいデータ拡張フレームワークを提案する。これは \textbf{M}ulti-\textbf{D}omain \textbf{D}ialogue \textbf{G}enerationであり,これを \textbf{AMD$^2$G} と呼ぶ。 AMD$2$Gフレームワークは、データ拡張プロセスと、ドメインに依存しないトレーニングとドメイン適応トレーニングという2段階のトレーニングアプローチで構成されている。 ドメインコーパスはドメインに依存しない特徴とドメイン固有の特徴の混合であり、特定の表現パターンはさまざまなドメイン間で共有されていると仮定する。 ドメインに依存しないトレーニングは、モデルがこれらの共通表現パターンを学習できるようにすることを目的としている。 ドメインに依存しない対話コーパスを構築するために,ドメイン固有の特徴を除去するために使用されるデータ処理技術として,textit{\textbf{de- domaining}} を用いる。 ドメイン固有の特徴の影響を緩和することにより、非ドメインコーパスでトレーニングされたモデルは、ドメイン間の共通表現パターンを効果的に学習することができる。 その後、学習したドメインに依存しない特徴を対象ドメインに適応させ、ドメイン適応トレーニングを行う。 我々は,5つのドメインの中国語対話データセットを用いて実験を行い,AMD$^2$Gが対象ドメインの直接学習と5つのドメインのコーパスの集合訓練の両方と比較して優れた性能を発揮することを示す。 我々の研究は、AMD$^2$Gを、低リソースマルチドメインダイアログ生成のための実行可能な代替ソリューションとして評価している。 私たちの作業に関連するコードとデータはGitHubリポジトリ$^{\text 1}$で入手可能です。

関連論文リスト

• Text-Free Multi-domain Graph Pre-training: Toward Graph Foundation Models [33.2696184519275]
  テキストフリーなマルチドメイングラフ事前学習・適応フレームワークMDGPTを提案する。 まず、シナジスティックな事前学習のために、ソースドメインにまたがる機能を整列する一連のドメイントークンを提案する。 第2に、統合されたプロンプトと混合プロンプトからなる二重プロンプトを提案し、統合されたマルチドメイン知識でターゲットドメインをさらに適応させる。
  論文  参考訳（メタデータ） (2024-05-22T19:06:39Z)
• Boosting Large Language Models with Continual Learning for Aspect-based Sentiment Analysis [33.86086075084374]
  アスペクトベース感情分析(ABSA)は感情分析の重要なサブタスクである。 ABSAのための大規模言語モデルに基づく連続学習(textttLLM-CL)モデルを提案する。
  論文  参考訳（メタデータ） (2024-05-09T02:00:07Z)
• Improving Domain Generalization with Domain Relations [77.63345406973097]
  本稿では、モデルがトレーニングされたドメインと異なる新しいドメインに適用されたときに発生するドメインシフトに焦点を当てる。 ドメイン固有モデルを学習するためのD$3$Gという新しい手法を提案する。 以上の結果から,D$3$Gは最先端の手法より一貫して優れていた。
  論文  参考訳（メタデータ） (2023-02-06T08:11:16Z)
• Using Language to Extend to Unseen Domains [81.37175826824625]
  ビジョンモデルがデプロイ時に遭遇する可能性のあるすべてのドメインのトレーニングデータを集めることは、費用がかかる。 トレーニングドメインと拡張したいが、堅牢性を改善するためのデータを持っていないドメインを、いかに単純に言葉で表現するかを考えます。 共同画像と言語埋め込み空間を備えたマルチモーダルモデルを用いて、LADSはトレーニング領域から各未確認テスト領域への画像埋め込みの変換を学習する。
  論文  参考訳（メタデータ） (2022-10-18T01:14:02Z)
• DS-TOD: Efficient Domain Specialization for Task Oriented Dialog [12.395323315744625]
  大規模対話データセット上での自己教師型ダイアログ固有の事前学習は、下流タスク指向ダイアログ(TOD)における従来の言語モデリング(LM)よりも大幅に向上する。 タスク指向対話における事前学習言語モデル(PLM)のドメイン特殊化の効果について検討する。 本稿では,ドメインアダプタを用いた資源効率・モジュール型ドメイン特化手法を提案する。
  論文  参考訳（メタデータ） (2021-10-15T22:25:51Z)
• Structured Latent Embeddings for Recognizing Unseen Classes in Unseen Domains [108.11746235308046]
  本稿では,異なる領域からの画像を投影することで,ドメインに依存しない遅延埋め込みを学習する手法を提案する。 挑戦的なDomainNetとDomainNet-LSベンチマークの実験は、既存のメソッドよりもアプローチの方が優れていることを示している。
  論文  参考訳（メタデータ） (2021-07-12T17:57:46Z)
• Curriculum CycleGAN for Textual Sentiment Domain Adaptation with Multiple Sources [68.31273535702256]
  我々は,C-CycleGAN(C-CycleGAN)という,新しいインスタンスレベルのMDAフレームワークを提案する。 C-CycleGANは、(1)異なるドメインからのテキスト入力を連続的な表現空間にエンコードする事前訓練されたテキストエンコーダ、(2)ソースとターゲットドメイン間のギャップを埋めるカリキュラムインスタンスレベルの適応を伴う中間ドメインジェネレータ、(3)中間ドメインで最終感情分類のために訓練されたタスク分類器の3つのコンポーネントから構成される。 3つのベンチマークデータセットに対して広範な実験を行い、最先端のDAアプローチよりも大幅に向上した。
  論文  参考訳（メタデータ） (2020-11-17T14:50:55Z)
• Dynamic Fusion Network for Multi-Domain End-to-end Task-Oriented Dialog [70.79442700890843]
  本稿では,対象ドメインと各ドメインの関連性を自動的に活用する新しい動的核融合ネットワーク(DF-Net)を提案する。 トレーニングデータが少ないと、平均13.9%の事前最良モデルを上回り、転送可能性を示す。
  論文  参考訳（メタデータ） (2020-04-23T08:17:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。