論文の概要: Multi-Stage Pre-training Enhanced by ChatGPT for Multi-Scenario Multi-Domain Dialogue Summarization

• arxiv url: http://arxiv.org/abs/2310.10285v1
• Date: Mon, 16 Oct 2023 11:16:07 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-17 14:57:27.149947
• Title: Multi-Stage Pre-training Enhanced by ChatGPT for Multi-Scenario Multi-Domain Dialogue Summarization
• Title（参考訳）: マルチシナリオマルチドメイン対話要約のためのChatGPTによるマルチステージ事前学習
• Authors: Weixiao Zhou, Gengyao Li, Xianfu Cheng, Xinnian Liang, Junnan Zhu, Feifei Zhai and Zhoujun Li
• Abstract要約: マルチシナリオ・マルチドメイン・ダイアログの要約に特化して設計された,事前学習型モデルを提案する。 事前学習目標と微調整目標とのギャップを減らすために、多段階事前学習戦略を採用する。
• 参考スコア（独自算出の注目度）: 20.60018442168502
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Dialogue summarization involves a wide range of scenarios and domains. However, existing methods generally only apply to specific scenarios or domains. In this study, we propose a new pre-trained model specifically designed for multi-scenario multi-domain dialogue summarization. It adopts a multi-stage pre-training strategy to reduce the gap between the pre-training objective and fine-tuning objective. Specifically, we first conduct domain-aware pre-training using large-scale multi-scenario multi-domain dialogue data to enhance the adaptability of our pre-trained model. Then, we conduct task-oriented pre-training using large-scale multi-scenario multi-domain "dialogue-summary" parallel data annotated by ChatGPT to enhance the dialogue summarization ability of our pre-trained model. Experimental results on three dialogue summarization datasets from different scenarios and domains indicate that our pre-trained model significantly outperforms previous state-of-the-art models in full fine-tuning, zero-shot, and few-shot settings.
• Abstract（参考訳）: 対話の要約には、幅広いシナリオとドメインが含まれる。 しかし、既存の手法は一般に特定のシナリオやドメインにのみ適用される。 本研究では,マルチシナリオ多ドメイン対話要約のための事前学習モデルを提案する。 事前学習目標と微調整目標とのギャップを減らすために、多段階事前学習戦略を採用する。 具体的には,まず,大規模マルチシナリオ・マルチドメイン対話データを用いて事前学習を行い,事前学習モデルの適応性を高める。 次に,ChatGPT が付加した大規模マルチシナリオマルチドメイン "対話サマリ" 並列データを用いてタスク指向の事前学習を行い,事前学習モデルの対話要約能力を向上する。 異なるシナリオとドメインの3つの対話要約データセットの実験結果は、事前訓練されたモデルは、完全な微調整、ゼロショット、少数ショット設定で以前の最先端モデルを大きく上回っていることを示している。

関連論文リスト

• Multi-Stage Multi-Modal Pre-Training for Automatic Speech Recognition [10.36399200974439]
  本稿では,マルチモーダルとマルチタスクによる教師なし事前学習と,翻訳に基づく教師付き中間学習を併用した新しい手法を提案する。 このような多段階的なアプローチが,Librispeech と SUPERB のベースラインを最大38.45%上回る相対単語誤り率 (WER) の向上につながることを実証的に実証した。
  論文  参考訳（メタデータ） (2024-03-28T20:23:39Z)
• Pre-training Multi-party Dialogue Models with Latent Discourse Inference [85.9683181507206]
  我々は、多人数対話の会話構造、すなわち、各発話が応答する相手を理解するモデルを事前訓練する。 ラベル付きデータを完全に活用するために,談話構造を潜在変数として扱い,それらを共同で推論し,談話認識モデルを事前学習することを提案する。
  論文  参考訳（メタデータ） (2023-05-24T14:06:27Z)
• Stabilized In-Context Learning with Pre-trained Language Models for Few Shot Dialogue State Tracking [57.92608483099916]
  大規模事前学習言語モデル(PLM)は、多くのNLPタスクにまたがる優れた性能を示している。 対話状態追跡(DST)のようなより複雑なタスクでは、望ましい意図を確実に伝達するプロンプトを設計するのは簡単ではない。 対話文の長さを制限するためのサリエンシモデルを導入し、クエリ毎に多くの例を含めることができます。
  論文  参考訳（メタデータ） (2023-02-12T15:05:10Z)
• DIONYSUS: A Pre-trained Model for Low-Resource Dialogue Summarization [127.714919036388]
  DIONYSUSは、任意の新しいドメインでの対話を要約するための訓練済みエンコーダデコーダモデルである。 実験の結果,DIONYSUSは6つのデータセット上で既存の手法よりも優れていた。
  論文  参考訳（メタデータ） (2022-12-20T06:21:21Z)
• Towards All-in-one Pre-training via Maximizing Multi-modal Mutual Information [77.80071279597665]
  マルチモーダル相互情報事前学習(M3I事前学習)を最大化するオールインワン単段階事前学習手法を提案する。 提案手法は,ImageNet分類,オブジェクト検出,LVIS長鎖オブジェクト検出,ADE20kセマンティックセマンティックセマンティックセマンティクスなど,様々なビジョンベンチマークにおける事前学習手法よりも優れた性能を実現する。
  論文  参考訳（メタデータ） (2022-11-17T18:59:49Z)
• Multi-Task Learning for Situated Multi-Domain End-to-End Dialogue Systems [21.55075825370981]
  我々はマルチタスク学習技術を利用して、より困難なデータセットに基づいてGPT-2ベースのモデルをトレーニングする。 本手法は,タスクやドメイン固有のモデルと比較して,すべてのサブタスクにおいて,ドメイン間のパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2021-10-11T12:36:30Z)
• Low-Resource Dialogue Summarization with Domain-Agnostic Multi-Source Pretraining [10.750492932503649]
  注釈付き要約を伴う対話データの不十分さのため、大規模な要約モデルの訓練は一般的に不可能である。 本稿では,外部要約データをよりよく活用するためのマルチソース事前学習パラダイムを提案する。 提案手法は競争性能を達成し,異なる対話シナリオでよく一般化する。
  論文  参考訳（メタデータ） (2021-09-09T07:47:16Z)
• RADDLE: An Evaluation Benchmark and Analysis Platform for Robust Task-oriented Dialog Systems [75.87418236410296]
  我々はraddleベンチマーク、コーパスのコレクション、および様々なドメインのモデルのパフォーマンスを評価するためのツールを紹介します。 RADDLEは強力な一般化能力を持つモデルを好んで奨励するように設計されている。 先行学習と微調整に基づく最近の最先端システムの評価を行い,異種ダイアログコーパスに基づく基礎的な事前学習が,ドメインごとの個別モデルをトレーニングするよりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-12-29T08:58:49Z)
• A Tailored Pre-Training Model for Task-Oriented Dialog Generation [60.05269529832447]
  タスク指向対話システムのための事前訓練された役割交替言語モデル(PRAL)を提案する。 13個の既存のデータセットをクリーニングすることでタスク指向の対話事前学習データセットを導入する。 その結果,PRALは最先端の手法と同等以上の性能を示した。
  論文  参考訳（メタデータ） (2020-04-24T09:25:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。