論文の概要: Low-Resource Dialogue Summarization with Domain-Agnostic Multi-Source Pretraining

• arxiv url: http://arxiv.org/abs/2109.04080v2
• Date: Sat, 11 Sep 2021 09:44:37 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-14 16:17:43.706179
• Title: Low-Resource Dialogue Summarization with Domain-Agnostic Multi-Source Pretraining
• Title（参考訳）: ドメインに依存しないマルチソースプリトレーニングによる低リソース対話要約
• Authors: Yicheng Zou, Bolin Zhu, Xingwu Hu, Tao Gui, Qi Zhang
• Abstract要約: 注釈付き要約を伴う対話データの不十分さのため、大規模な要約モデルの訓練は一般的に不可能である。 本稿では,外部要約データをよりよく活用するためのマルチソース事前学習パラダイムを提案する。 提案手法は競争性能を達成し,異なる対話シナリオでよく一般化する。
• 参考スコア（独自算出の注目度）: 10.750492932503649
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the rapid increase in the volume of dialogue data from daily life, there is a growing demand for dialogue summarization. Unfortunately, training a large summarization model is generally infeasible due to the inadequacy of dialogue data with annotated summaries. Most existing works for low-resource dialogue summarization directly pretrain models in other domains, e.g., the news domain, but they generally neglect the huge difference between dialogues and conventional articles. To bridge the gap between out-of-domain pretraining and in-domain fine-tuning, in this work, we propose a multi-source pretraining paradigm to better leverage the external summary data. Specifically, we exploit large-scale in-domain non-summary data to separately pretrain the dialogue encoder and the summary decoder. The combined encoder-decoder model is then pretrained on the out-of-domain summary data using adversarial critics, aiming to facilitate domain-agnostic summarization. The experimental results on two public datasets show that with only limited training data, our approach achieves competitive performance and generalizes well in different dialogue scenarios.
• Abstract（参考訳）: 日常生活における対話データの量の増加に伴い,対話要約の需要が高まっている。 残念ながら、注釈付き要約による対話データが不十分であるため、大規模な要約モデルのトレーニングは一般的に不可能である。 既存の作品の多くは、ニュースドメインなど他のドメインのモデルを直接事前学習するが、一般的には対話と従来の記事との大きな違いを無視する。 本研究では,ドメイン外の事前学習とドメイン内微調整のギャップを埋めるために,外部要約データをよりよく活用するためのマルチソース事前学習パラダイムを提案する。 具体的には,対話エンコーダとサマリデコーダを分離してプリトレーニングするために,大規模領域内非サマリーデータを利用する。 組み合わせエンコーダ・デコーダモデルは、ドメインに依存しない要約を促進するために、敵の批評家を用いてドメイン外の要約データに基づいて事前訓練される。 2つの公開データセットによる実験結果から,限られたトレーニングデータのみを用いて,本手法は競争性能を達成し,異なる対話シナリオにおいて良好に一般化することを示す。

関連論文リスト

• Multi-Stage Pre-training Enhanced by ChatGPT for Multi-Scenario Multi-Domain Dialogue Summarization [20.60018442168502]
  マルチシナリオ・マルチドメイン・ダイアログの要約に特化して設計された,事前学習型モデルを提案する。 事前学習目標と微調整目標とのギャップを減らすために、多段階事前学習戦略を採用する。
  論文  参考訳（メタデータ） (2023-10-16T11:16:07Z)
• Pre-training Multi-party Dialogue Models with Latent Discourse Inference [85.9683181507206]
  我々は、多人数対話の会話構造、すなわち、各発話が応答する相手を理解するモデルを事前訓練する。 ラベル付きデータを完全に活用するために,談話構造を潜在変数として扱い,それらを共同で推論し,談話認識モデルを事前学習することを提案する。
  論文  参考訳（メタデータ） (2023-05-24T14:06:27Z)
• DIONYSUS: A Pre-trained Model for Low-Resource Dialogue Summarization [127.714919036388]
  DIONYSUSは、任意の新しいドメインでの対話を要約するための訓練済みエンコーダデコーダモデルである。 実験の結果,DIONYSUSは6つのデータセット上で既存の手法よりも優れていた。
  論文  参考訳（メタデータ） (2022-12-20T06:21:21Z)
• Weakly Supervised Data Augmentation Through Prompting for Dialogue Understanding [103.94325597273316]
  本稿では,弱教師付きフィルタを適用して拡張品質を反復する手法を提案する。 我々は、デイリーダイアログにおける感情と行動の分類タスクと、Facebook Multilingual Task-Oriented Dialogueにおける意図の分類タスクについて評価した。 特にDailyDialogでは、真理データの10%を使用して、100%のデータを使用する現在の最先端モデルよりも優れています。
  論文  参考訳（メタデータ） (2022-10-25T17:01:30Z)
• GODEL: Large-Scale Pre-Training for Goal-Directed Dialog [119.1397031992088]
  ダイアログのための大規模事前学習言語モデルであるGODELを紹介する。 GODELは、数ショットの微調整設定で、最先端の事前訓練ダイアログモデルより優れていることを示す。 評価手法の新たな特徴は,応答の有用性を評価するユーティリティの概念の導入である。
  論文  参考訳（メタデータ） (2022-06-22T18:19:32Z)
• Improving Multi-Party Dialogue Discourse Parsing via Domain Integration [25.805553277418813]
  マルチパーティ会話は、対話的なターン間のセマンティックレベルの相関によって暗黙的に組織される。 対話談話分析は,基本談話単位間の係り受け構造と関係の予測に応用できる。 対話談話アノテーションを持つ既存のコーパスは、限られたサンプルサイズを持つ特定のドメインから収集される。
  論文  参考訳（メタデータ） (2021-10-09T09:36:22Z)
• Data-Efficient Methods for Dialogue Systems [4.061135251278187]
  会話型ユーザインタフェース(CUI)は、SiriやAlexaといったコンシューマにフォーカスした製品において、日常的に広く普及している。 ディープラーニングは、対話システムにおける最近のブレークスルーの根底にあるが、専門家によって注釈付けされることが多い、非常に大量のトレーニングデータを必要とする。 本稿では,最小限のデータから頑健な対話システムを訓練するための一連の手法を紹介する。
  論文  参考訳（メタデータ） (2020-12-05T02:51:09Z)
• Dialogue Distillation: Open-Domain Dialogue Augmentation Using Unpaired Data [61.71319905364992]
  未ペアデータを利用したオープンドメイン対話モデルのトレーニングのための新しいデータ拡張手法を提案する。 データレベルの蒸留プロセスが最初に提案され、未確認データからポストとレスポンスの両方を検索する拡張ダイアログを構築する。 低品質の対話をフィルタリングするためにランキングモジュールが使用される。 モデルレベルの蒸留プロセスを用いて、高品質なペアデータに基づいて訓練された教師モデルを、強化された対話ペアに蒸留する。
  論文  参考訳（メタデータ） (2020-09-20T13:06:38Z)
• Multi-Referenced Training for Dialogue Response Generation [36.24321477524634]
  実世界の確率分布と単一参照データの確率分布とのギャップは,モデルが1対多の関係を効率的に学習することを妨げることを示す。 我々は、実世界の分布をよりよく近似するマルチ参照データを構築するために、強力な事前学習モデルから多様な擬似参照を生成する。
  論文  参考訳（メタデータ） (2020-09-15T14:17:53Z)
• Learning an Unreferenced Metric for Online Dialogue Evaluation [53.38078951628143]
  本稿では,大規模な事前学習言語モデルを用いて発話の潜在表現を抽出する非参照自動評価指標を提案する。 提案手法は,オンライン環境でのアノテーションと高い相関性を実現すると同時に,推論時に比較に真の応答を必要としないことを示す。
  論文  参考訳（メタデータ） (2020-05-01T20:01:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。