論文の概要: SPACE-2: Tree-Structured Semi-Supervised Contrastive Pre-training for Task-Oriented Dialog Understanding

• arxiv url: http://arxiv.org/abs/2209.06638v1
• Date: Wed, 14 Sep 2022 13:42:50 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-15 13:13:38.029939
• Title: SPACE-2: Tree-Structured Semi-Supervised Contrastive Pre-training for Task-Oriented Dialog Understanding
• Title（参考訳）: SPACE-2:タスク指向対話理解のための木構造半教師付きコントラスト事前学習
• Authors: Wanwei He, Yinpei Dai, Binyuan Hui, Min Yang, Zheng Cao, Jianbo Dong, Fei Huang, Luo Si, Yongbin Li
• Abstract要約: 本稿では,限定ラベル付きダイアログと大規模未ラベルダイアログコーパスから対話表現を学習する,木構造付き事前学習会話モデルを提案する。 提案手法は,7つのデータセットと4つの一般的な対話理解タスクからなるDialoGLUEベンチマークにおいて,最新の結果が得られる。
• 参考スコア（独自算出の注目度）: 68.94808536012371
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pre-training methods with contrastive learning objectives have shown remarkable success in dialog understanding tasks. However, current contrastive learning solely considers the self-augmented dialog samples as positive samples and treats all other dialog samples as negative ones, which enforces dissimilar representations even for dialogs that are semantically related. In this paper, we propose SPACE-2, a tree-structured pre-trained conversation model, which learns dialog representations from limited labeled dialogs and large-scale unlabeled dialog corpora via semi-supervised contrastive pre-training. Concretely, we first define a general semantic tree structure (STS) to unify the inconsistent annotation schema across different dialog datasets, so that the rich structural information stored in all labeled data can be exploited. Then we propose a novel multi-view score function to increase the relevance of all possible dialogs that share similar STSs and only push away other completely different dialogs during supervised contrastive pre-training. To fully exploit unlabeled dialogs, a basic self-supervised contrastive loss is also added to refine the learned representations. Experiments show that our method can achieve new state-of-the-art results on the DialoGLUE benchmark consisting of seven datasets and four popular dialog understanding tasks. For reproducibility, we release the code and data at https://github.com/AlibabaResearch/DAMO-ConvAI/tree/main/space-2.
• Abstract（参考訳）: 比較学習目的の事前学習手法は,対話理解タスクにおいて顕著な成功を収めている。 しかし、現在のコントラスト学習は、自己提示されたダイアログサンプルを正のサンプルとしてのみ考慮し、他のすべてのダイアログサンプルを負のサンプルとして扱う。 本稿では,限定ラベル付きダイアログと大規模ラベルなしダイアログコーパスから,半教師付きコントラストプレトレーニングを通じてダイアログ表現を学習する,木構造事前学習会話モデルspace-2を提案する。 具体的には、まず一般的な意味木構造(STS)を定義し、異なるダイアログデータセット間で一貫性のないアノテーションスキーマを統合することにより、ラベル付きデータに格納された豊富な構造情報を活用できるようにする。 そこで,同種のSTSを共有するダイアログの関連性を高めるために,教師付きコントラスト事前学習時にのみ,他の全く異なるダイアログをプッシュする新しいマルチビュースコア関数を提案する。 ラベルなしダイアログを完全に活用するために、学習した表現を洗練させるために、基本的な自己教師付きコントラスト損失も追加される。 実験の結果,提案手法は7つのデータセットと4つのダイアログ理解タスクからなるDialoGLUEベンチマークにおいて,最新の結果が得られることがわかった。 再現性のために、コードとデータはhttps://github.com/AlibabaResearch/DAMO-ConvAI/tree/main/space-2でリリースします。

関連論文リスト

• KPT: Keyword-guided Pre-training for Grounded Dialog Generation [82.68787152707455]
  KPT(Guided Pre-Training)は,グラウンドドダイアログ生成のための自己教師付き事前学習手法である。 具体的には、事前訓練された言語モデルを用いて、ダイアログ内の最も不確実なトークンをキーワードとして抽出する。 我々は,対話行為,知識グラフ,ペルソナ記述,ウィキペディアの文節など,数発の知識ベース生成タスクについて広範な実験を行った。
  論文  参考訳（メタデータ） (2022-12-04T04:05:01Z)
• CGoDial: A Large-Scale Benchmark for Chinese Goal-oriented Dialog Evaluation [75.60156479374416]
  CGoDialは、Goal指向のダイアログ評価のための、新しい挑戦的で包括的な中国のベンチマークである。 96,763のダイアログセッションと574,949のダイアログがすべて含まれており、異なる知識ソースを持つ3つのデータセットをカバーする。 学術ベンチマークと音声対話のシナリオのギャップを埋めるために、実際の会話からデータを収集したり、クラウドソーシングを通じて既存のデータセットに音声機能を追加する。
  論文  参考訳（メタデータ） (2022-11-21T16:21:41Z)
• SPACE-3: Unified Dialog Model Pre-training for Task-Oriented Dialog Understanding and Generation [123.37377363355363]
  SPACE-3は、大規模対話コーパスから学習する、新しい半教師付き会話モデルである。 幅広いダウンストリームダイアログタスクを効果的に微調整できる。 その結果、SPACE-3は8つの下流ダイアログベンチマークで最先端のパフォーマンスを達成することがわかった。
  論文  参考訳（メタデータ） (2022-09-14T14:17:57Z)
• OPAL: Ontology-Aware Pretrained Language Model for End-to-End Task-Oriented Dialogue [40.62090743056549]
  本稿では、エンドツーエンドタスク指向対話(TOD)のためのオントロジー対応事前学習言語モデル(OPAL)を提案する。 チャット型対話モデルとは異なり、タスク指向対話モデルは少なくとも2つのタスク固有モジュールを満たす:対話状態トラッカー(DST)と応答生成器(RG)。
  論文  参考訳（メタデータ） (2022-09-10T04:38:27Z)
• Structure Extraction in Task-Oriented Dialogues with Slot Clustering [94.27806592467537]
  タスク指向対話では、対話構造はしばしば対話状態間の遷移グラフと見なされている。 本稿では,タスク指向対話における構造抽出のための簡易かつ効果的な手法を提案する。
  論文  参考訳（メタデータ） (2022-02-28T20:18:12Z)
• GALAXY: A Generative Pre-trained Model for Task-Oriented Dialog with Semi-Supervised Learning and Explicit Policy Injection [36.77204909711832]
  本稿では,限定ラベル付きダイアログと大規模未ラベルダイアログコーパスから,対話ポリシーを明示的に学習する,事前学習型ダイアログモデルを提案する。 具体的には、事前学習中にポリシー最適化のためのダイアログアクト予測タスクを導入し、一貫性の規則化項を用いて、学習した表現を洗練させる。 その結果,GALAXYはタスク指向対話システムの性能を大幅に向上させることがわかった。
  論文  参考訳（メタデータ） (2021-11-29T15:24:36Z)
• Reasoning in Dialog: Improving Response Generation by Context Reading Comprehension [49.92173751203827]
  マルチターンダイアログでは、発話が文の完全な形を取るとは限らない。 読み解きの質問に答えるモデルの能力を検討し、応答生成性能の向上を提案する。
  論文  参考訳（メタデータ） (2020-12-14T10:58:01Z)
• Hierarchical Pre-training for Sequence Labelling in Spoken Dialog [10.216901061363641]
  音声対話に適応した汎用表現を学習するための新しい手法を提案する。 変換器アーキテクチャに基づく階層エンコーダを用いて表現を得る。 プレトレーニングはOpenSubtitles(英語版)で行われ、2.3億ドル以上のトークンを含む対話ダイアログの大規模なコーパスである。
  論文  参考訳（メタデータ） (2020-09-23T13:54:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。