論文の概要: SPACE-3: Unified Dialog Model Pre-training for Task-Oriented Dialog Understanding and Generation

• arxiv url: http://arxiv.org/abs/2209.06664v1
• Date: Wed, 14 Sep 2022 14:17:57 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-15 13:22:30.444657
• Title: SPACE-3: Unified Dialog Model Pre-training for Task-Oriented Dialog Understanding and Generation
• Title（参考訳）: SPACE-3:タスク指向ダイアログ理解と生成のための統一ダイアログモデル事前学習
• Authors: Wanwei He, Yinpei Dai, Min Yang, Jian Sun, Fei Huang, Luo Si, Yongbin Li
• Abstract要約: SPACE-3は、大規模対話コーパスから学習する、新しい半教師付き会話モデルである。 幅広いダウンストリームダイアログタスクを効果的に微調整できる。 その結果、SPACE-3は8つの下流ダイアログベンチマークで最先端のパフォーマンスを達成することがわかった。
• 参考スコア（独自算出の注目度）: 123.37377363355363
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recently, pre-training methods have shown remarkable success in task-oriented dialog (TOD) systems. However, most existing pre-trained models for TOD focus on either dialog understanding or dialog generation, but not both. In this paper, we propose SPACE-3, a novel unified semi-supervised pre-trained conversation model learning from large-scale dialog corpora with limited annotations, which can be effectively fine-tuned on a wide range of downstream dialog tasks. Specifically, SPACE-3 consists of four successive components in a single transformer to maintain a task-flow in TOD systems: (i) a dialog encoding module to encode dialog history, (ii) a dialog understanding module to extract semantic vectors from either user queries or system responses, (iii) a dialog policy module to generate a policy vector that contains high-level semantics of the response, and (iv) a dialog generation module to produce appropriate responses. We design a dedicated pre-training objective for each component. Concretely, we pre-train the dialog encoding module with span mask language modeling to learn contextualized dialog information. To capture the structured dialog semantics, we pre-train the dialog understanding module via a novel tree-induced semi-supervised contrastive learning objective with the help of extra dialog annotations. In addition, we pre-train the dialog policy module by minimizing the L2 distance between its output policy vector and the semantic vector of the response for policy optimization. Finally, the dialog generation model is pre-trained by language modeling. Results show that SPACE-3 achieves state-of-the-art performance on eight downstream dialog benchmarks, including intent prediction, dialog state tracking, and end-to-end dialog modeling. We also show that SPACE-3 has a stronger few-shot ability than existing models under the low-resource setting.
• Abstract（参考訳）: 近年,タスク指向ダイアログ(tod)システムにおいて,事前学習手法が顕著に成功している。 しかし、既存のTODのトレーニング済みモデルのほとんどは、ダイアログの理解やダイアログ生成に重点を置いている。 本稿では,アノテーションを限定した大規模対話コーパスから,新たな半教師付き事前学習型会話モデルであるSPACE-3を提案する。 具体的には、space-3は1つのトランスフォーマーの4つの連続したコンポーネントで構成され、todシステムでタスクフローを維持する。 (i)ダイアログ履歴を符号化するダイアログ符号化モジュール (ii)ユーザクエリまたはシステム応答から意味ベクトルを抽出するためのダイアログ理解モジュール (iii)応答の高レベルセマンティクスを含むポリシーベクタを生成するためのダイアログポリシーモジュール、及び (iv)適切な応答を生成するための対話生成モジュール。 各コンポーネントに対して専用の事前学習目標を設計する。 具体的には,スパンマスク言語モデルを用いたダイアログ符号化モジュールを事前学習し,コンテキスト化ダイアログ情報を学習する。 構造化ダイアログのセマンティクスをキャプチャするために,新たなツリー誘導半教師付きコントラスト学習目標を付加ダイアログアノテーションの助けを借りて,ダイアログ理解モジュールを事前訓練する。 さらに,その出力ポリシベクトルと応答の意味ベクトルとのL2距離を最小化し,ポリシー最適化のためのダイアログポリシモジュールを事前訓練する。 最後に、ダイアログ生成モデルは言語モデリングによって事前訓練される。 その結果、space-3はインテント予測、ダイアログ状態追跡、エンドツーエンドのダイアログモデリングを含む8つのダウンストリームダイアログベンチマークで最先端のパフォーマンスを達成している。 また,SPACE-3は,低リソース環境下での既存モデルよりも高機能であることを示す。

関連論文リスト

• Contextual Data Augmentation for Task-Oriented Dialog Systems [8.085645180329417]
  本研究では,ユーザターンを生成する新しいダイアログ拡張モデルを構築し,完全なダイアログコンテキストを条件づける。 言語モデルの新しいプロンプト設計と出力の再ランク付けにより、我々のモデルから生成されたダイアログを直接使用して、下流ダイアログシステムのトレーニングを行うことができる。
  論文  参考訳（メタデータ） (2023-10-16T13:22:34Z)
• DialogStudio: Towards Richest and Most Diverse Unified Dataset Collection for Conversational AI [92.29874802394167]
  DialogStudioは対話データセットの最大かつ最も多様なコレクションである。 本コレクションは,オープンドメイン対話,タスク指向対話,自然言語理解,対話レコメンデーション,対話要約,知識基底対話などのデータを含む。
  論文  参考訳（メタデータ） (2023-07-19T17:57:53Z)
• SPACE-2: Tree-Structured Semi-Supervised Contrastive Pre-training for Task-Oriented Dialog Understanding [68.94808536012371]
  本稿では,限定ラベル付きダイアログと大規模未ラベルダイアログコーパスから対話表現を学習する,木構造付き事前学習会話モデルを提案する。 提案手法は,7つのデータセットと4つの一般的な対話理解タスクからなるDialoGLUEベンチマークにおいて,最新の結果が得られる。
  論文  参考訳（メタデータ） (2022-09-14T13:42:50Z)
• DialogVED: A Pre-trained Latent Variable Encoder-Decoder Model for Dialog Response Generation [80.45816053153722]
  DialogVEDは、拡張エンコーダデコーダ事前トレーニングフレームワークに連続潜伏変数を導入し、応答の関連性と多様性を高める。 我々は,PersonaChat,DailyDialog,DSTC7-AVSDベンチマークを用いて応答生成実験を行った。
  論文  参考訳（メタデータ） (2022-04-27T16:18:15Z)
• GALAXY: A Generative Pre-trained Model for Task-Oriented Dialog with Semi-Supervised Learning and Explicit Policy Injection [36.77204909711832]
  本稿では,限定ラベル付きダイアログと大規模未ラベルダイアログコーパスから,対話ポリシーを明示的に学習する,事前学習型ダイアログモデルを提案する。 具体的には、事前学習中にポリシー最適化のためのダイアログアクト予測タスクを導入し、一貫性の規則化項を用いて、学習した表現を洗練させる。 その結果,GALAXYはタスク指向対話システムの性能を大幅に向上させることがわかった。
  論文  参考訳（メタデータ） (2021-11-29T15:24:36Z)
• Conversation Learner -- A Machine Teaching Tool for Building Dialog Managers for Task-Oriented Dialog Systems [57.082447660944965]
  Conversation Learnerは、ダイアログマネージャを構築するための機械学習ツールである。 ダイアログ作成者が慣れ親しんだツールを使ってダイアログフローを作成し、ダイアログフローをパラメトリックモデルに変換することができる。 ユーザシステムダイアログをトレーニングデータとして活用することで、ダイアログ作成者が時間とともにダイアログマネージャを改善することができる。
  論文  参考訳（メタデータ） (2020-04-09T00:10:54Z)
• Variational Hierarchical Dialog Autoencoder for Dialog State Tracking Data Augmentation [59.174903564894954]
  本研究では,この手法を,ゴール指向対話のための対話状態追跡タスクに拡張する。 目的指向ダイアログの完全な側面をモデル化するための変分階層型ダイアログオートエンコーダ(VHDA)を提案する。 各種ダイアログデータセットを用いた実験により、生成データ拡張による下流ダイアログトラッカーのロバスト性の向上が示された。
  論文  参考訳（メタデータ） (2020-01-23T15:34:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。