論文の概要: Multi-Task Pre-Training for Plug-and-Play Task-Oriented Dialogue System

• arxiv url: http://arxiv.org/abs/2109.14739v1
• Date: Wed, 29 Sep 2021 22:02:18 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-02 07:14:22.821144
• Title: Multi-Task Pre-Training for Plug-and-Play Task-Oriented Dialogue System
• Title（参考訳）: プラグアンドプレイタスク指向対話システムのためのマルチタスク事前学習
• Authors: Yixuan Su, Lei Shu, Elman Mansimov, Arshit Gupta, Deng Cai, Yi-An Lai, Yi Zhang
• Abstract要約: PPTODはタスク指向対話のための統一的なプラグアンドプレイモデルである。 エンド・ツー・エンドの対話モデル、対話状態追跡、意図分類を含む3つのベンチマークTODタスクにおいて、我々のモデルを広範囲にテストする。
• 参考スコア（独自算出の注目度）: 26.837972034630003
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pre-trained language models have been recently shown to benefit task-oriented dialogue (TOD) systems. Despite their success, existing methods often formulate this task as a cascaded generation problem which can lead to error accumulation across different sub-tasks and greater data annotation overhead. In this study, we present PPTOD, a unified plug-and-play model for task-oriented dialogue. In addition, we introduce a new dialogue multi-task pre-training strategy that allows the model to learn the primary TOD task completion skills from heterogeneous dialog corpora. We extensively test our model on three benchmark TOD tasks, including end-to-end dialogue modelling, dialogue state tracking, and intent classification. Experimental results show that PPTOD achieves new state of the art on all evaluated tasks in both high-resource and low-resource scenarios. Furthermore, comparisons against previous SOTA methods show that the responses generated by PPTOD are more factually correct and semantically coherent as judged by human annotators.
• Abstract（参考訳）: 事前訓練された言語モデルはタスク指向対話(TOD)システムに有用であることが最近示されている。 その成功にもかかわらず、既存の手法はこのタスクをカスケード生成問題として定式化し、異なるサブタスクにまたがるエラーの蓄積とデータアノテーションのオーバーヘッドの増大につながる。 本研究では,タスク指向対話のための統一的なプラグアンドプレイモデルであるPTODを提案する。 さらに,多種多様な対話コーパスから初歩的なtodタスク完了スキルを学習できる,新しい対話型マルチタスク事前学習戦略を提案する。 エンドツーエンド対話モデリング、対話状態追跡、意図分類を含む3つのベンチマークTODタスクにおいて、我々のモデルを広範囲にテストする。 実験の結果,pptodは高リソースシナリオと低リソースシナリオの両方において,評価されたタスクの新たな状態を達成した。 さらに, 従来のSOTA法との比較では, PPTOD が生成する応答は, 人間のアノテータが判断するよりも, 現実的に正確かつ意味的に一貫性があることが示されている。

関連論文リスト

• Multitask Multimodal Prompted Training for Interactive Embodied Task Completion [48.69347134411864]
  Embodied MultiModal Agent (EMMA) はエンコーダとデコーダの統一モデルである。 すべてのタスクをテキスト生成として統一することで、EMMAはタスク間の転送を容易にするアクション言語を学ぶ。
  論文  参考訳（メタデータ） (2023-11-07T15:27:52Z)
• InstructTODS: Large Language Models for End-to-End Task-Oriented Dialogue Systems [60.53276524369498]
  大規模言語モデル(LLM)は自然言語処理(NLP)における多様なタスクに使用されている。 InstructTODSは、ゼロショットのタスク指向対話システムのための新しいフレームワークである。 InstructTODSは、ユーザの意図を動的クエリにシームレスに翻訳するプロキシの信念状態を生成する。
  論文  参考訳（メタデータ） (2023-10-13T06:36:26Z)
• A Task-oriented Dialog Model with Task-progressive and Policy-aware Pre-training [10.766299050844603]
  本稿では,2つの政策対応事前学習タスクを備えたタスクプログレッシブPCMを提案する。 グローバルポリシー整合性タスクは、マルチターンダイアログポリシーのシーケンシャルな関係をキャプチャするように設計されている。 アクトベースのコントラスト学習タスクは、同一のダイアログポリシーでサンプル間の類似性をキャプチャするように設計されている。
  論文  参考訳（メタデータ） (2023-10-01T07:06:02Z)
• OPAL: Ontology-Aware Pretrained Language Model for End-to-End Task-Oriented Dialogue [40.62090743056549]
  本稿では、エンドツーエンドタスク指向対話(TOD)のためのオントロジー対応事前学習言語モデル(OPAL)を提案する。 チャット型対話モデルとは異なり、タスク指向対話モデルは少なくとも2つのタスク固有モジュールを満たす:対話状態トラッカー(DST)と応答生成器(RG)。
  論文  参考訳（メタデータ） (2022-09-10T04:38:27Z)
• A Multi-Task BERT Model for Schema-Guided Dialogue State Tracking [78.2700757742992]
  タスク指向対話システムは対話状態追跡器(DST)を用いて会話を完了させる。 最近の最先端のDST実装は、モデルの堅牢性を改善するために様々なサービスのスキーマに依存している。 本稿では,意図予測,要求スロット予測,スロットフィリングの3つのDSTタスクを協調的に解決する単一マルチタスクBERTモデルを提案する。
  論文  参考訳（メタデータ） (2022-07-02T13:27:59Z)
• DialogZoo: Large-Scale Dialog-Oriented Task Learning [52.18193690394549]
  我々は,多種多様な対話課題を解くための統合基盤モデルの構築を目指している。 この目的を達成するために、73の公開データセットから、まず大規模なラベル付き対話データセットを収集する。
  論文  参考訳（メタデータ） (2022-05-25T11:17:16Z)
• A Study on Prompt-based Few-Shot Learning Methods for Belief State Tracking in Task-oriented Dialog Systems [10.024834304960846]
  タスク指向対話システムにおける対話的状態追跡問題に取り組む。 この問題に対する最近のアプローチでは、Transformerベースのモデルが大きな成果を上げている。 対話的信念状態追跡のためのプロンプトベース数ショット学習について検討する。
  論文  参考訳（メタデータ） (2022-04-18T05:29:54Z)
• CINS: Comprehensive Instruction for Few-shot Learning in Task-oriented Dialog Systems [56.302581679816775]
  本稿では,タスク固有の命令でPLMを利用する包括的インストラクション(CINS)を提案する。 命令のスキーマ(定義、制約、プロンプト)と、ToDの3つの重要な下流タスクに対するカスタマイズされた実現を設計する。 これらのToDタスクに対して,小さな検証データを用いた現実的な数ショット学習シナリオで実験を行った。
  論文  参考訳（メタデータ） (2021-09-10T03:23:06Z)
• A Tailored Pre-Training Model for Task-Oriented Dialog Generation [60.05269529832447]
  タスク指向対話システムのための事前訓練された役割交替言語モデル(PRAL)を提案する。 13個の既存のデータセットをクリーニングすることでタスク指向の対話事前学習データセットを導入する。 その結果,PRALは最先端の手法と同等以上の性能を示した。
  論文  参考訳（メタデータ） (2020-04-24T09:25:45Z)
• TOD-BERT: Pre-trained Natural Language Understanding for Task-Oriented Dialogue [113.45485470103762]
  本研究では,言語モデリングのためのタスク指向対話データセットを,人間とマルチターンの9つに統合する。 事前学習時の対話動作をモデル化するために,ユーザトークンとシステムトークンをマスク付き言語モデルに組み込む。
  論文  参考訳（メタデータ） (2020-04-15T04:09:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。