論文の概要: A Hybrid Task-Oriented Dialog System with Domain and Task Adaptive Pretraining

• arxiv url: http://arxiv.org/abs/2102.04506v1
• Date: Mon, 8 Feb 2021 20:02:30 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-10 16:33:36.763747
• Title: A Hybrid Task-Oriented Dialog System with Domain and Task Adaptive Pretraining
• Title（参考訳）: ドメインとタスク適応型事前学習を用いたハイブリッドタスク指向対話システム
• Authors: Boliang Zhang, Ying Lyu, Ning Ding, Tianhao Shen, Zhaoyang Jia, Kun Han, Kevin Knight
• Abstract要約: 本稿では,第9回ダイアログ・システム・テクノロジー・チャレンジ(DSTC-9)におけるエンド・ツー・エンドマルチドメインタスク・コンプリート・ダイアログ共有タスクについて述べる。 共有タスクの参加者は、人的評価とユーザシミュレータによる自動評価により評価されるエンドツーエンドのタスク完了ダイアログシステムを構築する。
• 参考スコア（独自算出の注目度）: 25.674966922466467
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper describes our submission for the End-to-end Multi-domain Task Completion Dialog shared task at the 9th Dialog System Technology Challenge (DSTC-9). Participants in the shared task build an end-to-end task completion dialog system which is evaluated by human evaluation and a user simulator based automatic evaluation. Different from traditional pipelined approaches where modules are optimized individually and suffer from cascading failure, we propose an end-to-end dialog system that 1) uses Generative Pretraining 2 (GPT-2) as the backbone to jointly solve Natural Language Understanding, Dialog State Tracking, and Natural Language Generation tasks, 2) adopts Domain and Task Adaptive Pretraining to tailor GPT-2 to the dialog domain before finetuning, 3) utilizes heuristic pre/post-processing rules that greatly simplify the prediction tasks and improve generalizability, and 4) equips a fault tolerance module to correct errors and inappropriate responses. Our proposed method significantly outperforms baselines and ties for first place in the official evaluation. We make our source code publicly available.
• Abstract（参考訳）: 本稿では,第9回ダイアログシステム技術チャレンジ(DSTC-9)において,エンドツーエンドのマルチドメインタスク補完ダイアログ共有タスクの提出について述べる。 共有タスクの参加者は、人的評価とユーザシミュレータによる自動評価により評価されるエンドツーエンドのタスク完了ダイアログシステムを構築する。 Different from traditional pipelined approaches where modules are optimized individually and suffer from cascading failure, we propose an end-to-end dialog system that 1) uses Generative Pretraining 2 (GPT-2) as the backbone to jointly solve Natural Language Understanding, Dialog State Tracking, and Natural Language Generation tasks, 2) adopts Domain and Task Adaptive Pretraining to tailor GPT-2 to the dialog domain before finetuning, 3) utilizes heuristic pre/post-processing rules that greatly simplify the prediction tasks and improve generalizability, and 4) equips a fault tolerance module to correct errors and inappropriate responses. 提案手法は, 公式評価において, ベースラインと結びつきを著しく上回っている。 ソースコードを公開しています。

関連論文リスト

• LEEETs-Dial: Linguistic Entrainment in End-to-End Task-oriented Dialogue systems [0.0]
  GPT-2に基づくエンドツーエンドのタスク指向対話システムにおいて,対話学習を実現する手法を提案する。 我々は、トレーニングインスタンスの重み付け、トレーニング固有の損失、およびユーザーと一致した応答を生成するための追加条件付けを実験した。
  論文  参考訳（メタデータ） (2023-11-15T21:35:25Z)
• Zero-Shot Generalizable End-to-End Task-Oriented Dialog System using Context Summarization and Domain Schema [2.7178968279054936]
  タスク指向対話システムにおける最先端のアプローチは、条件付きシーケンス生成タスクとして問題を定式化する。 これは、新しいドメインまたはタスクごとにラベル付きトレーニングデータを必要とする。 本稿では,ZS-ToDという,Zero-Shotの汎用的なエンドツーエンドタスク指向ダイアログシステムについて紹介する。
  論文  参考訳（メタデータ） (2023-03-28T18:56:31Z)
• SPACE-2: Tree-Structured Semi-Supervised Contrastive Pre-training for Task-Oriented Dialog Understanding [68.94808536012371]
  本稿では,限定ラベル付きダイアログと大規模未ラベルダイアログコーパスから対話表現を学習する,木構造付き事前学習会話モデルを提案する。 提案手法は,7つのデータセットと4つの一般的な対話理解タスクからなるDialoGLUEベンチマークにおいて,最新の結果が得られる。
  論文  参考訳（メタデータ） (2022-09-14T13:42:50Z)
• OPAL: Ontology-Aware Pretrained Language Model for End-to-End Task-Oriented Dialogue [40.62090743056549]
  本稿では、エンドツーエンドタスク指向対話(TOD)のためのオントロジー対応事前学習言語モデル(OPAL)を提案する。 チャット型対話モデルとは異なり、タスク指向対話モデルは少なくとも2つのタスク固有モジュールを満たす:対話状態トラッカー(DST)と応答生成器(RG)。
  論文  参考訳（メタデータ） (2022-09-10T04:38:27Z)
• Manual-Guided Dialogue for Flexible Conversational Agents [84.46598430403886]
  対話データを効率的に構築し、利用する方法や、さまざまなドメインにモデルを大規模にデプロイする方法は、タスク指向の対話システムを構築する上で重要な問題である。 エージェントは対話とマニュアルの両方からタスクを学習する。 提案手法は,詳細なドメインオントロジーに対する対話モデルの依存性を低減し,様々なドメインへの適応をより柔軟にする。
  論文  参考訳（メタデータ） (2022-08-16T08:21:12Z)
• GODEL: Large-Scale Pre-Training for Goal-Directed Dialog [119.1397031992088]
  ダイアログのための大規模事前学習言語モデルであるGODELを紹介する。 GODELは、数ショットの微調整設定で、最先端の事前訓練ダイアログモデルより優れていることを示す。 評価手法の新たな特徴は,応答の有用性を評価するユーティリティの概念の導入である。
  論文  参考訳（メタデータ） (2022-06-22T18:19:32Z)
• GALAXY: A Generative Pre-trained Model for Task-Oriented Dialog with Semi-Supervised Learning and Explicit Policy Injection [36.77204909711832]
  本稿では,限定ラベル付きダイアログと大規模未ラベルダイアログコーパスから,対話ポリシーを明示的に学習する,事前学習型ダイアログモデルを提案する。 具体的には、事前学習中にポリシー最適化のためのダイアログアクト予測タスクを導入し、一貫性の規則化項を用いて、学習した表現を洗練させる。 その結果,GALAXYはタスク指向対話システムの性能を大幅に向上させることがわかった。
  論文  参考訳（メタデータ） (2021-11-29T15:24:36Z)
• A Unified Pre-training Framework for Conversational AI [25.514505462661763]
  PLATO-2は、簡略化された1対1のマッピング関係に適合するように、2段階のカリキュラム学習によって訓練される。 PLATO-2は3つのタスクで1位を獲得し、様々な対話システムのための統一されたフレームワークとしての有効性を検証する。
  論文  参考訳（メタデータ） (2021-05-06T07:27:11Z)
• A Simple Language Model for Task-Oriented Dialogue [61.84084939472287]
  SimpleTODはタスク指向対話に対する単純なアプローチであり、すべてのサブタスクのリキャストで訓練された単一因果言語モデルを単一シーケンス予測問題として利用する。 これによりSimpleTODは、事前訓練されたオープンドメイン、GPT-2のような因果言語モデルからのトランスファー学習を完全に活用できる。
  論文  参考訳（メタデータ） (2020-05-02T11:09:27Z)
• A Tailored Pre-Training Model for Task-Oriented Dialog Generation [60.05269529832447]
  タスク指向対話システムのための事前訓練された役割交替言語モデル(PRAL)を提案する。 13個の既存のデータセットをクリーニングすることでタスク指向の対話事前学習データセットを導入する。 その結果,PRALは最先端の手法と同等以上の性能を示した。
  論文  参考訳（メタデータ） (2020-04-24T09:25:45Z)
• TOD-BERT: Pre-trained Natural Language Understanding for Task-Oriented Dialogue [113.45485470103762]
  本研究では,言語モデリングのためのタスク指向対話データセットを,人間とマルチターンの9つに統合する。 事前学習時の対話動作をモデル化するために,ユーザトークンとシステムトークンをマスク付き言語モデルに組み込む。
  論文  参考訳（メタデータ） (2020-04-15T04:09:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。