論文の概要: A Task-oriented Dialog Model with Task-progressive and Policy-aware Pre-training

• arxiv url: http://arxiv.org/abs/2310.00597v1
• Date: Sun, 1 Oct 2023 07:06:02 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-05 03:21:39.335211
• Title: A Task-oriented Dialog Model with Task-progressive and Policy-aware Pre-training
• Title（参考訳）: タスクプログレッシブ・ポリシー対応事前学習によるタスク指向対話モデル
• Authors: Lucen Zhong, Hengtong Lu, Caixia Yuan, Xiaojie Wang, Jiashen Sun, Ke Zeng and Guanglu Wan
• Abstract要約: 本稿では,2つの政策対応事前学習タスクを備えたタスクプログレッシブPCMを提案する。 グローバルポリシー整合性タスクは、マルチターンダイアログポリシーのシーケンシャルな関係をキャプチャするように設計されている。 アクトベースのコントラスト学習タスクは、同一のダイアログポリシーでサンプル間の類似性をキャプチャするように設計されている。
• 参考スコア（独自算出の注目度）: 10.766299050844603
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pre-trained conversation models (PCMs) have achieved promising progress in recent years. However, existing PCMs for Task-oriented dialog (TOD) are insufficient for capturing the sequential nature of the TOD-related tasks, as well as for learning dialog policy information. To alleviate these problems, this paper proposes a task-progressive PCM with two policy-aware pre-training tasks. The model is pre-trained through three stages where TOD-related tasks are progressively employed according to the task logic of the TOD system. A global policy consistency task is designed to capture the multi-turn dialog policy sequential relation, and an act-based contrastive learning task is designed to capture similarities among samples with the same dialog policy. Our model achieves better results on both MultiWOZ and In-Car end-to-end dialog modeling benchmarks with only 18\% parameters and 25\% pre-training data compared to the previous state-of-the-art PCM, GALAXY.
• Abstract（参考訳）: 事前学習型会話モデル(PCM)は近年,有望な進歩を遂げている。 しかし、タスク指向ダイアログ(TOD)のための既存のPCMは、TOD関連タスクのシーケンシャルな性質や、ダイアログポリシー情報の学習には不十分である。 そこで本研究では,2つの政策対応事前学習タスクを備えたタスクプログレッシブPCMを提案する。 モデルは、TOD系のタスクロジックに従って、TOD関連のタスクを段階的に使用する3つの段階を通じて事前訓練される。 グローバルポリシー一貫性タスクはマルチターンダイアログポリシーシーケンシャルな関係をキャプチャするために設計され、actベースのコントラスト学習タスクは、同じダイアログポリシーでサンプル間の類似性をキャプチャするように設計されている。 このモデルは,従来のPCMであるGALAXYと比較して,パラメータが18%,事前学習データが25倍のMultiWOZとIn-Carの双方で優れた結果が得られる。

関連論文リスト

• Planning with Large Language Models for Conversational Agents [51.12859325330882]
  自律会話エージェント(CA)の制御性と能動性は重要な性質である 大規模言語モデル(LLM)を利用した計画型対話エージェントのための新しいフレームワークを提案する。 実験の結果,PCA-Dで微調整されたLCMは性能を著しく向上し,未確認領域に一般化できることがわかった。
  論文  参考訳（メタデータ） (2024-07-04T12:23:02Z)
• Multitask Multimodal Prompted Training for Interactive Embodied Task Completion [48.69347134411864]
  Embodied MultiModal Agent (EMMA) はエンコーダとデコーダの統一モデルである。 すべてのタスクをテキスト生成として統一することで、EMMAはタスク間の転送を容易にするアクション言語を学ぶ。
  論文  参考訳（メタデータ） (2023-11-07T15:27:52Z)
• Plug-and-Play Policy Planner for Large Language Model Powered Dialogue Agents [121.46051697742608]
  そこで本稿では,PDPPという言語モデルプラグインを用いて対話問題を整理するための新たな対話ポリシー計画パラダイムを提案する。 具体的には、利用可能な人間の注釈付きデータに対する教師付き微調整を容易にするための新しいトレーニングフレームワークを開発する。 PPDPPは3つの異なるプロアクティブな対話アプリケーションにおいて、既存のアプローチを一貫して、実質的に上回っている。
  論文  参考訳（メタデータ） (2023-11-01T03:20:16Z)
• Leveraging Explicit Procedural Instructions for Data-Efficient Action Prediction [5.448684866061922]
  タスク指向の対話は、しばしばエージェントがユーザ要求を満たすために複雑で多段階の手順を実行する必要がある。 大規模言語モデルは、制約のある環境でこれらの対話を自動化することに成功したが、その広範な展開は、トレーニングに必要なタスク固有の大量のデータによって制限されている。 本稿では,エージェントガイドラインから導出した明示的な指示を利用して対話システムを構築するための,データ効率のよいソリューションを提案する。
  論文  参考訳（メタデータ） (2023-06-06T18:42:08Z)
• "Think Before You Speak": Improving Multi-Action Dialog Policy by Planning Single-Action Dialogs [33.78889030078026]
  マルチアクションダイアログポリシー(MADP)は、ターンごとに複数のアトミックダイアログアクションを生成する。 シングルアクションダイアログダイナミクスを学習する新しいマルチタスク学習フレームワークであるPlanning Enhanced Dialog Policy (PEDP)を提案する。 完全教師付き学習ベース手法は, タスク成功率90.6%を達成し, 最先端の手法に比べて3%向上した。
  論文  参考訳（メタデータ） (2022-04-25T07:55:53Z)
• Multi-Task Pre-Training for Plug-and-Play Task-Oriented Dialogue System [26.837972034630003]
  PPTODはタスク指向対話のための統一的なプラグアンドプレイモデルである。 エンド・ツー・エンドの対話モデル、対話状態追跡、意図分類を含む3つのベンチマークTODタスクにおいて、我々のモデルを広範囲にテストする。
  論文  参考訳（メタデータ） (2021-09-29T22:02:18Z)
• CINS: Comprehensive Instruction for Few-shot Learning in Task-oriented Dialog Systems [56.302581679816775]
  本稿では,タスク固有の命令でPLMを利用する包括的インストラクション(CINS)を提案する。 命令のスキーマ(定義、制約、プロンプト)と、ToDの3つの重要な下流タスクに対するカスタマイズされた実現を設計する。 これらのToDタスクに対して,小さな検証データを用いた現実的な数ショット学習シナリオで実験を行った。
  論文  参考訳（メタデータ） (2021-09-10T03:23:06Z)
• A Unified Pre-training Framework for Conversational AI [25.514505462661763]
  PLATO-2は、簡略化された1対1のマッピング関係に適合するように、2段階のカリキュラム学習によって訓練される。 PLATO-2は3つのタスクで1位を獲得し、様々な対話システムのための統一されたフレームワークとしての有効性を検証する。
  論文  参考訳（メタデータ） (2021-05-06T07:27:11Z)
• A Survey on Dialog Management: Recent Advances and Challenges [72.52920723074638]
  ダイアログ管理(DM)はタスク指向ダイアログシステムにおいて重要なコンポーネントである。 1)新しいシナリオにおけるダイアログシステムモデリングを容易にするためのモデルスケーラビリティの改善,(2)ダイアログポリシー学習におけるデータ不足問題への対処,(3)タスク補完性能を向上させるためのトレーニング効率の向上。
  論文  参考訳（メタデータ） (2020-05-05T14:31:24Z)
• A Tailored Pre-Training Model for Task-Oriented Dialog Generation [60.05269529832447]
  タスク指向対話システムのための事前訓練された役割交替言語モデル(PRAL)を提案する。 13個の既存のデータセットをクリーニングすることでタスク指向の対話事前学習データセットを導入する。 その結果,PRALは最先端の手法と同等以上の性能を示した。
  論文  参考訳（メタデータ） (2020-04-24T09:25:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。