論文の概要: OmniDialog: An Omnipotent Pre-training Model for Task-Oriented Dialogue System

• arxiv url: http://arxiv.org/abs/2312.16864v1
• Date: Thu, 28 Dec 2023 07:20:49 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-29 16:58:31.030102
• Title: OmniDialog: An Omnipotent Pre-training Model for Task-Oriented Dialogue System
• Title（参考訳）: OmniDialog:タスク指向対話システムのための全能事前学習モデル
• Authors: Mingtao Yang, See-Kiong Ng, Jinlan Fu
• Abstract要約: 我々はOmnipotent Dialogue pre-training model(OmniDialog)を提案する。 3つの対話タスクをマルチタスク学習によってモノリシックなフレームワークに統合し、タスク間通信を促進する。 対話の要約、エンドツーエンドの対話モデリング、対話状態追跡、意図分類の4つのタスクでその性能を評価する。
• 参考スコア（独自算出の注目度）: 43.92593448255296
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pre-trained conversation models (PCMs) have demonstrated remarkable results in task-oriented dialogue (TOD) systems. Many PCMs focus predominantly on dialogue management tasks like dialogue state tracking, dialogue generation tasks like response generation, or both. However, the existing PCMs seldom consider dialogue comprehension tasks, such as dialogue question answering and summarization tasks. These tasks allow PCMs to glean dialogue context from various angles. This observation naturally raises the question: Can the performance of downstream dialogue tasks be enhanced if a PCM is pre-trained on dialogue management, generation, and comprehension tasks? To investigate this, we proposed an Omnipotent Dialogue pre-training model (OmniDialog). It unifies these three dialogue tasks into a monolithic framework by multi-task learning, fostering inter-task communication. The pre-training corpus of OmniDialog spans $\mathbf{7}$ dialogue-focused tasks, drawing from $\mathbf{15}$ datasets and encompassing over $\mathbf{3.2}$ million dialogue utterances. To our knowledge, OmniDialog is a pioneering PCM pre-trained across dialogue management, generation, and comprehension domains. We evaluated its performance across four tasks: dialogue summarization, end-to-end dialogue modeling, dialogue state tracking, and intent classification. The results underscore its efficacy in domain transfer learning, low-resource, and full-dataset scenarios. Furthermore, to glean a nuanced understanding of OmniDialog's strengths and potential pitfalls, we designed a fine-grained analysis framework for dialogue-centric tasks. Experimental results show that the OmniDialog is good at hard samples, such as long dialogues and lengthy responses.
• Abstract（参考訳）: 予め訓練された会話モデル(PCM)はタスク指向対話(TOD)システムにおいて顕著な結果を示した。 多くのpcmは主に対話状態追跡や応答生成などの対話生成タスクなどの対話管理タスクに焦点を当てている。 しかし,既存のPCMでは,対話質問応答や要約タスクなど,対話理解タスクをほとんど考慮していない。 これらのタスクにより、PCMは様々な角度から対話コンテキストを作成できる。 PCMが対話管理、生成、理解タスクで事前訓練されている場合、ダウンストリーム対話タスクのパフォーマンスを向上できるだろうか? そこで我々は,Omnipotent Dialogue pre-training model (OmniDialog)を提案する。 これら3つの対話タスクをマルチタスク学習によってモノリシックなフレームワークに統合し、タスク間通信を促進する。 オムニダイアログの事前学習コーパスは、$\mathbf{7}$ 対話中心タスクにまたがり、$\mathbf{15}$データセットから引き出され、$\mathbf{3.2}$ 対話発話を含む。 我々の知る限り、OmniDialogは対話管理、生成、理解ドメイン間で事前訓練された先駆的なPCMです。 対話要約,エンドツーエンド対話モデリング,対話状態追跡,意図分類の4つのタスクでそのパフォーマンスを評価した。 結果は、ドメイン転送学習、ローリソース、フルデータセットシナリオでの有効性を強調する。 さらに,omnidialogの強みと潜在的な落とし穴を理解するために,対話中心タスクのためのきめ細かい分析フレームワークを設計した。 実験結果から,OmniDialogは長文対話や長文応答などのハードサンプルが得意であることがわかった。

関連論文リスト

• Controllable Dialogue Simulation with In-Context Learning [39.04491297557292]
  textscDialogicは、大規模言語モデルに基づく対話シミュレーション手法である。 本手法は,人間の関与を最小あるいはゼロに抑えながら,少数の対話データを迅速に拡張することができる。 我々のシミュレートされた対話は、ほぼ人間に近い流速とアノテーションの精度を持つ。
  論文  参考訳（メタデータ） (2022-10-09T06:32:58Z)
• SPACE-3: Unified Dialog Model Pre-training for Task-Oriented Dialog Understanding and Generation [123.37377363355363]
  SPACE-3は、大規模対話コーパスから学習する、新しい半教師付き会話モデルである。 幅広いダウンストリームダイアログタスクを効果的に微調整できる。 その結果、SPACE-3は8つの下流ダイアログベンチマークで最先端のパフォーマンスを達成することがわかった。
  論文  参考訳（メタデータ） (2022-09-14T14:17:57Z)
• Act-Aware Slot-Value Predicting in Multi-Domain Dialogue State Tracking [5.816391291790977]
  対話状態追跡(DST)は、人間と機械の相互作用を追跡し、対話を管理するための状態表現を生成することを目的としている。 機械読解の最近の進歩は、対話状態追跡のための分類型と非分類型のスロットの両方を予測する。 我々は対話行為を定式化し、機械読解の最近の進歩を活用し、対話状態追跡のためのカテゴリー型と非カテゴリ型の両方のスロットを予測する。
  論文  参考訳（メタデータ） (2022-08-04T05:18:30Z)
• UniDS: A Unified Dialogue System for Chit-Chat and Task-oriented Dialogues [59.499965460525694]
  上記の2つのスキルを備えた統合対話システム(UniDS)を提案する。 我々は、チャットとタスク指向の対話の両方に対応可能な統合対話データスキーマを設計する。 我々は、事前訓練されたチャット対話モデルから混合対話データでUniDSを訓練する。
  論文  参考訳（メタデータ） (2021-10-15T11:56:47Z)
• Distributed Structured Actor-Critic Reinforcement Learning for Universal Dialogue Management [29.57382819573169]
  我々は,ユーザに対応する対話行動を選択するポリシーの策定に重点を置いている。 逐次的なシステム決定プロセスは、部分的に観察可能なマルコフ決定プロセスに抽象化することができる。 過去数年間、ニューラルネットワーク(NN)を関数近似器として利用するディープ強化学習(DRL)アルゴリズムが数多く存在する。
  論文  参考訳（メタデータ） (2020-09-22T05:39:31Z)
• TOD-BERT: Pre-trained Natural Language Understanding for Task-Oriented Dialogue [113.45485470103762]
  本研究では,言語モデリングのためのタスク指向対話データセットを,人間とマルチターンの9つに統合する。 事前学習時の対話動作をモデル化するために,ユーザトークンとシステムトークンをマスク付き言語モデルに組み込む。
  論文  参考訳（メタデータ） (2020-04-15T04:09:05Z)
• Conversation Learner -- A Machine Teaching Tool for Building Dialog Managers for Task-Oriented Dialog Systems [57.082447660944965]
  Conversation Learnerは、ダイアログマネージャを構築するための機械学習ツールである。 ダイアログ作成者が慣れ親しんだツールを使ってダイアログフローを作成し、ダイアログフローをパラメトリックモデルに変換することができる。 ユーザシステムダイアログをトレーニングデータとして活用することで、ダイアログ作成者が時間とともにダイアログマネージャを改善することができる。
  論文  参考訳（メタデータ） (2020-04-09T00:10:54Z)
• Masking Orchestration: Multi-task Pretraining for Multi-role Dialogue Representation Learning [50.5572111079898]
  マルチロール対話理解は、質問応答、行動分類、対話要約など、幅広い多様なタスクを含む。 対話コーパスは豊富に利用可能であるが、特定の学習タスクのためのラベル付きデータは非常に不足しており、高価である。 本研究では,教師なし事前学習タスクを用いた対話文脈表現学習について検討する。
  論文  参考訳（メタデータ） (2020-02-27T04:36:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。