論文の概要: TOD-BERT: Pre-trained Natural Language Understanding for Task-Oriented Dialogue

• arxiv url: http://arxiv.org/abs/2004.06871v3
• Date: Thu, 1 Oct 2020 16:34:52 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-13 03:31:50.337498
• Title: TOD-BERT: Pre-trained Natural Language Understanding for Task-Oriented Dialogue
• Title（参考訳）: TOD-BERT:タスク指向対話のための学習済み自然言語理解
• Authors: Chien-Sheng Wu, Steven Hoi, Richard Socher, and Caiming Xiong
• Abstract要約: 本研究では,言語モデリングのためのタスク指向対話データセットを,人間とマルチターンの9つに統合する。 事前学習時の対話動作をモデル化するために,ユーザトークンとシステムトークンをマスク付き言語モデルに組み込む。
• 参考スコア（独自算出の注目度）: 113.45485470103762
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The underlying difference of linguistic patterns between general text and task-oriented dialogue makes existing pre-trained language models less useful in practice. In this work, we unify nine human-human and multi-turn task-oriented dialogue datasets for language modeling. To better model dialogue behavior during pre-training, we incorporate user and system tokens into the masked language modeling. We propose a contrastive objective function to simulate the response selection task. Our pre-trained task-oriented dialogue BERT (TOD-BERT) outperforms strong baselines like BERT on four downstream task-oriented dialogue applications, including intention recognition, dialogue state tracking, dialogue act prediction, and response selection. We also show that TOD-BERT has a stronger few-shot ability that can mitigate the data scarcity problem for task-oriented dialogue.
• Abstract（参考訳）: 一般的なテキストとタスク指向対話の言語パターンの根本的な違いは、既存の事前学習された言語モデルが実際は役に立たないようにする。 本研究では,言語モデリングのためのタスク指向対話データセットを9つに統合する。 事前学習時の対話動作をモデル化するために,ユーザトークンとシステムトークンをマスク付き言語モデルに組み込む。 応答選択タスクをシミュレートするための対比目的関数を提案する。 我々の事前学習したタスク指向対話BERT(TOD-BERT)は、意図認識、対話状態追跡、対話行動予測、応答選択を含む4つの下流タスク指向対話アプリケーションにおいてBERTのような強力なベースラインを上回ります。 また、TOD-BERTは、タスク指向対話におけるデータ不足問題を軽減できる、より強力な少数ショット機能を有することを示す。

関連論文リスト

• BootTOD: Bootstrap Task-oriented Dialogue Representations by Aligning Diverse Responses [24.79881150845294]
  本稿では,BootTODと呼ばれる対話事前学習モデルを提案する。 セルフブートストラッピングフレームワークを通じてタスク指向の対話表現を学習する。 BootTODは、さまざまなダウンストリーム対話タスクにおいて、強力なTODベースラインを上回ります。
  論文  参考訳（メタデータ） (2024-03-02T10:34:11Z)
• FutureTOD: Teaching Future Knowledge to Pre-trained Language Model for Task-Oriented Dialogue [20.79359173822053]
  本稿では,対話前学習モデルFutureTODを提案する。 我々の直感は、良い対話表現はどちらも局所的な文脈情報を学び、将来の情報を予測することである。
  論文  参考訳（メタデータ） (2023-06-17T10:40:07Z)
• Adapting Task-Oriented Dialogue Models for Email Conversations [4.45709593827781]
  本稿では,対話モデルの最新開発を長文会話に適用できる効果的な伝達学習フレームワーク(EMToD)を提案する。 提案するEMToDフレームワークは,事前学習した言語モデルに対する意図検出性能を45%向上し,タスク指向の電子メール会話において,事前学習した対話モデルに対する意図検出性能を30%向上することを示す。
  論文  参考訳（メタデータ） (2022-08-19T16:41:34Z)
• Improving Zero and Few-shot Generalization in Dialogue through Instruction Tuning [27.92734269206744]
  InstructDialは対話のための命令チューニングフレームワークである。 48の多様な対話タスクからなるリポジトリからなり、59のオープンな対話データセットから作成されるテキストとテキストの統一フォーマットである。 分析の結果,InstructDialは未知のデータセットや対話評価や意図検出などのタスクに対して良好なゼロショット性能を実現し,数ショット設定でさらに優れたパフォーマンスを実現していることがわかった。
  論文  参考訳（メタデータ） (2022-05-25T11:37:06Z)
• KETOD: Knowledge-Enriched Task-Oriented Dialogue [77.59814785157877]
  対話システム研究における既存の研究は、主にタスク指向の対話とチャットを独立したドメインとして扱う。 本研究では,タスク指向対話と知識ベースチップチャットを一つのモデルに効果的に統合する方法について検討する。
  論文  参考訳（メタデータ） (2022-05-11T16:01:03Z)
• Back to the Future: Bidirectional Information Decoupling Network for Multi-turn Dialogue Modeling [80.51094098799736]
  ユニバーサル対話エンコーダとして双方向情報デカップリングネットワーク(BiDeN)を提案する。 BiDeNは過去と将来の両方のコンテキストを明示的に取り入れており、幅広い対話関連のタスクに一般化することができる。 異なる下流タスクのデータセットに対する実験結果は、我々のBiDeNの普遍性と有効性を示している。
  論文  参考訳（メタデータ） (2022-04-18T03:51:46Z)
• TOD-DA: Towards Boosting the Robustness of Task-oriented Dialogue Modeling on Spoken Conversations [24.245354500835465]
  本稿では,音声対話におけるタスク指向対話モデリングの堅牢性を高めるために,新しいモデルに依存しないデータ拡張パラダイムを提案する。 本手法は,音声対話におけるタスク指向対話モデリングのベンチマークであるDSTC10 Track2の両タスクにおいて,第1位となった。
  論文  参考訳（メタデータ） (2021-12-23T10:04:25Z)
• UniDS: A Unified Dialogue System for Chit-Chat and Task-oriented Dialogues [59.499965460525694]
  上記の2つのスキルを備えた統合対話システム(UniDS)を提案する。 我々は、チャットとタスク指向の対話の両方に対応可能な統合対話データスキーマを設計する。 我々は、事前訓練されたチャット対話モデルから混合対話データでUniDSを訓練する。
  論文  参考訳（メタデータ） (2021-10-15T11:56:47Z)
• "How Robust r u?": Evaluating Task-Oriented Dialogue Systems on Spoken Conversations [87.95711406978157]
  本研究は、音声タスク指向会話における新しいベンチマークを示す。 マルチドメイン対話状態追跡と知識基底型対話モデルについて検討する。 我々のデータセットは,タスク指向対話システムの音声によるベンチマークを可能にする。
  論文  参考訳（メタデータ） (2021-09-28T04:51:04Z)
• Structural Pre-training for Dialogue Comprehension [51.215629336320305]
  本稿では,SPIDER, Structure Pre-trained DialoguE Readerについて述べる。 対話のような特徴をシミュレートするために,元のLM目的に加えて,2つの訓練目標を提案する。 広く使われている対話ベンチマークの実験結果から,新たに導入した自己教師型タスクの有効性が検証された。
  論文  参考訳（メタデータ） (2021-05-23T15:16:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。