論文の概要: DialogueBERT: A Self-Supervised Learning based Dialogue Pre-training Encoder

• arxiv url: http://arxiv.org/abs/2109.10480v1
• Date: Wed, 22 Sep 2021 01:41:28 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-23 13:59:18.511602
• Title: DialogueBERT: A Self-Supervised Learning based Dialogue Pre-training Encoder
• Title（参考訳）: DialogueBERT: 自己監督型学習ベース対話事前学習エンコーダ
• Authors: Zhenyu Zhang, Tao Guo and Meng Chen
• Abstract要約: 本稿では,人気のある事前学習型言語モデルBERTに基づく新しい文脈対話エンコーダ(ダイアログBERT)を提案する。 5つの自己教師型学習事前学習課題が,対話音声の特異性を学習するために考案された。 DialogueBERTは、実シナリオで7000万の対話で事前訓練され、3つの異なる下流対話理解タスクで微調整された。
• 参考スコア（独自算出の注目度）: 19.51263716065853
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: With the rapid development of artificial intelligence, conversational bots have became prevalent in mainstream E-commerce platforms, which can provide convenient customer service timely. To satisfy the user, the conversational bots need to understand the user's intention, detect the user's emotion, and extract the key entities from the conversational utterances. However, understanding dialogues is regarded as a very challenging task. Different from common language understanding, utterances in dialogues appear alternately from different roles and are usually organized as hierarchical structures. To facilitate the understanding of dialogues, in this paper, we propose a novel contextual dialogue encoder (i.e. DialogueBERT) based on the popular pre-trained language model BERT. Five self-supervised learning pre-training tasks are devised for learning the particularity of dialouge utterances. Four different input embeddings are integrated to catch the relationship between utterances, including turn embedding, role embedding, token embedding and position embedding. DialogueBERT was pre-trained with 70 million dialogues in real scenario, and then fine-tuned in three different downstream dialogue understanding tasks. Experimental results show that DialogueBERT achieves exciting results with 88.63% accuracy for intent recognition, 94.25% accuracy for emotion recognition and 97.04% F1 score for named entity recognition, which outperforms several strong baselines by a large margin.
• Abstract（参考訳）: 人工知能の急速な発展に伴い、会話ボットは主流のEコマースプラットフォームで普及し、便利なカスタマーサービスをタイムリーに提供できるようになった。 ユーザを満足させるためには、会話ボットはユーザの意図を理解し、ユーザの感情を検出し、会話発話から重要なエンティティを抽出する必要がある。 しかし,対話の理解は非常に難しい課題と考えられる。 共通言語理解と異なり、対話における発話は異なる役割と交互に現れ、通常は階層構造として構成される。 本稿では、対話の理解を容易にするために、人気のある事前学習型言語モデルBERTに基づく新しい文脈対話エンコーダ(ダイアログBERT)を提案する。 ダイアルージュ発話の特殊性を学ぶために,5つの自己教師付き学習前学習タスクが考案された。 4つの異なる入力埋め込みが統合され、ターン埋め込み、ロール埋め込み、トークン埋め込み、位置埋め込みなど、発話間の関係を捉える。 DialogueBERTは、実シナリオで7000万の対話で事前訓練され、3つの異なる下流対話理解タスクで微調整された。 実験の結果、DilogueBERTは意図認識の88.63%、感情認識の94.25%、名前付きエンティティ認識の97.04%のスコアでエキサイティングな結果が得られることがわかった。

関連論文リスト

• Learning to Memorize Entailment and Discourse Relations for Persona-Consistent Dialogues [8.652711997920463]
  既存の作業は、高度ネットワーク構造を持つ対話者ペルソナを意図的に学習することで、対話システムの性能を改善した。 本研究は,ペルソナ一貫性のある対話課題における係り受け関係と談話関係を記憶する学習方法を提案する。
  論文  参考訳（メタデータ） (2023-01-12T08:37:00Z)
• STRUDEL: Structured Dialogue Summarization for Dialogue Comprehension [42.57581945778631]
  抽象的な対話要約は、自然言語処理における重要なスタンドアロンタスクとみなされてきた。 本稿では,新たな対話要約タスクであるSTRUctured DiaLoguE Summarizationを提案する。 変換器エンコーダ言語モデルの対話理解性能を大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2022-12-24T04:39:54Z)
• A Benchmark for Understanding and Generating Dialogue between Characters in Stories [75.29466820496913]
  本研究は,機械が物語の対話を理解・生成できるかどうかを探求する最初の研究である。 マスク付き対話生成と対話話者認識という2つの新しいタスクを提案する。 DialStoryの自動評価と手動評価で既存のモデルをテストすることで,提案課題の難しさを示す。
  論文  参考訳（メタデータ） (2022-09-18T10:19:04Z)
• Learning-by-Narrating: Narrative Pre-Training for Zero-Shot Dialogue Comprehension [48.483910831143724]
  対話を補完するには、発話中の様々なキー情報をキャプチャするモデルが必要である。 そこで我々は,対話入力からキー情報をナレーションすることで学習する,物語誘導型事前学習戦略を開発した。
  論文  参考訳（メタデータ） (2022-03-19T05:20:25Z)
• What Helps Transformers Recognize Conversational Structure? Importance of Context, Punctuation, and Labels in Dialog Act Recognition [41.1669799542627]
  2つの事前訓練されたトランスフォーマーモデルを適用し、対話行動のシーケンスとして会話文を構造化する。 より広範な会話コンテキストが組み込まれていることは、多くの対話行動クラスを曖昧にするのに役立ちます。 詳細な分析により、その欠如で観察された特定のセグメンテーションパターンが明らかになる。
  論文  参考訳（メタデータ） (2021-07-05T21:56:00Z)
• Structural Pre-training for Dialogue Comprehension [51.215629336320305]
  本稿では,SPIDER, Structure Pre-trained DialoguE Readerについて述べる。 対話のような特徴をシミュレートするために,元のLM目的に加えて,2つの訓練目標を提案する。 広く使われている対話ベンチマークの実験結果から,新たに導入した自己教師型タスクの有効性が検証された。
  論文  参考訳（メタデータ） (2021-05-23T15:16:54Z)
• Rethinking Dialogue State Tracking with Reasoning [76.0991910623001]
  本稿では, 対話状態の段階的追跡を, バックエンドデータの助けを借りて行うことを提案する。 実験の結果,MultiWOZ 2.1の連立信条精度は38.6%向上した。
  論文  参考訳（メタデータ） (2020-05-27T02:05:33Z)
• TOD-BERT: Pre-trained Natural Language Understanding for Task-Oriented Dialogue [113.45485470103762]
  本研究では,言語モデリングのためのタスク指向対話データセットを,人間とマルチターンの9つに統合する。 事前学習時の対話動作をモデル化するために,ユーザトークンとシステムトークンをマスク付き言語モデルに組み込む。
  論文  参考訳（メタデータ） (2020-04-15T04:09:05Z)
• Masking Orchestration: Multi-task Pretraining for Multi-role Dialogue Representation Learning [50.5572111079898]
  マルチロール対話理解は、質問応答、行動分類、対話要約など、幅広い多様なタスクを含む。 対話コーパスは豊富に利用可能であるが、特定の学習タスクのためのラベル付きデータは非常に不足しており、高価である。 本研究では,教師なし事前学習タスクを用いた対話文脈表現学習について検討する。
  論文  参考訳（メタデータ） (2020-02-27T04:36:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。