論文の概要: DialogBERT: Discourse-Aware Response Generation via Learning to Recover and Rank Utterances

• arxiv url: http://arxiv.org/abs/2012.01775v1
• Date: Thu, 3 Dec 2020 09:06:23 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-23 15:17:07.527924
• Title: DialogBERT: Discourse-Aware Response Generation via Learning to Recover and Rank Utterances
• Title（参考訳）: DialogBERT: 学習による発話認識応答生成による発話の検索とランク付け
• Authors: Xiaodong Gu, Kang Min Yoo, Jung-Woo Ha
• Abstract要約: 本稿では,従来の PLM に基づく対話モデルを強化した対話応答生成モデルである DialogBERT を提案する。 発話間の談話レベルのコヒーレンスを効果的に把握するために,マスク付き発話回帰を含む2つの訓練目標を提案する。 3つのマルチターン会話データセットの実験により、我々のアプローチがベースラインを著しく上回ることを示した。
• 参考スコア（独自算出の注目度）: 18.199473005335093
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Recent advances in pre-trained language models have significantly improved neural response generation. However, existing methods usually view the dialogue context as a linear sequence of tokens and learn to generate the next word through token-level self-attention. Such token-level encoding hinders the exploration of discourse-level coherence among utterances. This paper presents DialogBERT, a novel conversational response generation model that enhances previous PLM-based dialogue models. DialogBERT employs a hierarchical Transformer architecture. To efficiently capture the discourse-level coherence among utterances, we propose two training objectives, including masked utterance regression and distributed utterance order ranking in analogy to the original BERT training. Experiments on three multi-turn conversation datasets show that our approach remarkably outperforms the baselines, such as BART and DialoGPT, in terms of quantitative evaluation. The human evaluation suggests that DialogBERT generates more coherent, informative, and human-like responses than the baselines with significant margins.
• Abstract（参考訳）: 事前学習言語モデルの最近の進歩は、神経応答生成を著しく改善した。 しかしながら、既存のメソッドは通常、対話コンテキストをトークンの線形シーケンスとみなし、トークンレベルの自己認識を通じて次の単語を生成することを学ぶ。 このようなトークンレベルの符号化は、発話間の談話レベルの一貫性の探索を妨げる。 本稿では,従来の PLM に基づく対話モデルを強化した対話応答生成モデルである DialogBERT を提案する。 DialogBERTは階層型トランスフォーマーアーキテクチャを採用している。 本研究では,発話間の発話レベルのコヒーレンスを効率的に把握するために,マスキング発話回帰と分散発話順序ランキングを含む2つの学習目標を提案する。 3つのマルチターン会話データセットの実験により,BARTやDialoGPTなどのベースラインの定量的評価において,我々のアプローチが著しく優れていることが示された。 人間の評価は、DialogBERTが有意なマージンを持つベースラインよりも、より一貫性があり、情報的で、人間的な反応を生成することを示唆している。

関連論文リスト

• Pre-training Multi-party Dialogue Models with Latent Discourse Inference [85.9683181507206]
  我々は、多人数対話の会話構造、すなわち、各発話が応答する相手を理解するモデルを事前訓練する。 ラベル付きデータを完全に活用するために,談話構造を潜在変数として扱い,それらを共同で推論し,談話認識モデルを事前学習することを提案する。
  論文  参考訳（メタデータ） (2023-05-24T14:06:27Z)
• EM Pre-training for Multi-party Dialogue Response Generation [86.25289241604199]
  多人数対話では、応答発話の宛先を生成前に指定する必要がある。 本稿では,アドレナラベルを生成するための期待ステップを反復的に実行する期待最大化(EM)アプローチを提案する。
  論文  参考訳（メタデータ） (2023-05-21T09:22:41Z)
• Channel-aware Decoupling Network for Multi-turn Dialogue Comprehension [81.47133615169203]
  本稿では,PrLMの逐次文脈化を超えて,発話間の包括的相互作用のための合成学習を提案する。 私たちは、モデルが対話ドメインに適応するのを助けるために、ドメイン適応型トレーニング戦略を採用しています。 実験の結果,提案手法は4つの公開ベンチマークデータセットにおいて,強力なPrLMベースラインを著しく向上させることがわかった。
  論文  参考訳（メタデータ） (2023-01-10T13:18:25Z)
• Improving a sequence-to-sequence nlp model using a reinforcement learning policy algorithm [0.0]
  対話生成の現在のニューラルネットワークモデルは、おしゃべりエージェントの回答を生成する上で非常に有望である。 しかし、彼らは発話を1度ずつ予測し、将来の結果に対する彼らの影響を無視している。 本研究は,対話の長期的成功に基づくニューラルな会話モデル構築に向けた予備的なステップを記念するものである。
  論文  参考訳（メタデータ） (2022-12-28T22:46:57Z)
• DialAug: Mixing up Dialogue Contexts in Contrastive Learning for Robust Conversational Modeling [3.3578533367912025]
  本稿では,対話コンテキストの拡張バージョンを学習目的に組み込むフレームワークを提案する。 提案手法は,従来のデータ拡張手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-04-15T23:39:41Z)
• Towards Robust Online Dialogue Response Generation [62.99904593650087]
  これは、トレーニングと実世界のテストの相違によって引き起こされる可能性がある、と私たちは主張する。 本稿では, 発話レベルサンプリングと半発話レベルサンプリングの両方からなる階層的サンプリング手法を提案する。
  論文  参考訳（メタデータ） (2022-03-07T06:51:41Z)
• Response Generation with Context-Aware Prompt Learning [19.340498579331555]
  本稿では,対話生成問題を素早い学習課題とする,事前学習型対話モデリングのための新しい手法を提案する。 限られた対話データを微調整する代わりに、我々のアプローチであるDialogPromptは、対話コンテキストに最適化された連続的なプロンプト埋め込みを学習する。 提案手法は,微調整ベースラインと汎用的なプロンプト学習法を著しく上回っている。
  論文  参考訳（メタデータ） (2021-11-04T05:40:13Z)
• Ranking Enhanced Dialogue Generation [77.8321855074999]
  対話履歴を効果的に活用する方法は、マルチターン対話生成において重要な問題である。 これまでの研究は通常、歴史をモデル化するために様々なニューラルネットワークアーキテクチャを使用していた。 本稿では,ランキング拡張対話生成フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-08-13T01:49:56Z)
• Modelling Hierarchical Structure between Dialogue Policy and Natural Language Generator with Option Framework for Task-oriented Dialogue System [49.39150449455407]
  HDNOは、特定の対話行為表現の設計を避けるために潜在対話行為を設計するためのオプションフレームワークである。 RL,LaRL,HDSAで学習した単語レベルE2Eモデルと比較して,マルチドメイン対話のデータセットであるMultiWoz 2.0とMultiWoz 2.1でHDNOをテストする。
  論文  参考訳（メタデータ） (2020-06-11T20:55:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。