論文の概要: Learning an Effective Context-Response Matching Model with
Self-Supervised Tasks for Retrieval-based Dialogues
- arxiv url: http://arxiv.org/abs/2009.06265v1
- Date: Mon, 14 Sep 2020 08:44:46 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-18 12:16:48.538484
- Title: Learning an Effective Context-Response Matching Model with
Self-Supervised Tasks for Retrieval-based Dialogues
- Title（参考訳）: 検索対話のための自己監督タスクを用いた効果的な文脈応答マッチングモデル学習
- Authors: Ruijian Xu, Chongyang Tao, Daxin Jiang, Xueliang Zhao, Dongyan Zhao,
Rui Yan
- Abstract要約: 我々は,次のセッション予測,発話復元,不整合検出,一貫性判定を含む4つの自己教師型タスクを導入する。
我々はPLMに基づく応答選択モデルとこれらの補助タスクをマルチタスク方式で共同で訓練する。
実験結果から,提案した補助的自己教師型タスクは,多ターン応答選択において大きな改善をもたらすことが示された。
- 参考スコア（独自算出の注目度）: 88.73739515457116
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Building an intelligent dialogue system with the ability to select a proper
response according to a multi-turn context is a great challenging task.
Existing studies focus on building a context-response matching model with
various neural architectures or PLMs and typically learning with a single
response prediction task. These approaches overlook many potential training
signals contained in dialogue data, which might be beneficial for context
understanding and produce better features for response prediction. Besides, the
response retrieved from existing dialogue systems supervised by the
conventional way still faces some critical challenges, including incoherence
and inconsistency. To address these issues, in this paper, we propose learning
a context-response matching model with auxiliary self-supervised tasks designed
for the dialogue data based on pre-trained language models. Specifically, we
introduce four self-supervised tasks including next session prediction,
utterance restoration, incoherence detection and consistency discrimination,
and jointly train the PLM-based response selection model with these auxiliary
tasks in a multi-task manner. By this means, the auxiliary tasks can guide the
learning of the matching model to achieve a better local optimum and select a
more proper response. Experiment results on two benchmarks indicate that the
proposed auxiliary self-supervised tasks bring significant improvement for
multi-turn response selection in retrieval-based dialogues, and our model
achieves new state-of-the-art results on both datasets.
- Abstract（参考訳）: マルチターンのコンテキストに応じて適切な応答を選択できるインテリジェントな対話システムを構築することは、非常に難しい課題です。
既存の研究では、さまざまなニューラルネットワークやplmとコンテキスト応答マッチングモデルを構築し、通常、単一の応答予測タスクで学習する。
これらのアプローチでは、対話データに含まれる可能性のある多くのトレーニング信号を無視する。
さらに,従来の対話システムから抽出した応答は,一貫性の欠如や一貫性の欠如など,いくつかの重要な課題に直面している。
本稿では,事前学習された言語モデルに基づく対話データに対して,補助的な自己教師ありタスクを用いた文脈応答マッチングモデルの学習を提案する。
具体的には,次のセッション予測,発話の復元,不整合検出と一貫性判定を含む4つの自己教師型タスクを導入し,これらのタスクをマルチタスクで学習する。
つまり、補助的なタスクはマッチングモデルの学習を誘導し、より良い局所的な最適性を達成し、より適切な応答を選択することができる。
2つのベンチマークによる実験結果から,提案した自己教師型タスクは,検索ベース対話における多ターン応答選択に大きな改善をもたらすことが示唆された。
関連論文リスト
- PICK: Polished & Informed Candidate Scoring for Knowledge-Grounded
Dialogue Systems [59.1250765143521]
現在の知識接地対話システムは、生成された応答を人間に好まれる品質に合わせるのに失敗することが多い。
我々は,世代別再描画フレームワークであるPolseed & Informed Candidate Scoring (PICK)を提案する。
対話履歴に関連性を維持しつつ,より忠実な応答を生成するためのPICKの有効性を示す。
論文 参考訳（メタデータ） (2023-09-19T08:27:09Z) - Utterance Rewriting with Contrastive Learning in Multi-turn Dialogue [22.103162555263143]
比較学習とマルチタスク学習を導入し、問題を共同でモデル化する。
提案手法は,複数の公開データセット上での最先端性能を実現する。
論文 参考訳（メタデータ） (2022-03-22T10:13:27Z) - Small Changes Make Big Differences: Improving Multi-turn Response
Selection \\in Dialogue Systems via Fine-Grained Contrastive Learning [27.914380392295815]
検索に基づく対話応答選択は、マルチターンコンテキストが与えられた候補集合から適切な応答を求めることを目的としている。
PLMに基づく応答選択タスクのための新しいtextbfFine-textbfGrained textbfContrastive (FGC) 学習法を提案する。
論文 参考訳（メタデータ） (2021-11-19T11:07:07Z) - WeaSuL: Weakly Supervised Dialogue Policy Learning: Reward Estimation
for Multi-turn Dialogue [17.663449579168297]
エージェントとユーザ(教師付き学習目標を持つエージェントに類似したモデル化)の対話をシミュレートし、相互に対話する。
エージェントは動的ブロッキングを使用して、ランク付けされた多様な応答と探索-探索を生成し、トップK応答の中から選択する。
2つのベンチマークによる実証研究は、我々のモデルが応答品質を著しく上回り、会話の成功につながることを示唆している。
論文 参考訳（メタデータ） (2021-08-01T08:00:45Z) - Self-supervised Dialogue Learning for Spoken Conversational Question
Answering [29.545937716796082]
音声対話質問応答(SCQA)では、複数の会話を含む固定された音声文書を検索して分析することにより、対応する質問に対する回答を生成する。
本研究では,不整合判定,挿入検出,質問予測などの自己教師付き学習手法を導入し,コア参照の解決と対話のコヒーレンスを明確に把握する。
提案手法は,従来の事前学習言語モデルと比較して,より一貫性があり,意味があり,適切な応答を提供する。
論文 参考訳（メタデータ） (2021-06-04T00:09:38Z) - Structural Pre-training for Dialogue Comprehension [51.215629336320305]
本稿では,SPIDER, Structure Pre-trained DialoguE Readerについて述べる。
対話のような特徴をシミュレートするために,元のLM目的に加えて,2つの訓練目標を提案する。
広く使われている対話ベンチマークの実験結果から,新たに導入した自己教師型タスクの有効性が検証された。
論文 参考訳（メタデータ） (2021-05-23T15:16:54Z) - Dialogue History Matters! Personalized Response Selectionin Multi-turn
Retrieval-based Chatbots [62.295373408415365]
本稿では,コンテキスト応答マッチングのためのパーソナライズドハイブリッドマッチングネットワーク(phmn)を提案する。
1) ユーザ固有の対話履歴からパーソナライズされた発話行動を付加的なマッチング情報として抽出する。
ユーザ識別による2つの大規模データセット,すなわちパーソナライズされた対話 Corpus Ubuntu (P-Ubuntu) とパーソナライズされたWeiboデータセット (P-Weibo) のモデルを評価する。
論文 参考訳（メタデータ） (2021-03-17T09:42:11Z) - Probing Task-Oriented Dialogue Representation from Language Models [106.02947285212132]
本稿では,タスク指向対話タスクにおいて,どのモデルが本質的に最も有意義な表現を担っているかを明らかにするために,事前学習された言語モデルについて検討する。
我々は、アノテートラベルを教師付き方法で固定された事前学習言語モデルの上に、分類器プローブとしてフィードフォワード層を微調整する。
論文 参考訳（メタデータ） (2020-10-26T21:34:39Z) - Enhancing Dialogue Generation via Multi-Level Contrastive Learning [57.005432249952406]
質問に対する応答のきめ細かい品質をモデル化するマルチレベルコントラスト学習パラダイムを提案する。
Rank-aware (RC) ネットワークはマルチレベルコントラスト最適化の目的を構築するために設計されている。
本研究では,知識推論(KI)コンポーネントを構築し,学習中の参照からキーワードの知識を抽出し,そのような情報を活用して情報的単語の生成を促す。
論文 参考訳（メタデータ） (2020-09-19T02:41:04Z) - Do Response Selection Models Really Know What's Next? Utterance
Manipulation Strategies for Multi-turn Response Selection [11.465266718370536]
本研究では,検索に基づく対話システムにおけるユーザとシステム発話履歴の最適応答を選択するタスクについて検討する。
この問題に対処するための発話操作戦略(UMS)を提案する。
UMSは、ダイアログコヒーレンスを維持するための応答選択モデルを支援するいくつかの戦略(挿入、削除、検索)から構成される。
論文 参考訳（メタデータ） (2020-09-10T07:39:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。