論文の概要: Promoting Open-domain Dialogue Generation through Learning Pattern
Information between Contexts and Responses
- arxiv url: http://arxiv.org/abs/2309.02823v1
- Date: Wed, 6 Sep 2023 08:11:39 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-07 16:16:11.954840
- Title: Promoting Open-domain Dialogue Generation through Learning Pattern
Information between Contexts and Responses
- Title（参考訳）: 文脈と応答のパターン情報学習によるオープンドメイン対話生成の促進
- Authors: Mengjuan Liu, Chenyang Liu, Yunfan Yang, Jiang Liu, Mohan Jing
- Abstract要約: 本稿では,学習サンプルの文脈と応答の間の暗黙的なパターン情報を学ぶことにより,生成した応答の品質を向上させる。
また、文脈と応答間の暗黙的パターン情報をマイニングする応答認識機構を設計し、生成した応答をより多様でヒトの応答に近似するようにした。
- 参考スコア（独自算出の注目度）: 5.936682548344234
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently, utilizing deep neural networks to build the opendomain dialogue
models has become a hot topic. However, the responses generated by these models
suffer from many problems such as responses not being contextualized and tend
to generate generic responses that lack information content, damaging the
user's experience seriously. Therefore, many studies try introducing more
information into the dialogue models to make the generated responses more vivid
and informative. Unlike them, this paper improves the quality of generated
responses by learning the implicit pattern information between contexts and
responses in the training samples. In this paper, we first build an open-domain
dialogue model based on the pre-trained language model (i.e., GPT-2). And then,
an improved scheduled sampling method is proposed for pre-trained models, by
which the responses can be used to guide the response generation in the
training phase while avoiding the exposure bias problem. More importantly, we
design a response-aware mechanism for mining the implicit pattern information
between contexts and responses so that the generated replies are more diverse
and approximate to human replies. Finally, we evaluate the proposed model (RAD)
on the Persona-Chat and DailyDialog datasets; and the experimental results show
that our model outperforms the baselines on most automatic and manual metrics.
- Abstract（参考訳）: 近年,深層ニューラルネットワークによるオープンドメイン対話モデルの構築が話題となっている。
しかし、これらのモデルが生成する応答は、文脈化されていない応答や、情報内容が欠けている一般的な応答を生成する傾向、ユーザの体験に深刻なダメージを与えるなど、多くの問題に悩まされる。
したがって、多くの研究が対話モデルにより多くの情報を導入して、生成した応答をより鮮明かつ情報豊かにしようとする。
それらと異なり,学習サンプルにおける文脈と応答の暗黙的なパターン情報を学習することにより,生成した応答の質を向上させる。
本稿では,まず,事前学習言語モデル(GPT-2)に基づくオープンドメイン対話モデルを構築する。
そして, 事前学習モデルにおいて, 露出バイアス問題を避けつつ, 学習段階での応答生成を誘導するために, 応答を活用できる改良されたスケジュールサンプリング法を提案する。
より重要なことは、生成した応答がより多様でヒトの応答に近似するように、文脈と応答の間の暗黙のパターン情報をマイニングする応答認識機構を設計することである。
最後に,提案モデル(rad)をペルソナチャットおよび日次ダイアログデータセット上で評価し,本モデルがほとんどの自動メトリクスおよび手動メトリクスのベースラインを上回ることを示す。
関連論文リスト
- PICK: Polished & Informed Candidate Scoring for Knowledge-Grounded
Dialogue Systems [59.1250765143521]
現在の知識接地対話システムは、生成された応答を人間に好まれる品質に合わせるのに失敗することが多い。
我々は,世代別再描画フレームワークであるPolseed & Informed Candidate Scoring (PICK)を提案する。
対話履歴に関連性を維持しつつ,より忠実な応答を生成するためのPICKの有効性を示す。
論文 参考訳（メタデータ） (2023-09-19T08:27:09Z) - Learning from Perturbations: Diverse and Informative Dialogue Generation
with Inverse Adversarial Training [10.17868476063421]
Inverse Adversarial Training (IAT) アルゴリズムを提案する。
IATはモデルに対話履歴の摂動に敏感であり、従って摂動から学ぶことを奨励する。
提案手法は対話履歴をモデル化し,より多様で一貫した応答を生成する。
論文 参考訳（メタデータ） (2021-05-31T17:28:37Z) - Enhancing Dialogue Generation via Multi-Level Contrastive Learning [57.005432249952406]
質問に対する応答のきめ細かい品質をモデル化するマルチレベルコントラスト学習パラダイムを提案する。
Rank-aware (RC) ネットワークはマルチレベルコントラスト最適化の目的を構築するために設計されている。
本研究では,知識推論(KI)コンポーネントを構築し,学習中の参照からキーワードの知識を抽出し,そのような情報を活用して情報的単語の生成を促す。
論文 参考訳（メタデータ） (2020-09-19T02:41:04Z) - Learning an Effective Context-Response Matching Model with
Self-Supervised Tasks for Retrieval-based Dialogues [88.73739515457116]
我々は,次のセッション予測,発話復元,不整合検出,一貫性判定を含む4つの自己教師型タスクを導入する。
我々はPLMに基づく応答選択モデルとこれらの補助タスクをマルチタスク方式で共同で訓練する。
実験結果から,提案した補助的自己教師型タスクは,多ターン応答選択において大きな改善をもたらすことが示された。
論文 参考訳（メタデータ） (2020-09-14T08:44:46Z) - Ranking Enhanced Dialogue Generation [77.8321855074999]
対話履歴を効果的に活用する方法は、マルチターン対話生成において重要な問題である。
これまでの研究は通常、歴史をモデル化するために様々なニューラルネットワークアーキテクチャを使用していた。
本稿では,ランキング拡張対話生成フレームワークを提案する。
論文 参考訳（メタデータ） (2020-08-13T01:49:56Z) - A Controllable Model of Grounded Response Generation [122.7121624884747]
現在のエンドツーエンドのニューラルネットワークモデルは、応答生成プロセスにセマンティックコントロールを課す柔軟性を本質的に欠いている。
我々は制御可能な接地応答生成(CGRG)と呼ばれるフレームワークを提案する。
このフレームワークを用いることで、会話のようなRedditデータセットでトレーニングされた、新しいインダクティブアテンション機構を備えたトランスフォーマーベースのモデルが、強力な生成ベースラインを上回っていることを示す。
論文 参考訳（メタデータ） (2020-05-01T21:22:08Z) - Counterfactual Off-Policy Training for Neural Response Generation [94.76649147381232]
本稿では,反実的推論による潜在的応答の探索を提案する。
対人学習の枠組みの下での対物反応の訓練は、潜在的応答空間の高逆領域を探索するのに役立つ。
DailyDialogデータセットに関する実証的研究は、我々のアプローチがHREDモデルを大幅に上回っていることを示している。
論文 参考訳（メタデータ） (2020-04-29T22:46:28Z) - An Empirical Investigation of Pre-Trained Transformer Language Models
for Open-Domain Dialogue Generation [23.343006562849126]
本稿では,オープンドメイン対話生成作業のための事前学習型トランスフォーマーに基づく自動回帰言語モデルについて実験的に検討する。
事前訓練と微調整の訓練パラダイムは、学習を行うために使用される。
実験は、Weibo、Douban、Reddit、DailyDialog、Persona-Chatといった典型的なシングルターンとマルチターンの対話コーパスで行われる。
論文 参考訳（メタデータ） (2020-03-09T15:20:21Z) - Posterior-GAN: Towards Informative and Coherent Response Generation with
Posterior Generative Adversarial Network [38.576579498740244]
我々は,新しいエンコーダデコーダに基づく生成逆学習フレームワーク,Posterior Generative Adversarial Network (Posterior-GAN)を提案する。
実験結果から,本手法は自動評価と人的評価の両方において,生成した応答の情報性とコヒーレンスを効果的に向上させることが示された。
論文 参考訳（メタデータ） (2020-03-04T11:57:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。