論文の概要: Learning from Perturbations: Diverse and Informative Dialogue Generation with Inverse Adversarial Training

• arxiv url: http://arxiv.org/abs/2105.15171v1
• Date: Mon, 31 May 2021 17:28:37 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-01 19:36:44.507224
• Title: Learning from Perturbations: Diverse and Informative Dialogue Generation with Inverse Adversarial Training
• Title（参考訳）: 摂動からの学習:逆対向学習を用いた多変量・インフォーマティブ対話生成
• Authors: Wangchunshu Zhou, Qifei Li, Chenle Li
• Abstract要約: Inverse Adversarial Training (IAT) アルゴリズムを提案する。 IATはモデルに対話履歴の摂動に敏感であり、従って摂動から学ぶことを奨励する。 提案手法は対話履歴をモデル化し,より多様で一貫した応答を生成する。
• 参考スコア（独自算出の注目度）: 10.17868476063421
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we propose Inverse Adversarial Training (IAT) algorithm for training neural dialogue systems to avoid generic responses and model dialogue history better. In contrast to standard adversarial training algorithms, IAT encourages the model to be sensitive to the perturbation in the dialogue history and therefore learning from perturbations. By giving higher rewards for responses whose output probability reduces more significantly when dialogue history is perturbed, the model is encouraged to generate more diverse and consistent responses. By penalizing the model when generating the same response given perturbed dialogue history, the model is forced to better capture dialogue history and generate more informative responses. Experimental results on two benchmark datasets show that our approach can better model dialogue history and generate more diverse and consistent responses. In addition, we point out a problem of the widely used maximum mutual information (MMI) based methods for improving the diversity of dialogue response generation models and demonstrate it empirically.
• Abstract（参考訳）: 本稿では, 汎用応答やモデル対話履歴を改善するために, ニューラル対話システムを訓練するための逆逆学習(IAT)アルゴリズムを提案する。 標準的な対人訓練アルゴリズムとは対照的に、IATは対話履歴の摂動に敏感であり、従って摂動から学ぶことを奨励する。 対話履歴の摂動によって出力確率が大幅に低下する応答に対してより高い報酬を与えることにより、モデルはより多様で一貫した応答を生成することが奨励される。 摂動対話履歴が与えられた同じ応答を生成する際にモデルをペナルティ化することにより、モデルは対話履歴をよりよく捉え、より情報的な応答を生成することを余儀なくされる。 2つのベンチマークデータセットによる実験結果から,本手法は対話履歴をモデル化し,より多様で一貫した応答を生成する。 さらに,対話応答生成モデルの多様性を向上させるために広く利用されている最大相互情報(MMI)に基づく手法の問題点を指摘し,それを実証的に示す。

関連論文リスト

• PICK: Polished & Informed Candidate Scoring for Knowledge-Grounded Dialogue Systems [59.1250765143521]
  現在の知識接地対話システムは、生成された応答を人間に好まれる品質に合わせるのに失敗することが多い。 我々は,世代別再描画フレームワークであるPolseed & Informed Candidate Scoring (PICK)を提案する。 対話履歴に関連性を維持しつつ,より忠実な応答を生成するためのPICKの有効性を示す。
  論文  参考訳（メタデータ） (2023-09-19T08:27:09Z)
• Promoting Open-domain Dialogue Generation through Learning Pattern Information between Contexts and Responses [5.936682548344234]
  本稿では,学習サンプルの文脈と応答の間の暗黙的なパターン情報を学ぶことにより,生成した応答の品質を向上させる。 また、文脈と応答間の暗黙的パターン情報をマイニングする応答認識機構を設計し、生成した応答をより多様でヒトの応答に近似するようにした。
  論文  参考訳（メタデータ） (2023-09-06T08:11:39Z)
• EM Pre-training for Multi-party Dialogue Response Generation [86.25289241604199]
  多人数対話では、応答発話の宛先を生成前に指定する必要がある。 本稿では,アドレナラベルを生成するための期待ステップを反復的に実行する期待最大化(EM)アプローチを提案する。
  論文  参考訳（メタデータ） (2023-05-21T09:22:41Z)
• Less is More: Learning to Refine Dialogue History for Personalized Dialogue Generation [57.73547958927826]
  我々は,対話履歴をより多く処理し,より正確なペルソナ情報を得ることのできる,ユーザ対話履歴を大規模に洗練することを提案する。 具体的には、3つの個人情報精算器とパーソナライズされた応答生成器で構成されるMSPモデルを設計する。
  論文  参考訳（メタデータ） (2022-04-18T02:02:56Z)
• DialAug: Mixing up Dialogue Contexts in Contrastive Learning for Robust Conversational Modeling [3.3578533367912025]
  本稿では,対話コンテキストの拡張バージョンを学習目的に組み込むフレームワークを提案する。 提案手法は,従来のデータ拡張手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-04-15T23:39:41Z)
• Refine and Imitate: Reducing Repetition and Inconsistency in Persuasion Dialogues via Reinforcement Learning and Human Demonstration [45.14559188965439]
  ユーザシミュレータを使わずにmleベースの言語モデルの洗練に強化学習を適用することを提案する。 我々は報酬を通じて繰り返し、矛盾、タスク関連に関する文レベル情報を蒸留する。 実験により,我々のモデルは,自動測定結果と人的評価結果の両方において,従来の最先端対話モデルよりも優れていたことがわかった。
  論文  参考訳（メタデータ） (2020-12-31T00:02:51Z)
• DialogBERT: Discourse-Aware Response Generation via Learning to Recover and Rank Utterances [18.199473005335093]
  本稿では,従来の PLM に基づく対話モデルを強化した対話応答生成モデルである DialogBERT を提案する。 発話間の談話レベルのコヒーレンスを効果的に把握するために,マスク付き発話回帰を含む2つの訓練目標を提案する。 3つのマルチターン会話データセットの実験により、我々のアプローチがベースラインを著しく上回ることを示した。
  論文  参考訳（メタデータ） (2020-12-03T09:06:23Z)
• Dialogue Distillation: Open-Domain Dialogue Augmentation Using Unpaired Data [61.71319905364992]
  未ペアデータを利用したオープンドメイン対話モデルのトレーニングのための新しいデータ拡張手法を提案する。 データレベルの蒸留プロセスが最初に提案され、未確認データからポストとレスポンスの両方を検索する拡張ダイアログを構築する。 低品質の対話をフィルタリングするためにランキングモジュールが使用される。 モデルレベルの蒸留プロセスを用いて、高品質なペアデータに基づいて訓練された教師モデルを、強化された対話ペアに蒸留する。
  論文  参考訳（メタデータ） (2020-09-20T13:06:38Z)
• Learning an Effective Context-Response Matching Model with Self-Supervised Tasks for Retrieval-based Dialogues [88.73739515457116]
  我々は,次のセッション予測,発話復元,不整合検出,一貫性判定を含む4つの自己教師型タスクを導入する。 我々はPLMに基づく応答選択モデルとこれらの補助タスクをマルチタスク方式で共同で訓練する。 実験結果から,提案した補助的自己教師型タスクは,多ターン応答選択において大きな改善をもたらすことが示された。
  論文  参考訳（メタデータ） (2020-09-14T08:44:46Z)
• Ranking Enhanced Dialogue Generation [77.8321855074999]
  対話履歴を効果的に活用する方法は、マルチターン対話生成において重要な問題である。 これまでの研究は通常、歴史をモデル化するために様々なニューラルネットワークアーキテクチャを使用していた。 本稿では,ランキング拡張対話生成フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-08-13T01:49:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。