論文の概要: Group-wise Contrastive Learning for Neural Dialogue Generation

• arxiv url: http://arxiv.org/abs/2009.07543v2
• Date: Tue, 13 Oct 2020 04:12:07 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-17 23:02:44.114781
• Title: Group-wise Contrastive Learning for Neural Dialogue Generation
• Title（参考訳）: グループワイドコントラスト学習によるニューラルダイアログ生成
• Authors: Hengyi Cai, Hongshen Chen, Yonghao Song, Zhuoye Ding, Yongjun Bao, Weipeng Yan, Xiaofang Zhao
• Abstract要約: 対話生成に比較学習を導入し、モデルが肯定的発話と否定的発話の差を明示的に知覚する。 ヒトの会話におけるマルチマッピング関係を管理するために,グループワイド二重サンプリングによる対照対話学習を強化した。
• 参考スコア（独自算出の注目度）: 29.749195182401344
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural dialogue response generation has gained much popularity in recent years. Maximum Likelihood Estimation (MLE) objective is widely adopted in existing dialogue model learning. However, models trained with MLE objective function are plagued by the low-diversity issue when it comes to the open-domain conversational setting. Inspired by the observation that humans not only learn from the positive signals but also benefit from correcting behaviors of undesirable actions, in this work, we introduce contrastive learning into dialogue generation, where the model explicitly perceives the difference between the well-chosen positive and negative utterances. Specifically, we employ a pretrained baseline model as a reference. During contrastive learning, the target dialogue model is trained to give higher conditional probabilities for the positive samples, and lower conditional probabilities for those negative samples, compared to the reference model. To manage the multi-mapping relations prevailed in human conversation, we augment contrastive dialogue learning with group-wise dual sampling. Extensive experimental results show that the proposed group-wise contrastive learning framework is suited for training a wide range of neural dialogue generation models with very favorable performance over the baseline training approaches.
• Abstract（参考訳）: 近年,ニューラルダイアログ応答生成が盛んに行われている。 既存の対話モデル学習では,最大度推定(mle)目標が広く採用されている。 しかし、MLEの目的関数で訓練されたモデルは、オープンドメインの会話設定に関して、低多様性の問題に悩まされている。 本研究は、人間が肯定的な信号から学習するだけでなく、好ましくない行動の行動の修正の恩恵を受けるという観察から着想を得たものであり、本研究では、モデルが正の発話と負の発話の相違を明示的に知覚する対話生成に対照的な学習を導入する。 具体的には、事前訓練されたベースラインモデルを参照として採用する。 比較学習において,対象対話モデルは,正のサンプルに対して高い条件確率を与え,負のサンプルに対して低い条件確率を与えるよう訓練される。 ヒトの会話におけるマルチマッピング関係を管理するために,グループワイド二重サンプリングによる対話学習を強化する。 広範な実験結果から,提案するグループ間コントラスト学習フレームワークは,ベースライントレーニングアプローチよりも高いパフォーマンスを持つ幅広いニューラルネットワーク対話生成モデルの訓練に適していることが示された。

関連論文リスト

• Towards Robust Online Dialogue Response Generation [62.99904593650087]
  これは、トレーニングと実世界のテストの相違によって引き起こされる可能性がある、と私たちは主張する。 本稿では, 発話レベルサンプリングと半発話レベルサンプリングの両方からなる階層的サンプリング手法を提案する。
  論文  参考訳（メタデータ） (2022-03-07T06:51:41Z)
• A Brief Study on the Effects of Training Generative Dialogue Models with a Semantic loss [37.8626106992769]
  本研究は,モデルが相互に反応し,セマンティックな類似度にスコア付けするための学習目標を最小化する効果について考察する。 目標指向対話における次の発話生成タスクにおける2つの異なるデータセットについて、このアイデアを探求する。
  論文  参考訳（メタデータ） (2021-06-20T04:39:29Z)
• Synthesizing Adversarial Negative Responses for Robust Response Ranking and Evaluation [34.52276336319678]
  オープンドメインニューラルダイアログモデルは、応答のランク付けと評価タスクにおいて高い性能を達成している。 コンテンツ類似性への過度な依存は、モデルが不整合の存在に敏感でないようにする。 本稿では,逆負の学習データを自動生成する手法を提案する。
  論文  参考訳（メタデータ） (2021-06-10T16:20:55Z)
• Learning from Perturbations: Diverse and Informative Dialogue Generation with Inverse Adversarial Training [10.17868476063421]
  Inverse Adversarial Training (IAT) アルゴリズムを提案する。 IATはモデルに対話履歴の摂動に敏感であり、従って摂動から学ぶことを奨励する。 提案手法は対話履歴をモデル化し,より多様で一貫した応答を生成する。
  論文  参考訳（メタデータ） (2021-05-31T17:28:37Z)
• I like fish, especially dolphins: Addressing Contradictions in Dialogue Modeling [104.09033240889106]
  DialoguE Contradiction Detection Task(DECODE)と、人間とロボットの矛盾した対話の両方を含む新しい会話データセットを紹介します。 次に、事前学習したトランスフォーマーモデルを用いて、定型的非構造的アプローチと矛盾検出を行う構造的発話に基づくアプローチを比較する。
  論文  参考訳（メタデータ） (2020-12-24T18:47:49Z)
• Knowledge-Grounded Dialogue Generation with Pre-trained Language Models [74.09352261943911]
  我々は、事前学習された言語モデルを用いた知識基底対話生成について研究する。 本稿では,知識選択モジュールを用いた事前学習言語モデルによって定義された等価応答生成を提案する。
  論文  参考訳（メタデータ） (2020-10-17T16:49:43Z)
• Enhancing Dialogue Generation via Multi-Level Contrastive Learning [57.005432249952406]
  質問に対する応答のきめ細かい品質をモデル化するマルチレベルコントラスト学習パラダイムを提案する。 Rank-aware (RC) ネットワークはマルチレベルコントラスト最適化の目的を構築するために設計されている。 本研究では,知識推論(KI)コンポーネントを構築し,学習中の参照からキーワードの知識を抽出し,そのような情報を活用して情報的単語の生成を促す。
  論文  参考訳（メタデータ） (2020-09-19T02:41:04Z)
• Multi-Referenced Training for Dialogue Response Generation [36.24321477524634]
  実世界の確率分布と単一参照データの確率分布とのギャップは,モデルが1対多の関係を効率的に学習することを妨げることを示す。 我々は、実世界の分布をよりよく近似するマルチ参照データを構築するために、強力な事前学習モデルから多様な擬似参照を生成する。
  論文  参考訳（メタデータ） (2020-09-15T14:17:53Z)
• Learning an Effective Context-Response Matching Model with Self-Supervised Tasks for Retrieval-based Dialogues [88.73739515457116]
  我々は,次のセッション予測,発話復元,不整合検出,一貫性判定を含む4つの自己教師型タスクを導入する。 我々はPLMに基づく応答選択モデルとこれらの補助タスクをマルチタスク方式で共同で訓練する。 実験結果から,提案した補助的自己教師型タスクは,多ターン応答選択において大きな改善をもたらすことが示された。
  論文  参考訳（メタデータ） (2020-09-14T08:44:46Z)
• Low-Resource Knowledge-Grounded Dialogue Generation [74.09352261943913]
  我々は、限られた訓練例しか利用できないという自然な仮定のもと、知識基底による対話生成を考察する。 生成モデル全体から知識基底の対話に依存するパラメータを分離するために,不整合応答デコーダを考案する。 1/8のトレーニングデータだけで、我々のモデルは最先端のパフォーマンスを達成でき、ドメイン外の知識をうまく一般化できる。
  論文  参考訳（メタデータ） (2020-02-24T16:20:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。