論文の概要: Multi-Referenced Training for Dialogue Response Generation

• arxiv url: http://arxiv.org/abs/2009.07117v2
• Date: Sun, 18 Oct 2020 08:02:58 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-18 06:06:56.132003
• Title: Multi-Referenced Training for Dialogue Response Generation
• Title（参考訳）: 対話応答生成のためのマルチリファレンストレーニング
• Authors: Tianyu Zhao and Tatsuya Kawahara
• Abstract要約: 実世界の確率分布と単一参照データの確率分布とのギャップは,モデルが1対多の関係を効率的に学習することを妨げることを示す。 我々は、実世界の分布をよりよく近似するマルチ参照データを構築するために、強力な事前学習モデルから多様な擬似参照を生成する。
• 参考スコア（独自算出の注目度）: 36.24321477524634
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In open-domain dialogue response generation, a dialogue context can be continued with diverse responses, and the dialogue models should capture such one-to-many relations. In this work, we first analyze the training objective of dialogue models from the view of Kullback-Leibler divergence (KLD) and show that the gap between the real world probability distribution and the single-referenced data's probability distribution prevents the model from learning the one-to-many relations efficiently. Then we explore approaches to multi-referenced training in two aspects. Data-wise, we generate diverse pseudo references from a powerful pretrained model to build multi-referenced data that provides a better approximation of the real-world distribution. Model-wise, we propose to equip variational models with an expressive prior, named linear Gaussian model (LGM). Experimental results of automated evaluation and human evaluation show that the methods yield significant improvements over baselines. We will release our code and data in https://github.com/ZHAOTING/dialog-processing.
• Abstract（参考訳）: オープンドメイン対話応答生成では、対話コンテキストは多様な応答で継続することができ、対話モデルはそのような一対多の関係を捉える必要がある。 本研究では,まず,KLD(Kulback-Leibler divergence)の観点から対話モデルの学習目標を分析し,実世界の確率分布と単一参照データの確率分布とのギャップが,一対多の関係を効率的に学習することを妨げることを示す。 次に,マルチリファレンストレーニングへのアプローチを2つの側面から検討する。 データに関して、我々は強力な事前学習モデルから多様な擬似参照を生成し、実世界の分布をよりよく近似するマルチ参照データを構築する。 モデルワイドでは,線形ガウスモデル (LGM) という表現的先行モデルを用いた変分モデルを提案する。 自動評価と人的評価実験の結果,本手法はベースラインよりも大幅に改善することがわかった。 コードとデータをhttps://github.com/zhaoting/dialog- processingでリリースします。

関連論文リスト

• Promoting Open-domain Dialogue Generation through Learning Pattern Information between Contexts and Responses [5.936682548344234]
  本稿では,学習サンプルの文脈と応答の間の暗黙的なパターン情報を学ぶことにより,生成した応答の品質を向上させる。 また、文脈と応答間の暗黙的パターン情報をマイニングする応答認識機構を設計し、生成した応答をより多様でヒトの応答に近似するようにした。
  論文  参考訳（メタデータ） (2023-09-06T08:11:39Z)
• Pre-training Multi-party Dialogue Models with Latent Discourse Inference [85.9683181507206]
  我々は、多人数対話の会話構造、すなわち、各発話が応答する相手を理解するモデルを事前訓練する。 ラベル付きデータを完全に活用するために,談話構造を潜在変数として扱い,それらを共同で推論し,談話認識モデルを事前学習することを提案する。
  論文  参考訳（メタデータ） (2023-05-24T14:06:27Z)
• DIONYSUS: A Pre-trained Model for Low-Resource Dialogue Summarization [127.714919036388]
  DIONYSUSは、任意の新しいドメインでの対話を要約するための訓練済みエンコーダデコーダモデルである。 実験の結果,DIONYSUSは6つのデータセット上で既存の手法よりも優れていた。
  論文  参考訳（メタデータ） (2022-12-20T06:21:21Z)
• Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
  微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。 これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。 パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
  論文  参考訳（メタデータ） (2022-12-19T20:46:43Z)
• QAGAN: Adversarial Approach To Learning Domain Invariant Language Features [0.76146285961466]
  ドメイン不変の特徴を学習するための敵対的学習手法について検討する。 EMスコアが15.2%改善され、ドメイン外の検証データセットでF1スコアが5.6%向上しました。
  論文  参考訳（メタデータ） (2022-06-24T17:42:18Z)
• Self-augmented Data Selection for Few-shot Dialogue Generation [18.794770678708637]
  我々は,MR-to-Text生成問題に対処するために,自己学習フレームワークを採用する。 我々は,我々の生成モデルが最も不確実なデータを選択するための新しいデータ選択戦略を提案する。
  論文  参考訳（メタデータ） (2022-05-19T16:25:50Z)
• DialogVED: A Pre-trained Latent Variable Encoder-Decoder Model for Dialog Response Generation [80.45816053153722]
  DialogVEDは、拡張エンコーダデコーダ事前トレーニングフレームワークに連続潜伏変数を導入し、応答の関連性と多様性を高める。 我々は,PersonaChat,DailyDialog,DSTC7-AVSDベンチマークを用いて応答生成実験を行った。
  論文  参考訳（メタデータ） (2022-04-27T16:18:15Z)
• Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
  教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。 提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。 提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T11:55:28Z)
• Enhancing Dialogue Generation via Multi-Level Contrastive Learning [57.005432249952406]
  質問に対する応答のきめ細かい品質をモデル化するマルチレベルコントラスト学習パラダイムを提案する。 Rank-aware (RC) ネットワークはマルチレベルコントラスト最適化の目的を構築するために設計されている。 本研究では,知識推論(KI)コンポーネントを構築し,学習中の参照からキーワードの知識を抽出し,そのような情報を活用して情報的単語の生成を促す。
  論文  参考訳（メタデータ） (2020-09-19T02:41:04Z)
• An Empirical Investigation of Pre-Trained Transformer Language Models for Open-Domain Dialogue Generation [23.343006562849126]
  本稿では,オープンドメイン対話生成作業のための事前学習型トランスフォーマーに基づく自動回帰言語モデルについて実験的に検討する。 事前訓練と微調整の訓練パラダイムは、学習を行うために使用される。 実験は、Weibo、Douban、Reddit、DailyDialog、Persona-Chatといった典型的なシングルターンとマルチターンの対話コーパスで行われる。
  論文  参考訳（メタデータ） (2020-03-09T15:20:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。