論文の概要: StyleDGPT: Stylized Response Generation with Pre-trained Language Models

• arxiv url: http://arxiv.org/abs/2010.02569v1
• Date: Tue, 6 Oct 2020 09:29:50 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-10 06:47:16.266376
• Title: StyleDGPT: Stylized Response Generation with Pre-trained Language Models
• Title（参考訳）: StyleDGPT:事前学習言語モデルによるスティル化応答生成
• Authors: Ze Yang, Wei Wu, Can Xu, Xinnian Liang, Jiaqi Bai, Liran Wang, Wei Wang, Zhoujun Li
• Abstract要約: KL損失とスタイル分類器を導入し、単語レベルと文レベルの両方において、ターゲットスタイルに対して応答生成を操る。 我々のモデルは、スタイル整合性とコンテキスト整合性の両方の観点から、最先端の手法を著しく上回ります。
• 参考スコア（独自算出の注目度）: 39.526613595499356
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generating responses following a desired style has great potentials to extend applications of open-domain dialogue systems, yet is refrained by lacking of parallel data for training. In this work, we explore the challenging task with pre-trained language models that have brought breakthrough to various natural language tasks. To this end, we introduce a KL loss and a style classifier to the fine-tuning step in order to steer response generation towards the target style in both a word-level and a sentence-level. Comprehensive empirical studies with two public datasets indicate that our model can significantly outperform state-of-the-art methods in terms of both style consistency and contextual coherence.
• Abstract（参考訳）: 所望のスタイルに従って応答を生成することは、オープンドメイン対話システムの応用を拡張する大きな可能性を秘めているが、訓練のための並列データの欠如は避けられている。 本研究では,様々な自然言語タスクにブレークスルーをもたらす事前学習型言語モデルを用いた課題について検討する。 この目的のために, 単語レベルと文レベルの両方において, ターゲットスタイルに対して応答生成を操るために, 微調整ステップにKL損失とスタイル分類器を導入する。 2つの公開データセットによる総合的な実証研究は、我々のモデルがスタイル整合性と文脈整合性の両方の観点から最先端の手法を大幅に上回っていることを示している。

関連論文リスト

• Scalable Language Model with Generalized Continual Learning [58.700439919096155]
  The Joint Adaptive Re-ization (JARe) is integrated with Dynamic Task-related Knowledge Retrieval (DTKR) to enable adapt adjust of language model based on specific downstream task。 提案手法は,様々なバックボーンやベンチマーク上での最先端性能を実証し,最小限の忘れを伴い,フルセットおよび少数ショットのシナリオにおいて効果的な連続学習を実現する。
  論文  参考訳（メタデータ） (2024-04-11T04:22:15Z)
• SLM: Learning a Discourse Language Representation with Sentence Unshuffling [53.42814722621715]
  談話言語表現を学習するための新しい事前学習目的である文レベル言語モデリングを導入する。 本モデルでは,この特徴により,従来のBERTの性能が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2020-10-30T13:33:41Z)
• Incorporating Stylistic Lexical Preferences in Generative Language Models [10.62343151429147]
  本稿では,著者の連続的な多次元語彙的嗜好を生成言語モデルに組み込むことにより,特定の著者属性を誘導する手法を提案する。 実験により,提案手法は,対象とする著者の語彙的スタイルと顕著に一致したテキストを生成することができることを示した。
  論文  参考訳（メタデータ） (2020-10-22T09:24:05Z)
• Knowledge-Grounded Dialogue Generation with Pre-trained Language Models [74.09352261943911]
  我々は、事前学習された言語モデルを用いた知識基底対話生成について研究する。 本稿では,知識選択モジュールを用いた事前学習言語モデルによって定義された等価応答生成を提案する。
  論文  参考訳（メタデータ） (2020-10-17T16:49:43Z)
• Semi-supervised Formality Style Transfer using Language Model Discriminator and Mutual Information Maximization [52.867459839641526]
  フォーマル・スタイル・トランスファー(英: Formality style transfer)とは、非公式な文を文法的に正しい形式文に変換するタスクである。 本稿では,言語モデルに基づく識別器を用いて,文が形式的である確率を最大化する半教師付き形式表現スタイル転送モデルを提案する。 実験の結果,我々のモデルは,自動計測と人的判断の両面で,従来の最先端のベースラインを著しく上回りました。
  論文  参考訳（メタデータ） (2020-10-10T21:05:56Z)
• Prototype-to-Style: Dialogue Generation with Style-Aware Editing on Retrieval Memory [65.98002918470543]
  文体対話生成の課題に対処する新しいプロトタイプ・ツー・スタイルのフレームワークを提案する。 このフレームワークは、IR(Information Retrieval)システムを使用して、検索した応答から応答プロトタイプを抽出する。 スタイリスティック応答生成器は、プロトタイプと所望の言語スタイルをモデル入力として、高品質でスタイリスティックな応答を得る。
  論文  参考訳（メタデータ） (2020-04-05T14:36:15Z)
• An Empirical Investigation of Pre-Trained Transformer Language Models for Open-Domain Dialogue Generation [23.343006562849126]
  本稿では,オープンドメイン対話生成作業のための事前学習型トランスフォーマーに基づく自動回帰言語モデルについて実験的に検討する。 事前訓練と微調整の訓練パラダイムは、学習を行うために使用される。 実験は、Weibo、Douban、Reddit、DailyDialog、Persona-Chatといった典型的なシングルターンとマルチターンの対話コーパスで行われる。
  論文  参考訳（メタデータ） (2020-03-09T15:20:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。