論文の概要: PANGUBOT: Efficient Generative Dialogue Pre-training from Pre-trained Language Model

• arxiv url: http://arxiv.org/abs/2203.17090v1
• Date: Thu, 31 Mar 2022 15:09:12 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-01 15:11:01.461378
• Title: PANGUBOT: Efficient Generative Dialogue Pre-training from Pre-trained Language Model
• Title（参考訳）: PANGUBOT: 事前学習言語モデルからの効率的な生成対話事前学習
• Authors: Fei Mi, Yitong Li, Yulong Zeng, Jingyan Zhou, Yasheng Wang, Chuanfei Xu, Lifeng Shang, Xin Jiang, Shiqi Zhao, Qun Liu
• Abstract要約: 本稿では,PANGUBOTについて紹介する。PANGUBOTは,PANGU-alpha(PLM)をベースとした,中国語の事前学習型対話生成モデルである。 PANGUBOTは最先端の中国語対話システムより優れていることを示す。 また,PANGUBOTは,さらなるトレーニングを行なわずに感情的な反応を生成できることを示した。
• 参考スコア（独自算出の注目度）: 47.858326419602115
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we introduce PANGUBOT, a Chinese pre-trained open-domain dialogue generation model based on a large pre-trained language model (PLM) PANGU-alpha (Zeng et al.,2021). Different from other pre-trained dialogue models trained over a massive amount of dialogue data from scratch, we aim to build a powerful dialogue model with relatively fewer data and computation costs by inheriting valuable language capabilities and knowledge from PLMs. To this end, we train PANGUBOT from the large PLM PANGU-alpha, which has been proven well-performed on a variety of Chinese natural language tasks. We investigate different aspects of responses generated by PANGUBOT, including response quality, knowledge, and safety. We show that PANGUBOT outperforms state-of-the-art Chinese dialogue systems (CDIALGPT (Wang et al., 2020), EVA (Zhou et al., 2021)) w.r.t. the above three aspects. We also demonstrate that PANGUBOT can be easily deployed to generate emotional responses without further training. Throughout our empirical analysis, we also point out that the PANGUBOT response quality, knowledge correctness, and safety are still far from perfect, and further explorations are indispensable to building reliable and smart dialogue systems.
• Abstract（参考訳）: 本稿では,PLM(PLM)PANGU-alpha(Zeng et al.,2021)に基づく中国語の事前学習型オープンドメイン対話モデルであるPANGUBOTを紹介する。 大量の対話データをスクラッチから学習した他の事前学習対話モデルと異なり、PLMから貴重な言語能力と知識を継承することにより、比較的少ないデータと計算コストで強力な対話モデルを構築することを目指している。 この目的のために,中国における多種多様な自然言語タスクにおいて良好に機能することが証明されたPLM PANGU-alphaからPANGUBOTを訓練する。 応答品質,知識,安全性など,PANGUBOTが生み出す応答のさまざまな側面について検討する。 PANGUBOTは現状の中国語対話システム(CDIALGPT(Wang et al., 2020), EVA(Zhou et al., 2021)より優れており、上述の3つの側面に優れる。 また,PANGUBOTは,さらなるトレーニングを行なわずに感情的な反応を生成できることを示した。 経験的分析を通じて,パングボットの応答品質,知識の正確性,安全性はいまだに完璧ではないことを指摘し,信頼性とスマートな対話システムの構築にはさらなる探索が不可欠である。

関連論文リスト

• FutureTOD: Teaching Future Knowledge to Pre-trained Language Model for Task-Oriented Dialogue [20.79359173822053]
  本稿では,対話前学習モデルFutureTODを提案する。 我々の直感は、良い対話表現はどちらも局所的な文脈情報を学び、将来の情報を予測することである。
  論文  参考訳（メタデータ） (2023-06-17T10:40:07Z)
• KPT: Keyword-guided Pre-training for Grounded Dialog Generation [82.68787152707455]
  KPT(Guided Pre-Training)は,グラウンドドダイアログ生成のための自己教師付き事前学習手法である。 具体的には、事前訓練された言語モデルを用いて、ダイアログ内の最も不確実なトークンをキーワードとして抽出する。 我々は,対話行為,知識グラフ,ペルソナ記述,ウィキペディアの文節など,数発の知識ベース生成タスクについて広範な実験を行った。
  論文  参考訳（メタデータ） (2022-12-04T04:05:01Z)
• Building a Personalized Dialogue System with Prompt-Tuning [5.942602139622984]
  与えられた文字設定(ペルソナ)に基づいて応答する対話システムを構築する。 本稿では,事前学習された大規模言語モデルに対して,学習コストの低いプロンプトチューニングを利用する手法を提案する。
  論文  参考訳（メタデータ） (2022-06-11T02:21:11Z)
• EVA2.0: Investigating Open-Domain Chinese Dialogue Systems with Large-Scale Pre-Training [73.98154158068134]
  EVA2.0は280億のパラメータを持つ大規模な事前訓練された中国の対話モデルである。 提案するEVA2.0は,280億のパラメータを持つ,大規模で事前訓練されたオープンドメインの中国語対話モデルである。
  論文  参考訳（メタデータ） (2022-03-17T13:33:17Z)
• Response Generation with Context-Aware Prompt Learning [19.340498579331555]
  本稿では,対話生成問題を素早い学習課題とする,事前学習型対話モデリングのための新しい手法を提案する。 限られた対話データを微調整する代わりに、我々のアプローチであるDialogPromptは、対話コンテキストに最適化された連続的なプロンプト埋め込みを学習する。 提案手法は,微調整ベースラインと汎用的なプロンプト学習法を著しく上回っている。
  論文  参考訳（メタデータ） (2021-11-04T05:40:13Z)
• EVA: An Open-Domain Chinese Dialogue System with Large-Scale Generative Pre-Training [40.85554509137999]
  本研究では,2.8Bパラメータを持つ中国最大の事前学習対話モデルを含む中国語対話システムであるEVAを提案する。 このモデルを構築するために、様々なソーシャルメディアからWDC-Dialogueという名前の中国語対話データセットを収集する。 自動評価と人的評価の実験は、EVAが他の中国の事前学習対話モデルより優れていることを示している。
  論文  参考訳（メタデータ） (2021-08-03T14:55:24Z)
• Robustness Testing of Language Understanding in Dialog Systems [33.30143655553583]
  自然言語理解モデルの頑健性に関して総合的な評価と分析を行う。 本稿では,実世界の対話システムにおける言語理解に関連する3つの重要な側面,すなわち言語多様性,音声特性,雑音摂動について紹介する。 対話システムにおける堅牢性問題をテストするための自然摂動を近似するモデル非依存型ツールキットLAUGを提案する。
  論文  参考訳（メタデータ） (2020-12-30T18:18:47Z)
• Knowledge-Grounded Dialogue Generation with Pre-trained Language Models [74.09352261943911]
  我々は、事前学習された言語モデルを用いた知識基底対話生成について研究する。 本稿では,知識選択モジュールを用いた事前学習言語モデルによって定義された等価応答生成を提案する。
  論文  参考訳（メタデータ） (2020-10-17T16:49:43Z)
• TOD-BERT: Pre-trained Natural Language Understanding for Task-Oriented Dialogue [113.45485470103762]
  本研究では,言語モデリングのためのタスク指向対話データセットを,人間とマルチターンの9つに統合する。 事前学習時の対話動作をモデル化するために,ユーザトークンとシステムトークンをマスク付き言語モデルに組み込む。
  論文  参考訳（メタデータ） (2020-04-15T04:09:05Z)
• Low-Resource Knowledge-Grounded Dialogue Generation [74.09352261943913]
  我々は、限られた訓練例しか利用できないという自然な仮定のもと、知識基底による対話生成を考察する。 生成モデル全体から知識基底の対話に依存するパラメータを分離するために,不整合応答デコーダを考案する。 1/8のトレーニングデータだけで、我々のモデルは最先端のパフォーマンスを達成でき、ドメイン外の知識をうまく一般化できる。
  論文  参考訳（メタデータ） (2020-02-24T16:20:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。