論文の概要: Multi-Stage Prompting for Knowledgeable Dialogue Generation

• arxiv url: http://arxiv.org/abs/2203.08745v1
• Date: Wed, 16 Mar 2022 16:53:43 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-17 13:48:13.749505
• Title: Multi-Stage Prompting for Knowledgeable Dialogue Generation
• Title（参考訳）: 対話生成のための多段階プロンプト
• Authors: Zihan Liu, Mostofa Patwary, Ryan Prenger, Shrimai Prabhumoye, Wei Ping, Mohammad Shoeybi, Bryan Catanzaro
• Abstract要約: 本稿では,1つの事前学習されたLMから知識のある応答を生成するためのマルチステージプロンプト手法を提案する。 その結果,知識生成装置は最先端の検索ベースモデルよりも5.8%優れていた。 我々は、モデルを5300億のパラメータに拡張し、より大きなLMが生成精度のスコアを最大10%向上させることを示す。
• 参考スコア（独自算出の注目度）: 43.14988592052137
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing knowledge-grounded dialogue systems typically use finetuned versions of a pretrained language model (LM) and large-scale knowledge bases. These models typically fail to generalize on topics outside of the knowledge base, and require maintaining separate potentially large checkpoints each time finetuning is needed. In this paper, we aim to address these limitations by leveraging the inherent knowledge stored in the pretrained LM as well as its powerful generation ability. We propose a multi-stage prompting approach to generate knowledgeable responses from a single pretrained LM. We first prompt the LM to generate knowledge based on the dialogue context. Then, we further prompt it to generate responses based on the dialogue context and the previously generated knowledge. Results show that our knowledge generator outperforms the state-of-the-art retrieval-based model by 5.8% when combining knowledge relevance and correctness. In addition, our multi-stage prompting outperforms the finetuning-based dialogue model in terms of response knowledgeability and engagement by up to 10% and 5%, respectively. Furthermore, we scale our model up to 530 billion parameters and show that larger LMs improve the generation correctness score by up to 10%, and response relevance, knowledgeability and engagement by up to 10%. Our code is available at: https://github.com/NVIDIA/Megatron-LM.
• Abstract（参考訳）: 既存の知識基底対話システムは、通常、訓練済み言語モデル(LM)の微調整版と大規模知識ベースを使用する。 これらのモデルは通常、知識ベース以外のトピックの一般化に失敗し、微調整が必要なたびに、潜在的に大きなチェックポイントを個別に維持する必要があります。 本稿では,事前学習したLMに格納されている固有知識と,その強力な生成能力を活用して,これらの制約に対処することを目的とする。 本稿では,1つの事前学習されたLMから知識のある応答を生成するためのマルチステージプロンプト手法を提案する。 まず、対話コンテキストに基づいて知識を生成することをLMに促す。 そして、さらに、対話コンテキストと予め生成された知識に基づいて、応答を生成するように促す。 その結果,知識関連性と正当性を組み合わせた場合,知識生成は最先端の検索ベースモデルよりも5.8%優れていた。 さらに,多段階対話は,応答の知識とエンゲージメントを最大10%,エンゲージメントを最大5%,微調整に基づく対話モデルよりも優れていた。 さらに,最大5300億のパラメータをスケールして,より大きなlmsが生成正確度スコアを最大10%向上させ,応答関連性,知識性,関与度を最大10%向上させることを示した。 私たちのコードは、https://github.com/NVIDIA/Megatron-LM.comで利用可能です。

関連論文リスト

• What Matters in Memorizing and Recalling Facts? Multifaceted Benchmarks for Knowledge Probing in Language Models [15.057992220389604]
  言語モデルは事実の知識を扱うのに苦労し、事実の幻覚の問題を呈する。 本稿では,エンコーダとデコーダを用いた事前学習言語モデルの知識リコール能力を評価するための知識探索ベンチマークBELIEF(ICL)を提案する。 非常に多様なプロンプトを持つMyriadLAMAを半自動で作成します。
  論文  参考訳（メタデータ） (2024-06-18T05:11:35Z)
• KPT: Keyword-guided Pre-training for Grounded Dialog Generation [82.68787152707455]
  KPT(Guided Pre-Training)は,グラウンドドダイアログ生成のための自己教師付き事前学習手法である。 具体的には、事前訓練された言語モデルを用いて、ダイアログ内の最も不確実なトークンをキーワードとして抽出する。 我々は,対話行為,知識グラフ,ペルソナ記述,ウィキペディアの文節など,数発の知識ベース生成タスクについて広範な実験を行った。
  論文  参考訳（メタデータ） (2022-12-04T04:05:01Z)
• Response Generation with Context-Aware Prompt Learning [19.340498579331555]
  本稿では,対話生成問題を素早い学習課題とする,事前学習型対話モデリングのための新しい手法を提案する。 限られた対話データを微調整する代わりに、我々のアプローチであるDialogPromptは、対話コンテキストに最適化された連続的なプロンプト埋め込みを学習する。 提案手法は,微調整ベースラインと汎用的なプロンプト学習法を著しく上回っている。
  論文  参考訳（メタデータ） (2021-11-04T05:40:13Z)
• Think Before You Speak: Explicitly Generating Implicit Commonsense Knowledge for Response Generation [45.86667254934832]
  常識のような暗黙の知識は、人間の会話を流動させる鍵となる。 本稿では、暗黙のコモンセンス知識(思考)を最初に外部化するための生成的アプローチであるThink-Before-Speaking(TBS)を紹介し、この知識を用いて応答(発話)を生成する。 実証実験の結果、TBSモデルは、ほとんどの自動測定値において、エンドツーエンドおよび知識強化されたRGベースラインよりも優れていた。
  論文  参考訳（メタデータ） (2021-10-16T07:27:12Z)
• Knowledge Injection into Dialogue Generation via Language Models [85.65843021510521]
  InjKは対話生成モデルに知識を注入するための2段階のアプローチである。 まず、大規模言語モデルをトレーニングし、テキスト知識としてクエリする。 次に、対話生成モデルを作成し、テキスト知識と対応する応答を逐次生成する。
  論文  参考訳（メタデータ） (2020-04-30T07:31:24Z)
• Unsupervised Commonsense Question Answering with Self-Talk [71.63983121558843]
  本稿では,コモンセンスタスクの代替として,セルフトークに基づく教師なしフレームワークを提案する。 探索に基づく探索学習にインスパイアされた我々のアプローチは、質問を求める多くの情報で言語モデルに問い合わせる。 実験結果から,ゼロショット言語モデルベースラインの性能が大幅に向上することが示唆された。
  論文  参考訳（メタデータ） (2020-04-11T20:43:37Z)
• Low-Resource Knowledge-Grounded Dialogue Generation [74.09352261943913]
  我々は、限られた訓練例しか利用できないという自然な仮定のもと、知識基底による対話生成を考察する。 生成モデル全体から知識基底の対話に依存するパラメータを分離するために,不整合応答デコーダを考案する。 1/8のトレーニングデータだけで、我々のモデルは最先端のパフォーマンスを達成でき、ドメイン外の知識をうまく一般化できる。
  論文  参考訳（メタデータ） (2020-02-24T16:20:32Z)
• Sequential Latent Knowledge Selection for Knowledge-Grounded Dialogue [51.513276162736844]
  この問題に対する最初のアプローチとして,逐次潜在変数モデルを提案する。 シーケンシャル・ナレッジ・トランスフォーマー (SKT) という名前のモデルは、知識よりも先行と後続の分布を追跡することができる。
  論文  参考訳（メタデータ） (2020-02-18T11:59:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。