論文の概要: Are Pre-trained Language Models Knowledgeable to Ground Open Domain Dialogues?

• arxiv url: http://arxiv.org/abs/2011.09708v1
• Date: Thu, 19 Nov 2020 08:22:49 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-23 21:00:46.120237
• Title: Are Pre-trained Language Models Knowledgeable to Ground Open Domain Dialogues?
• Title（参考訳）: 事前学習された言語モデルは、オープンドメインの対話を理解できるか?
• Authors: Yufan Zhao, Wei Wu, Can Xu
• Abstract要約: 我々は、事前学習された言語モデルを用いた知識基底対話生成について研究する。 知識を含む対話を微調整することで、事前学習された言語モデルは最先端のモデルよりも優れていることがわかった。
• 参考スコア（独自算出の注目度）: 20.598241369838668
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study knowledge-grounded dialogue generation with pre-trained language models. Instead of pursuing new state-of-the-art on benchmarks, we try to understand if the knowledge stored in parameters of the pre-trained models is already enough to ground open domain dialogues, and thus allows us to get rid of the dependency on external knowledge sources in generation. Through extensive experiments on benchmarks, we find that by fine-tuning with a few dialogues containing knowledge, the pre-trained language models can outperform the state-of-the-art model that requires external knowledge in automatic evaluation and human judgment, suggesting a positive answer to the question we raised.
• Abstract（参考訳）: 事前学習言語モデルを用いた知識基底対話生成について検討する。 ベンチマークで新たな最先端を追求する代わりに、事前トレーニングされたモデルのパラメータに格納された知識が、既にオープンドメインの対話をグラウンドするのに十分なものであるかどうかを理解し、それによって、生成時の外部の知識ソースへの依存性を取り除こうと試みます。 ベンチマーク実験を通じて、知識を含むいくつかの対話を微調整することで、事前学習された言語モデルは、自動評価と人的判断において外部知識を必要とする最先端のモデルよりも優れており、私たちが提起した質問に対する肯定的な回答が示唆されている。

関連論文リスト

• Commonsense Knowledge Transfer for Pre-trained Language Models [83.01121484432801]
  ニューラルコモンセンス知識モデルに格納されたコモンセンス知識を汎用的な事前学習言語モデルに転送するフレームワークであるコモンセンス知識伝達を導入する。 まず、一般的なテキストを利用して、ニューラルコモンセンス知識モデルからコモンセンス知識を抽出するクエリを形成する。 次に、コモンセンスマスクの埋め込みとコモンセンスの関係予測という2つの自己教師対象で言語モデルを洗練する。
  論文  参考訳（メタデータ） (2023-06-04T15:44:51Z)
• PK-Chat: Pointer Network Guided Knowledge Driven Generative Dialogue Model [79.64376762489164]
  PK-Chatは、知識グラフ上のポインタネットワークと、事前訓練された言語モデルを組み合わせた、ポインタネットワーク誘導生成対話モデルである。 PK-Chatが対話で生成した単語は、単語リストの予測と外部知識グラフ知識の直接予測から導かれる。 PK-Chatに基づく対話システムは、地球科学の学術シナリオ向けに構築されている。
  論文  参考訳（メタデータ） (2023-04-02T18:23:13Z)
• Response Generation with Context-Aware Prompt Learning [19.340498579331555]
  本稿では,対話生成問題を素早い学習課題とする,事前学習型対話モデリングのための新しい手法を提案する。 限られた対話データを微調整する代わりに、我々のアプローチであるDialogPromptは、対話コンテキストに最適化された連続的なプロンプト埋め込みを学習する。 提案手法は,微調整ベースラインと汎用的なプロンプト学習法を著しく上回っている。
  論文  参考訳（メタデータ） (2021-11-04T05:40:13Z)
• Knowledge-Grounded Dialogue Generation with Pre-trained Language Models [74.09352261943911]
  我々は、事前学習された言語モデルを用いた知識基底対話生成について研究する。 本稿では,知識選択モジュールを用いた事前学習言語モデルによって定義された等価応答生成を提案する。
  論文  参考訳（メタデータ） (2020-10-17T16:49:43Z)
• Zero-Resource Knowledge-Grounded Dialogue Generation [29.357221039484568]
  本稿では,文脈と応答をブリッジする知識と,その知識を潜在変数として表現する方法を提案する。 また,本モデルでは,知識基盤の対話に頼っている最先端の手法と同等の性能を達成できることを示す。
  論文  参考訳（メタデータ） (2020-08-29T05:48:32Z)
• Knowledge Injection into Dialogue Generation via Language Models [85.65843021510521]
  InjKは対話生成モデルに知識を注入するための2段階のアプローチである。 まず、大規模言語モデルをトレーニングし、テキスト知識としてクエリする。 次に、対話生成モデルを作成し、テキスト知識と対応する応答を逐次生成する。
  論文  参考訳（メタデータ） (2020-04-30T07:31:24Z)
• Unsupervised Commonsense Question Answering with Self-Talk [71.63983121558843]
  本稿では,コモンセンスタスクの代替として,セルフトークに基づく教師なしフレームワークを提案する。 探索に基づく探索学習にインスパイアされた我々のアプローチは、質問を求める多くの情報で言語モデルに問い合わせる。 実験結果から,ゼロショット言語モデルベースラインの性能が大幅に向上することが示唆された。
  論文  参考訳（メタデータ） (2020-04-11T20:43:37Z)
• Low-Resource Knowledge-Grounded Dialogue Generation [74.09352261943913]
  我々は、限られた訓練例しか利用できないという自然な仮定のもと、知識基底による対話生成を考察する。 生成モデル全体から知識基底の対話に依存するパラメータを分離するために,不整合応答デコーダを考案する。 1/8のトレーニングデータだけで、我々のモデルは最先端のパフォーマンスを達成でき、ドメイン外の知識をうまく一般化できる。
  論文  参考訳（メタデータ） (2020-02-24T16:20:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。