論文の概要: A Knowledge Plug-and-Play Test Bed for Open-domain Dialogue Generation

• arxiv url: http://arxiv.org/abs/2403.03496v1
• Date: Wed, 6 Mar 2024 06:54:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-07 15:53:44.144220
• Title: A Knowledge Plug-and-Play Test Bed for Open-domain Dialogue Generation
• Title（参考訳）: オープンドメイン対話生成のための知識プラグアンドプレイテストベッド
• Authors: Xiangci Li, Linfeng Song, Lifeng Jin, Haitao Mi, Jessica Ouyang, Dong Yu
• Abstract要約: マルチソース対話知識の選択と応答生成を評価するために,ウィキペディアのマルチソースウィザードというベンチマークを示す。 本稿では,すでに訓練済みの対話モデルを用いて,未確認の情報源からの新たなサポート知識を利用するための新たな課題である対話知識プラグイン・アンド・プレイを提案する。
• 参考スコア（独自算出の注目度）: 51.31429493814664
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Knowledge-based, open-domain dialogue generation aims to build chit-chat systems that talk to humans using mined support knowledge. Many types and sources of knowledge have previously been shown to be useful as support knowledge. Even in the era of large language models, response generation grounded in knowledge retrieved from additional up-to-date sources remains a practically important approach. While prior work using single-source knowledge has shown a clear positive correlation between the performances of knowledge selection and response generation, there are no existing multi-source datasets for evaluating support knowledge retrieval. Further, prior work has assumed that the knowledge sources available at test time are the same as during training. This unrealistic assumption unnecessarily handicaps models, as new knowledge sources can become available after a model is trained. In this paper, we present a high-quality benchmark named multi-source Wizard of Wikipedia (Ms.WoW) for evaluating multi-source dialogue knowledge selection and response generation. Unlike existing datasets, it contains clean support knowledge, grounded at the utterance level and partitioned into multiple knowledge sources. We further propose a new challenge, dialogue knowledge plug-and-play, which aims to test an already trained dialogue model on using new support knowledge from previously unseen sources in a zero-shot fashion.
• Abstract（参考訳）: 知識に基づくオープンドメイン対話生成は、マイニングされたサポート知識を使用して人間と対話するチャットシステムを構築することを目的としている。 多くの種類の知識や情報源が、サポート知識として有用であることが示されている。 大規模言語モデルの時代でさえ、新たな情報源から得られた知識に基づく応答生成は、事実上重要なアプローチである。 シングルソース知識を用いた先行研究は、知識選択と応答生成のパフォーマンスの間に明確な正の相関を示す一方で、サポート知識検索を評価するための既存のマルチソースデータセットは存在しない。 さらに、事前の研究は、テスト時に利用可能な知識源がトレーニング中と同じであると仮定している。 この非現実的な仮定は、モデルがトレーニングされた後に新しい知識ソースが利用可能になるため、不必要にモデルに障害を与える。 本稿では,多元対話知識選択と応答生成を評価するために,マルチソースウィザード・オブ・ウィキペディア (ms.wow) と呼ばれる高品質なベンチマークを提案する。 既存のデータセットとは異なり、クリーンなサポート知識を含み、発話レベルに接し、複数の知識ソースに分割される。 さらに,未発見のソースからの新たなサポート知識をゼロショット方式で使用して,すでに訓練済みの対話モデルをテストすることを目的とした,新たな課題である対話知識プラグイン・アンド・プレイを提案する。

関連論文リスト

• Large Language Models as Source Planner for Personalized Knowledge-grounded Dialogue [72.26474540602517]
  SAFARIは、教師なしと教師なしの両方の設定で計画し、理解し、導入するための新しいフレームワークである。 我々は、パーソナライズされた知識ベース対話データセットtextittextbfKnowledge textbfBehind textbfPersona(textbfKBP)を構築する。 KBPデータセットによる実験結果から,SAFARIフレームワークはペルソナ一貫性と知識強化の応答を効果的に生成できることが示された。
  論文  参考訳（メタデータ） (2023-10-13T03:38:38Z)
• The KITMUS Test: Evaluating Knowledge Integration from Multiple Sources in Natural Language Understanding Systems [87.3207729953778]
  我々は、データセット上で最先端のコア参照解決モデルを評価する。 いくつかのモデルは、事前訓練時間と推論時間の両方で観察された知識について、オンザフライで推論するのに苦労している。 それでも、最高のパフォーマンスモデルでさえ、推論時にのみ提示される知識を確実に統合するのは難しいようです。
  論文  参考訳（メタデータ） (2022-12-15T23:26:54Z)
• Joint Reasoning on Hybrid-knowledge sources for Task-Oriented Dialog [12.081212540168055]
  本稿では,SeKnow が作成した MutliWOZ ベースのデータセットの修正版について述べる。 事前訓練された言語モデルを利用する最近の作業に合わせて、知識ソースをクエリするタスクのプロンプトを使用してBARTベースのモデルを微調整する。 我々は,本モデルが知識モダリティ(情報源)の摂動に頑健であり,構造化知識と非構造化知識とを融合して応答を生成できることを実証した。
  論文  参考訳（メタデータ） (2022-10-13T18:49:59Z)
• Knowledge-Grounded Dialogue Generation with a Unified Knowledge Representation [78.85622982191522]
  既存のシステムは、トレーニングデータでカバーされる限られたトピックのために、目に見えないトピックでうまく機能しない。 本稿では,異なる知識源を均質化した言語モデルであるPLUGについて述べる。 完全に教師された設定の下で最先端のメソッドと同等のパフォーマンスを達成することができる。
  論文  参考訳（メタデータ） (2021-12-15T07:11:02Z)
• Improving Commonsense Question Answering by Graph-based Iterative Retrieval over Multiple Knowledge Sources [26.256653692882715]
  疑問に答えるシステムにおいて、コモンセンスを効果的に活用する方法はまだ検討中である。 本研究では,ConceptNet,Wikipedia,Cambridge Dictionaryを統合した質問応答手法を提案する。 学習済みの言語モデルを用いて、質問を符号化し、知識と選択を検索し、回答の選択を意識した注意機構を提案する。
  論文  参考訳（メタデータ） (2020-11-05T08:50:43Z)
• Question Answering over Knowledge Base using Language Model Embeddings [0.0]
  本稿では,知識ベース質問回答タスクにおける事前学習言語モデルの利用に焦点を当てる。 さらに,これらの埋め込みを知識ベースから質問まで,双方向の注意機構で微調整した。 提案手法は,質問事項を表現するためのマルチヘッドアテンション機構を備えた,単純な畳み込みニューラルネットワークアーキテクチャに基づいている。
  論文  参考訳（メタデータ） (2020-10-17T22:59:34Z)
• Unsupervised Commonsense Question Answering with Self-Talk [71.63983121558843]
  本稿では,コモンセンスタスクの代替として,セルフトークに基づく教師なしフレームワークを提案する。 探索に基づく探索学習にインスパイアされた我々のアプローチは、質問を求める多くの情報で言語モデルに問い合わせる。 実験結果から,ゼロショット言語モデルベースラインの性能が大幅に向上することが示唆された。
  論文  参考訳（メタデータ） (2020-04-11T20:43:37Z)
• Sequential Latent Knowledge Selection for Knowledge-Grounded Dialogue [51.513276162736844]
  この問題に対する最初のアプローチとして,逐次潜在変数モデルを提案する。 シーケンシャル・ナレッジ・トランスフォーマー (SKT) という名前のモデルは、知識よりも先行と後続の分布を追跡することができる。
  論文  参考訳（メタデータ） (2020-02-18T11:59:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。