論文の概要: Closed-book Question Generation via Contrastive Learning

• arxiv url: http://arxiv.org/abs/2210.06781v1
• Date: Thu, 13 Oct 2022 06:45:46 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-14 15:40:34.996116
• Title: Closed-book Question Generation via Contrastive Learning
• Title（参考訳）: コントラスト学習によるクローズドブック質問生成
• Authors: Xiangjue Dong, Jiaying Lu, Jianling Wang, James Caverlee
• Abstract要約: コントラスト学習モジュールと回答再構成モジュールを併用した新しいQGモデルを提案する。 提案手法を応用して,既存のクローズドブックQAシステムを改善する方法について述べる。
• 参考スコア（独自算出の注目度）: 20.644215991166895
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Question Generation (QG) is a fundamental NLP task for many downstream applications. Recent studies on open-book QG, where supportive question-context pairs are provided to models, have achieved promising progress. However, generating natural questions under a more practical closed-book setting that lacks these supporting documents still remains a challenge. In this work, to learn better representations from semantic information hidden in question-answer pairs under the closed-book setting, we propose a new QG model empowered by a contrastive learning module and an answer reconstruction module. We present a new closed-book QA dataset -- WikiCQA involving abstractive long answers collected from a wiki-style website. In the experiments, we validate the proposed QG model on both public datasets and the new WikiCQA dataset. Empirical results show that the proposed QG model outperforms baselines in both automatic evaluation and human evaluation. In addition, we show how to leverage the proposed model to improve existing closed-book QA systems. We observe that by pre-training a closed-book QA model on our generated synthetic QA pairs, significant QA improvement can be achieved on both seen and unseen datasets, which further demonstrates the effectiveness of our QG model for enhancing unsupervised and semi-supervised QA.
• Abstract（参考訳）: 質問生成(QG)は、多くの下流アプリケーションにとって基本的なNLPタスクである。 モデルに支援的な質問文ペアを提供するオープンブックQGに関する最近の研究は、有望な進歩を遂げている。 しかし、これらの文書を欠いたより実用的なクローズドブック設定の下で自然問題を生成することは依然として課題である。 本研究では,質問応答ペアに隠されたセマンティック情報からより優れた表現をクローズドブック設定で学習するために,コントラスト学習モジュールと解答再構成モジュールを併用した新しいQGモデルを提案する。 ウィキスタイルのWebサイトから収集された抽象的な長い回答を含む,新たなクローズドブックQAデータセット - WikiCQAを提案する。 実験では,公開データセットとWikiCQAデータセットの両方で提案したQGモデルを検証した。 実験の結果,提案したQGモデルは,自動評価と人的評価の両方において,ベースラインを上回っていることがわかった。 さらに,提案モデルを利用して既存のクローズドブックqaシステムを改善する方法を示す。 生成した合成QAペア上でクローズドブックQAモデルを事前学習することにより、目に見えないデータセットと見えないデータセットの両方において重要なQA改善を実現し、教師なしおよび半教師なしのQAを強化するためのQGモデルの有効性をさらに実証する。

関連論文リスト

• Graph Guided Question Answer Generation for Procedural Question-Answering [29.169773816553153]
  本稿では,タスク固有質問応答(QA)モデルのための,完全かつ高品質なトレーニングデータを生成する方法を提案する。 キーテクノロジー・イネーブルは、手続き的テキストから質問応答自動生成のための新しいメカニズムである。 GPT3 や ChatGPT を超越しても,本データを用いて訓練した小型モデルは,目標QA タスクにおいて優れた性能を発揮することを示す。
  論文  参考訳（メタデータ） (2024-01-24T17:01:42Z)
• QADYNAMICS: Training Dynamics-Driven Synthetic QA Diagnostic for Zero-Shot Commonsense Question Answering [48.25449258017601]
  State-of-the-artはCommonSense Knowledge Basesから構築されたQAペア上での微調整言語モデルにアプローチする。 本稿では,QA診断と改善のためのトレーニング動的フレームワークQADYNAMICSを提案する。
  論文  参考訳（メタデータ） (2023-10-17T14:27:34Z)
• An Empirical Comparison of LM-based Question and Answer Generation Methods [79.31199020420827]
  質問と回答の生成(QAG)は、コンテキストが与えられた質問と回答のペアのセットを生成することで構成される。 本稿では,シーケンス・ツー・シーケンス言語モデル(LM)を微調整する3つの異なるQAG手法を用いて,ベースラインを確立する。 実験により、学習時間と推論時間の両方で計算的に軽量なエンドツーエンドQAGモデルが一般に堅牢であり、他のより複雑なアプローチよりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-05-26T14:59:53Z)
• Learning Answer Generation using Supervision from Automatic Question Answering Evaluators [98.9267570170737]
  我々は、自動QA評価モデル(GAVA)の監督を用いたGenQAのための新しいトレーニングパラダイムを提案する。 提案手法を2つの学術的, 1つの産業的データセット上で評価し, 過去の技術状況に対して, 回答精度を大幅に向上させた。
  論文  参考訳（メタデータ） (2023-05-24T16:57:04Z)
• Improving Unsupervised Question Answering via Summarization-Informed Question Generation [47.96911338198302]
  質問生成 (QG) とは, 質問文, 質問文, 質問文, 質問文, 質問文, 質問文, 質問文, 質問文, 質問文, 質問文, 質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、 我々は、自由なニュース要約データを使用し、宣言文を依存性解析、名前付きエンティティ認識、セマンティックロールラベリングを用いて適切な質問に変換する。 得られた質問は、元のニュース記事と組み合わせて、エンドツーエンドのニューラルQGモデルをトレーニングする。
  論文  参考訳（メタデータ） (2021-09-16T13:08:43Z)
• Narrative Question Answering with Cutting-Edge Open-Domain QA Techniques: A Comprehensive Study [45.9120218818558]
  我々は,NarrativeQAデータセットについて,最先端ODQA技術を用いた実験でベンチマークを行った。 このことは、書籍のQAがもたらす課題を定量化し、発行された最先端技術がルージュ-Lの絶対的な改善として$sim$7%で進歩する。 その結果,イベント中心の質問がこのタスクを支配しており,イベント指向シナリオを扱うための既存のQAモデルの欠如を実証していることがわかった。
  論文  参考訳（メタデータ） (2021-06-07T17:46:09Z)
• Harvesting and Refining Question-Answer Pairs for Unsupervised QA [95.9105154311491]
  教師なし質問回答(QA)を改善するための2つのアプローチを提案する。 まず、ウィキペディアから語彙的・構文的に異なる質問を抽出し、質問応答対のコーパスを自動的に構築する(RefQAと名づけられる)。 第2に、より適切な回答を抽出するためにQAモデルを活用し、RefQA上でデータを反復的に洗練する。
  論文  参考訳（メタデータ） (2020-05-06T15:56:06Z)
• Template-Based Question Generation from Retrieved Sentences for Improved Unsupervised Question Answering [98.48363619128108]
  擬似学習データを用いてQAモデルを訓練するための教師なしアプローチを提案する。 関連した検索文に簡単なテンプレートを適用してQA学習のための質問を生成すると、元の文脈文よりも、下流QAのパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2020-04-24T17:57:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。