論文の概要: Better Distractions: Transformer-based Distractor Generation and
Multiple Choice Question Filtering
- arxiv url: http://arxiv.org/abs/2010.09598v1
- Date: Mon, 19 Oct 2020 15:23:24 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-05 21:49:34.778780
- Title: Better Distractions: Transformer-based Distractor Generation and
Multiple Choice Question Filtering
- Title(参考訳): より良いディトラクション:トランスフォーマーに基づくディトラクタ生成と複数選択質問フィルタリング
- Authors: Jeroen Offerijns, Suzan Verberne, Tessa Verhoef
- Abstract要約: 我々はGPT-2言語モデルをトレーニングし、与えられた質問とテキストコンテキストに対して3つの気晴らしを生成する。
次に、複数の選択質問(MCQ)に答えるためにBERT言語モデルをトレーニングし、このモデルをフィルタとして使用する。
- 参考スコア(独自算出の注目度): 4.168157981135697
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: For the field of education, being able to generate semantically correct and
educationally relevant multiple choice questions (MCQs) could have a large
impact. While question generation itself is an active research topic,
generating distractors (the incorrect multiple choice options) receives much
less attention. A missed opportunity, since there is still a lot of room for
improvement in this area. In this work, we train a GPT-2 language model to
generate three distractors for a given question and text context, using the
RACE dataset. Next, we train a BERT language model to answer MCQs, and use this
model as a filter, to select only questions that can be answered and therefore
presumably make sense. To evaluate our work, we start by using text generation
metrics, which show that our model outperforms earlier work on distractor
generation (DG) and achieves state-of-the-art performance. Also, by calculating
the question answering ability, we show that larger base models lead to better
performance. Moreover, we conducted a human evaluation study, which confirmed
the quality of the generated questions, but showed no statistically significant
effect of the QA filter.
- Abstract(参考訳): 教育の分野では、意味的に正しい、教育的に関連する複数の選択質問(mcqs)を生成できることは大きな影響を与える可能性がある。
質問の生成自体が活発な研究テーマであるが、注意をそそる要因(誤った複数の選択オプション)を生成することは、あまり注目されない。
この分野には改善の余地がまだたくさんあるので、機会を逃している。
本研究では,GIT-2言語モデルを用いて,与えられた質問やテキストコンテキストに対して,RACEデータセットを用いて3つのイントラクタを生成する。
次に、BERT言語モデルをトレーニングし、MCQに応答し、このモデルをフィルタとして使用し、回答可能な質問のみを選択する。
本研究は,テキスト生成の指標から始め,このモデルがトラクタ生成(DG)の先行作業より優れ,最先端のパフォーマンスを実現していることを示す。
また,質問応答能力を計算することで,ベースモデルが大きくなり性能が向上することを示す。
さらに,得られた質問の質を確認した評価実験を行ったが,QAフィルタの統計的効果は認められなかった。
関連論文リスト
- Improving Question Generation with Multi-level Content Planning [70.37285816596527]
本稿では、与えられたコンテキストと回答から質問を生成する問題に対処し、特に拡張されたコンテキストをまたいだマルチホップ推論を必要とする質問に焦点をあてる。
具体的には、キーフレーズを同時に選択して完全な回答を生成するFA-modelと、生成した全回答を付加的な入力として取り込んだQ-modelの2つのコンポーネントを含む。
論文 参考訳(メタデータ) (2023-10-20T13:57:01Z) - Negated Complementary Commonsense using Large Language Models [3.42658286826597]
この研究は、コモンセンスのシナリオで否定された補完的な質問に対する答えを見つけることに重点を置いている。
本稿では,否定的な相補的シナリオにおける性能向上のためのモデルに依存しない手法を提案する。
論文 参考訳(メタデータ) (2023-07-13T15:03:48Z) - Weakly Supervised Visual Question Answer Generation [2.7605547688813172]
視覚情報とキャプションから手続き的に質問応答対を合成的に生成する弱教師付き手法を提案する。
我々は,VQAデータセットの総合的な実験分析を行い,BLEUスコアのSOTA手法を著しく上回る結果を得た。
論文 参考訳(メタデータ) (2023-06-11T08:46:42Z) - Read before Generate! Faithful Long Form Question Answering with Machine
Reading [77.17898499652306]
LFQA(Long-form Question answering)は、ある質問に対する段落長の回答を生成することを目的としている。
生成と機械読取を協調的にモデル化する新しいエンドツーエンドフレームワークを提案する。
論文 参考訳(メタデータ) (2022-03-01T10:41:17Z) - MixQG: Neural Question Generation with Mixed Answer Types [54.23205265351248]
このギャップを埋めるために、ニューラル質問生成器MixQGを提案する。
yes/no, multiple-choice, extractive, abstractive answerなど,9つの質問応答データセットと多様な回答タイプを組み合わせる。
私たちのモデルは、目に見えない領域と見えない領域の両方で、既存の作業より優れています。
論文 参考訳(メタデータ) (2021-10-15T16:03:40Z) - Asking Questions Like Educational Experts: Automatically Generating
Question-Answer Pairs on Real-World Examination Data [10.353009081072992]
本稿では,実世界の検査データ上での質問応答対生成課題に対処し,RASに関する新たな統合フレームワークを提案する。
本稿では,質問文とキーフレーズを反復的に生成・最適化するマルチエージェント通信モデルを提案する。
実験結果から,質問応答対生成タスクにおいて,本モデルが大きなブレークスルーをもたらすことが明らかとなった。
論文 参考訳(メタデータ) (2021-09-11T04:10:57Z) - Answer Generation for Retrieval-based Question Answering Systems [80.28727681633096]
シーケンス・トゥ・シークエンス・トランスモデルを訓練し、候補集合から解を生成する。
英語のAS2データセットを3つ比較したところ, 精度は32点まで向上した。
論文 参考訳(メタデータ) (2021-06-02T05:45:49Z) - Exploring Question-Specific Rewards for Generating Deep Questions [42.243227323241584]
我々は、生成した質問の流布度、妥当性、回答可能性を改善するために、ターゲットとする3つの異なる報酬を設計する。
質問固有報酬の最適化は、一般的に自動評価指標の性能向上につながる。
論文 参考訳(メタデータ) (2020-11-02T16:37:30Z) - Stronger Transformers for Neural Multi-Hop Question Generation [48.06692942528804]
マルチホップ質問生成のための強力なトランスフォーマーモデルを提案する。
標準変圧器アーキテクチャを用いて,5つのBLEUポイントの最先端性能を大幅に向上させることができることを示す。
論文 参考訳(メタデータ) (2020-10-22T01:51:09Z) - Improving Multi-Turn Response Selection Models with Complementary
Last-Utterance Selection by Instance Weighting [84.9716460244444]
我々は、データリソース自体の根底にある相関を利用して、異なる種類の監視信号を導出することを検討する。
2つの公開データセットで広範な実験を行い、両方のデータセットで大幅に改善した。
論文 参考訳(メタデータ) (2020-02-18T06:29:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。