論文の概要: Better Distractions: Transformer-based Distractor Generation and Multiple Choice Question Filtering

• arxiv url: http://arxiv.org/abs/2010.09598v1
• Date: Mon, 19 Oct 2020 15:23:24 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-05 21:49:34.778780
• Title: Better Distractions: Transformer-based Distractor Generation and Multiple Choice Question Filtering
• Title（参考訳）: より良いディトラクション:トランスフォーマーに基づくディトラクタ生成と複数選択質問フィルタリング
• Authors: Jeroen Offerijns, Suzan Verberne, Tessa Verhoef
• Abstract要約: 我々はGPT-2言語モデルをトレーニングし、与えられた質問とテキストコンテキストに対して3つの気晴らしを生成する。 次に、複数の選択質問(MCQ)に答えるためにBERT言語モデルをトレーニングし、このモデルをフィルタとして使用する。
• 参考スコア（独自算出の注目度）: 4.168157981135697
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: For the field of education, being able to generate semantically correct and educationally relevant multiple choice questions (MCQs) could have a large impact. While question generation itself is an active research topic, generating distractors (the incorrect multiple choice options) receives much less attention. A missed opportunity, since there is still a lot of room for improvement in this area. In this work, we train a GPT-2 language model to generate three distractors for a given question and text context, using the RACE dataset. Next, we train a BERT language model to answer MCQs, and use this model as a filter, to select only questions that can be answered and therefore presumably make sense. To evaluate our work, we start by using text generation metrics, which show that our model outperforms earlier work on distractor generation (DG) and achieves state-of-the-art performance. Also, by calculating the question answering ability, we show that larger base models lead to better performance. Moreover, we conducted a human evaluation study, which confirmed the quality of the generated questions, but showed no statistically significant effect of the QA filter.
• Abstract（参考訳）: 教育の分野では、意味的に正しい、教育的に関連する複数の選択質問(mcqs)を生成できることは大きな影響を与える可能性がある。 質問の生成自体が活発な研究テーマであるが、注意をそそる要因(誤った複数の選択オプション)を生成することは、あまり注目されない。 この分野には改善の余地がまだたくさんあるので、機会を逃している。 本研究では,GIT-2言語モデルを用いて,与えられた質問やテキストコンテキストに対して,RACEデータセットを用いて3つのイントラクタを生成する。 次に、BERT言語モデルをトレーニングし、MCQに応答し、このモデルをフィルタとして使用し、回答可能な質問のみを選択する。 本研究は,テキスト生成の指標から始め,このモデルがトラクタ生成(DG)の先行作業より優れ,最先端のパフォーマンスを実現していることを示す。 また,質問応答能力を計算することで,ベースモデルが大きくなり性能が向上することを示す。 さらに,得られた質問の質を確認した評価実験を行ったが,QAフィルタの統計的効果は認められなかった。

関連論文リスト

• DisGeM: Distractor Generation for Multiple Choice Questions with Span Masking [0.0]
  マルチチョイス質問(MCQ)のためのイントラクタ生成のための汎用フレームワークを提案する。 我々のフレームワークは事前訓練された言語モデルのみに依存しており、特定のデータセットに対する追加のトレーニングを必要としない。 人間の評価は、我々のアプローチがより効果的で魅力的であることを示す。
  論文  参考訳（メタデータ） (2024-09-26T20:15:46Z)
• Improving Automated Distractor Generation for Math Multiple-choice Questions with Overgenerate-and-rank [44.04217284677347]
  本稿では,過剰生成・ランク化により生成したトラクタの品質を向上する新しい手法を提案する。 我々のランキングモデルでは、人間が作成したものよりも、人間の権威のあるものの方が好まれるが、人間の権威のあるトラクタとのアライメントが向上する。
  論文  参考訳（メタデータ） (2024-04-19T00:25:44Z)
• CDGP: Automatic Cloze Distractor Generation based on Pre-trained Language Model [2.2169618382995764]
  本稿では,事前学習型言語モデル (PLM) の代替案としての利用について検討する。 実験により、PLM強化モデルは大幅な性能改善をもたらすことが示された。
  論文  参考訳（メタデータ） (2024-03-15T14:14:26Z)
• Improving Question Generation with Multi-level Content Planning [70.37285816596527]
  本稿では、与えられたコンテキストと回答から質問を生成する問題に対処し、特に拡張されたコンテキストをまたいだマルチホップ推論を必要とする質問に焦点をあてる。 具体的には、キーフレーズを同時に選択して完全な回答を生成するFA-modelと、生成した全回答を付加的な入力として取り込んだQ-modelの2つのコンポーネントを含む。
  論文  参考訳（メタデータ） (2023-10-20T13:57:01Z)
• UNK-VQA: A Dataset and a Probe into the Abstention Ability of Multi-modal Large Models [55.22048505787125]
  本稿ではUNK-VQAと呼ばれる包括的データセットを提案する。 まず、画像または疑問について意図的に摂動することで、既存のデータを拡大する。 そこで我々は,新たなマルチモーダル大規模モデルのゼロショット性能と少数ショット性能を広範囲に評価した。
  論文  参考訳（メタデータ） (2023-10-17T02:38:09Z)
• Negated Complementary Commonsense using Large Language Models [3.42658286826597]
  この研究は、コモンセンスのシナリオで否定された補完的な質問に対する答えを見つけることに重点を置いている。 本稿では,否定的な相補的シナリオにおける性能向上のためのモデルに依存しない手法を提案する。
  論文  参考訳（メタデータ） (2023-07-13T15:03:48Z)
• Weakly Supervised Visual Question Answer Generation [2.7605547688813172]
  視覚情報とキャプションから手続き的に質問応答対を合成的に生成する弱教師付き手法を提案する。 我々は,VQAデータセットの総合的な実験分析を行い,BLEUスコアのSOTA手法を著しく上回る結果を得た。
  論文  参考訳（メタデータ） (2023-06-11T08:46:42Z)
• Read before Generate! Faithful Long Form Question Answering with Machine Reading [77.17898499652306]
  LFQA(Long-form Question answering)は、ある質問に対する段落長の回答を生成することを目的としている。 生成と機械読取を協調的にモデル化する新しいエンドツーエンドフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-03-01T10:41:17Z)
• Answer Generation for Retrieval-based Question Answering Systems [80.28727681633096]
  シーケンス・トゥ・シークエンス・トランスモデルを訓練し、候補集合から解を生成する。 英語のAS2データセットを3つ比較したところ, 精度は32点まで向上した。
  論文  参考訳（メタデータ） (2021-06-02T05:45:49Z)
• Stronger Transformers for Neural Multi-Hop Question Generation [48.06692942528804]
  マルチホップ質問生成のための強力なトランスフォーマーモデルを提案する。 標準変圧器アーキテクチャを用いて,5つのBLEUポイントの最先端性能を大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2020-10-22T01:51:09Z)
• Improving Multi-Turn Response Selection Models with Complementary Last-Utterance Selection by Instance Weighting [84.9716460244444]
  我々は、データリソース自体の根底にある相関を利用して、異なる種類の監視信号を導出することを検討する。 2つの公開データセットで広範な実験を行い、両方のデータセットで大幅に改善した。
  論文  参考訳（メタデータ） (2020-02-18T06:29:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。