論文の概要: Automated Distractor and Feedback Generation for Math Multiple-choice
Questions via In-context Learning
- arxiv url: http://arxiv.org/abs/2308.03234v2
- Date: Thu, 11 Jan 2024 18:59:58 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-13 03:41:17.448292
- Title: Automated Distractor and Feedback Generation for Math Multiple-choice
Questions via In-context Learning
- Title(参考訳): テキスト内学習による数学多重選択質問の自動抽出とフィードバック生成
- Authors: Hunter McNichols, Wanyong Feng, Jaewook Lee, Alexander Scarlatos,
Digory Smith, Simon Woodhead, Andrew Lan
- Abstract要約: マルチチョイス質問(MCQ)は、管理しやすく、格付けし、信頼性の高い評価形式であるため、ほぼ全てのレベルの教育においてユビキタスである。
これまで、高品質なイントラクタを作るというタスクは、教師やコンテンツデザイナーを学ぶための労働集約的なプロセスのままだった。
本稿では,テキスト内学習をベースとした簡易な学習手法を提案する。
- 参考スコア(独自算出の注目度): 43.83422798569986
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multiple-choice questions (MCQs) are ubiquitous in almost all levels of
education since they are easy to administer, grade, and are a reliable form of
assessment. An important aspect of MCQs is the distractors, i.e., incorrect
options that are designed to target specific misconceptions or insufficient
knowledge among students. To date, the task of crafting high-quality
distractors has largely remained a labor-intensive process for teachers and
learning content designers, which has limited scalability. In this work, we
explore the task of automated distractor and corresponding feedback message
generation in math MCQs using large language models. We establish a formulation
of these two tasks and propose a simple, in-context learning-based solution.
Moreover, we propose generative AI-based metrics for evaluating the quality of
the feedback messages. We conduct extensive experiments on these tasks using a
real-world MCQ dataset. Our findings suggest that there is a lot of room for
improvement in automated distractor and feedback generation; based on these
findings, we outline several directions for future work.
- Abstract(参考訳): 多重選択質問(MCQ)は、管理しやすく、格付けしやすく、信頼性の高い評価形式であるため、ほぼ全てのレベルの教育において、ユビキタスである。
mcqsの重要な側面は、生徒の特定の誤解や不十分な知識をターゲットにした不正確なオプションである。
これまで、高品質の邪魔者を作る仕事は、教師やコンテンツデザイナーにとって労働集約的なプロセスであり、スケーラビリティは限られていた。
本研究では,大規模言語モデルを用いた数学MCQにおける自動散逸器とそれに対応するフィードバックメッセージ生成の課題について検討する。
我々は,これら2つのタスクを定式化し,シンプルで文脈内学習に基づくソリューションを提案する。
さらに、フィードバックメッセージの品質を評価するための生成AIベースのメトリクスを提案する。
実世界のMCQデータセットを用いて、これらのタスクについて広範な実験を行う。
これらの結果から,自動的注意散らしとフィードバック生成の改善の余地がたくさんあることが示唆された。
関連論文リスト
- SEMQA: Semi-Extractive Multi-Source Question Answering [98.76021956492697]
本稿では,複数ソースを半抽出的に要約することで,複数の質問に答える新しいQAタスクを提案する。
この種の最初のデータセットであるQuoteSumを作成し、自然および生成された質問に対する人間による半抽出的な回答を提示する。
論文 参考訳(メタデータ) (2023-11-08T18:46:32Z) - Retrieval-augmented Generation to Improve Math Question-Answering:
Trade-offs Between Groundedness and Human Preference [0.0]
我々は、高品質なオープンソースの数学教科書からコンテンツを検索して利用し、実際の学生の質問に対する応答を生成するプロンプトを設計する。
マルチ条件サーベイを実施し,中学代数学と幾何学QAのためのRAGシステムの有効性を評価した。
我々は、RAGは応答品質を向上させることができるが、数学のQAシステムの設計者は、学生が好む応答と、特定の教育資源に密接に適合する応答とのトレードオフを検討する必要があると論じる。
論文 参考訳(メタデータ) (2023-10-04T22:09:28Z) - Automating question generation from educational text [1.9325905076281444]
質問ベースの活動(QBA)の使用は、教育において広く普及しており、学習と評価プロセスの不可欠な部分を形成している。
学校における形式的・要約的評価のための自動質問生成ツールの設計と評価を行う。
論文 参考訳(メタデータ) (2023-09-26T15:18:44Z) - Gotta: Generative Few-shot Question Answering by Prompt-based Cloze Data
Augmentation [18.531941086922256]
QA (Few-shot Question answering) は、コンテキストパスから一連の質問に対する回答を正確に発見することを目的としている。
我々は,ジェネレーティブPROmpTベースのdaTa拡張フレームワークであるGottaを開発した。
人間の推論プロセスにインスパイアされた我々は、クローズタスクを統合して、数発のQA学習を強化することを提案する。
論文 参考訳(メタデータ) (2023-06-07T01:44:43Z) - Rethinking Label Smoothing on Multi-hop Question Answering [87.68071401870283]
MHQA (Multi-Hop Question Answering) は質問応答において重要な分野である。
本研究では,マルチホップ推論の性能を制限する主要な要因を解析する。
学習プロセスに不確実性を組み込んだ新しいラベル平滑化手法F1 Smoothingを提案する。
論文 参考訳(メタデータ) (2022-12-19T14:48:08Z) - Learning to Reuse Distractors to support Multiple Choice Question
Generation in Education [19.408786425460498]
本稿では,教師が複数選択質問(MCQ)の作成を支援するために,手作業による回答と注意散らしの集合をいかに活用するかを検討する。
データ駆動モデルをいくつか構築し,静的な特徴ベースモデルと比較した。
自動評価と人的評価は、コンテキスト認識モデルが静的な特徴ベースのアプローチを一貫して上回っていることを示している。
論文 参考訳(メタデータ) (2022-10-25T12:48:56Z) - Modern Question Answering Datasets and Benchmarks: A Survey [5.026863544662493]
質問回答(QA)は、自然言語処理(NLP)の最も重要なタスクの一つである。
NLP技術を用いて、大量の非構造化コーパスに基づいて、与えられた質問に対する対応する回答を生成することを目的としている。
本稿では,ディープラーニングの時代にリリースされた,影響力あるQAデータセットについて検討する。
論文 参考訳(メタデータ) (2022-06-30T05:53:56Z) - MuMuQA: Multimedia Multi-Hop News Question Answering via Cross-Media
Knowledge Extraction and Grounding [131.8797942031366]
我々は、画像中のオブジェクトをテキストにクロスメディアグラウンドする必要があるニュース記事について、1,384の質問を含む新しいQA評価ベンチマークを示す。
具体的には、画像キャプチャーペアの推論を必要とするマルチホップ質問によって、参照されている接地された視覚オブジェクトを特定し、その質問に答えるためにニュースボディテキストからスパンを予測する。
本稿では, マルチメディアデータ拡張フレームワークを提案する。これは, クロスメディア知識抽出と合成質問応答生成に基づいて, このタスクの弱い監視を提供するデータを自動的に強化するものである。
論文 参考訳(メタデータ) (2021-12-20T18:23:30Z) - ProtoTransformer: A Meta-Learning Approach to Providing Student Feedback [54.142719510638614]
本稿では,フィードバックを数発の分類として提供するという課題について考察する。
メタラーナーは、インストラクターによるいくつかの例から、新しいプログラミング質問に関する学生のコードにフィードバックを与えるように適応します。
本手法は,第1段階の大学が提供したプログラムコースにおいて,16,000名の学生試験ソリューションに対するフィードバックの提供に成功している。
論文 参考訳(メタデータ) (2021-07-23T22:41:28Z) - Neural Multi-Task Learning for Teacher Question Detection in Online
Classrooms [50.19997675066203]
教師の音声記録から質問を自動的に検出するエンドツーエンドのニューラルネットワークフレームワークを構築している。
マルチタスク学習手法を取り入れることで,質問の種類によって意味的関係の理解を深めることが可能となる。
論文 参考訳(メタデータ) (2020-05-16T02:17:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。