論文の概要: Generating Plausible Distractors for Multiple-Choice Questions via Student Choice Prediction

• arxiv url: http://arxiv.org/abs/2501.13125v1
• Date: Tue, 21 Jan 2025 10:20:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-24 15:59:51.571437
• Title: Generating Plausible Distractors for Multiple-Choice Questions via Student Choice Prediction
• Title（参考訳）: 学生選択予測による複数項目質問に対する可塑性ディトラクタの生成
• Authors: Yooseop Lee, Suin Kim, Yohan Jo,
• Abstract要約: 教育における多重選択質問(MCQ)の設計において、学生の誤解と知識のギャップを識別するためには、妥当な気晴らし器の作成が不可欠である。 本研究は,学生が選択する可能性がより高い気晴らし器を生成するモデルを訓練するためのパイプラインを提案する。
• 参考スコア（独自算出の注目度）: 1.9949730506194254
• License:
• Abstract: In designing multiple-choice questions (MCQs) in education, creating plausible distractors is crucial for identifying students' misconceptions and gaps in knowledge and accurately assessing their understanding. However, prior studies on distractor generation have not paid sufficient attention to enhancing the difficulty of distractors, resulting in reduced effectiveness of MCQs. This study presents a pipeline for training a model to generate distractors that are more likely to be selected by students. First, we train a pairwise ranker to reason about students' misconceptions and assess the relative plausibility of two distractors. Using this model, we create a dataset of pairwise distractor ranks and then train a distractor generator via Direct Preference Optimization (DPO) to generate more plausible distractors. Experiments on computer science subjects (Python, DB, MLDL) demonstrate that our pairwise ranker effectively identifies students' potential misunderstandings and achieves ranking accuracy comparable to human experts. Furthermore, our distractor generator outperforms several baselines in generating plausible distractors and produces questions with a higher item discrimination index (DI).
• Abstract（参考訳）: 教育における多重選択質問(MCQ)を設計する際には、学生の誤解や知識のギャップを識別し、その理解を正確に評価するためには、妥当な気晴らし器を作成することが不可欠である。 しかし、逸脱器生成に関する先行研究は、逸脱器の難易度を高めるのに十分な注意を払わず、MCQの有効性は低下した。 本研究は,学生が選択する可能性がより高い気晴らし器を生成するモデルを訓練するためのパイプラインを提案する。 まず、学生の誤解を判断し、2人の気晴らし者の相対的妥当性を評価するために、ペアワイズローダを訓練する。 このモデルを用いて、ペアワイズなイントラクタランクのデータセットを作成し、ダイレクト・プライス・オプティマイズ(DPO)を介してイントラクタジェネレータをトレーニングし、より妥当なイントラクタを生成する。 コンピュータサイエンス科目(Python, DB, MLDL)の実験では, 学生の潜在的な誤解を効果的に識別し, 人間の専門家に匹敵するランキング精度を達成することが実証された。 さらに, 乱れ発生器は, 可塑性な乱れの発生においていくつかのベースラインを上回り, より高い項目識別指標 (DI) で質問を発生させる。

関連論文リスト

• Subtle Errors Matter: Preference Learning via Error-injected Self-editing [59.405145971637204]
  eRror-Injected Self-Editing (RISE) と呼ばれる新しい好み学習フレームワークを提案する。 RISEは定義済みの微妙な誤りを正しい解の部分的なトークンに注入し、エラー軽減のためにハードペアを構築する。 RISEの有効性を検証する実験では、Qwen2-7B-Instructでは、GSM8Kでは3.0%、MATHでは7.9%が顕著に改善された。
  論文  参考訳（メタデータ） (2024-10-09T07:43:38Z)
• Stepwise Verification and Remediation of Student Reasoning Errors with Large Language Model Tutors [78.53699244846285]
  大規模言語モデル(LLM)は、高品質なパーソナライズされた教育を全員に拡大する機会を提供する。 LLMは、学生のエラーを正確に検知し、これらのエラーに対するフィードバックを調整するのに苦労する。 教師が学生の誤りを識別し、それに基づいて回答をカスタマイズする現実世界の教育実践に触発され、我々は学生ソリューションの検証に焦点をあてる。
  論文  参考訳（メタデータ） (2024-07-12T10:11:40Z)
• Improving Automated Distractor Generation for Math Multiple-choice Questions with Overgenerate-and-rank [44.04217284677347]
  本稿では,過剰生成・ランク化により生成したトラクタの品質を向上する新しい手法を提案する。 我々のランキングモデルでは、人間が作成したものよりも、人間の権威のあるものの方が好まれるが、人間の権威のあるトラクタとのアライメントが向上する。
  論文  参考訳（メタデータ） (2024-04-19T00:25:44Z)
• Exploring Automated Distractor Generation for Math Multiple-choice Questions via Large Language Models [40.50115385623107]
  マルチチョイス質問(MCQ)は、評価や実践において、管理しやすく、格付けし、信頼性の高いフォーマットであるため、ほぼ全てのレベルの教育においてユビキタスである。 MCQの最も重要な側面の1つは、実際の学生の間でよくある誤りや誤解を狙った誤った選択肢である。 現在まで、高品質なイントラクタを開発するというタスクは、拡張性に制限のある教師や学習コンテンツデザイナにとって、労働力と時間を要するプロセスのままである。
  論文  参考訳（メタデータ） (2024-04-02T17:31:58Z)
• Distractor Generation in Multiple-Choice Tasks: A Survey of Methods, Datasets, and Evaluation [20.14906249952034]
  イントラクタ生成タスクは、客観的な質問に対して不正確だが妥当な選択肢を生成することに焦点を当てる。 人工知能(AI)の進化は、タスクを従来の手法からニューラルネットワークや事前訓練された言語モデルに移行した。 本調査では、英語の客観的質問に対して、イントラクタ生成タスク、データセット、メソッド、および現在の評価指標について検討する。
  論文  参考訳（メタデータ） (2024-02-02T15:53:31Z)
• Automated Distractor and Feedback Generation for Math Multiple-choice Questions via In-context Learning [43.83422798569986]
  マルチチョイス質問(MCQ)は、管理しやすく、格付けし、信頼性の高い評価形式であるため、ほぼ全てのレベルの教育においてユビキタスである。 これまで、高品質なイントラクタを作るというタスクは、教師やコンテンツデザイナーを学ぶための労働集約的なプロセスのままだった。 本稿では,テキスト内学習をベースとした簡易な学習手法を提案する。
  論文  参考訳（メタデータ） (2023-08-07T01:03:04Z)
• Accelerating exploration and representation learning with offline pre-training [52.6912479800592]
  1つのオフラインデータセットから2つの異なるモデルを別々に学習することで、探索と表現の学習を改善することができることを示す。 ノイズコントラスト推定と補助報酬モデルを用いて状態表現を学習することで、挑戦的なNetHackベンチマークのサンプル効率を大幅に向上できることを示す。
  論文  参考訳（メタデータ） (2023-03-31T18:03:30Z)
• Cognitive Diagnosis with Explicit Student Vector Estimation and Unsupervised Question Matrix Learning [53.79108239032941]
  本研究では,DINA の学生ベクトルを推定するための明示的な学生ベクトル推定法を提案する。 また,Q行列を自動的にラベル付けする双方向キャリブレーションアルゴリズム (HBCA) を提案する。 2つの実世界のデータセットによる実験結果から,ESVE-DINAはDINAモデルよりも精度が高く,HBCAによって自動的にラベル付けされたQ行列は,手動でラベル付けしたQ行列に匹敵する性能が得られることが示された。
  論文  参考訳（メタデータ） (2022-03-01T03:53:19Z)
• The Paradox of Choice: Using Attention in Hierarchical Reinforcement Learning [59.777127897688594]
  サブゴールオプションのさらなる学習に使用できる、オンラインでモデルフリーなアルゴリズムを提案する。 訓練データ収集におけるハード・ソフト・アテンションの役割,長期的タスクにおける抽象的価値学習,および多数の選択肢に対する対処について検討する。
  論文  参考訳（メタデータ） (2022-01-24T13:18:02Z)
• BERT-based distractor generation for Swedish reading comprehension questions using a small-scale dataset [0.0]
  そこで本研究では,小さなデータセットのみを用いて,障害を自動生成するBERTベースの新しい手法を提案する。 評価の結果,テストセットにおけるMCQの50%以上に対して,本手法は1つ以上の可視性障害を発生させることがわかった。
  論文  参考訳（メタデータ） (2021-08-09T12:15:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。