論文の概要: Generative Students: Using LLM-Simulated Student Profiles to Support Question Item Evaluation

• arxiv url: http://arxiv.org/abs/2405.11591v1
• Date: Sun, 19 May 2024 15:53:18 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-02 14:47:20.251596
• Title: Generative Students: Using LLM-Simulated Student Profiles to Support Question Item Evaluation
• Title（参考訳）: 生成学生:質問項目評価支援のためのLLMシミュレーション学生プロファイルの利用
• Authors: Xinyi Lu, Xu Wang,
• Abstract要約: 学生のプロファイルをシミュレートし、マルチチョイス質問(MCQ)に対する応答を生成する。 生成的学生プロファイルは、学生が習得した知識コンポーネントのリストの関数である。 その結果, 生成した学生は, プロファイルに整合した論理的, 信頼性の高い反応を生み出した。
• 参考スコア（独自算出の注目度）: 4.668977145281832
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Evaluating the quality of automatically generated question items has been a long standing challenge. In this paper, we leverage LLMs to simulate student profiles and generate responses to multiple-choice questions (MCQs). The generative students' responses to MCQs can further support question item evaluation. We propose Generative Students, a prompt architecture designed based on the KLI framework. A generative student profile is a function of the list of knowledge components the student has mastered, has confusion about or has no evidence of knowledge of. We instantiate the Generative Students concept on the subject domain of heuristic evaluation. We created 45 generative students using GPT-4 and had them respond to 20 MCQs. We found that the generative students produced logical and believable responses that were aligned with their profiles. We then compared the generative students' responses to real students' responses on the same set of MCQs and found a high correlation. Moreover, there was considerable overlap in the difficult questions identified by generative students and real students. A subsequent case study demonstrated that an instructor could improve question quality based on the signals provided by Generative Students.
• Abstract（参考訳）: 自動生成された質問項目の品質を評価することは、長年にわたる課題である。 本稿では,LLMを利用して学生のプロファイルをシミュレートし,MCQ(Multi-choice Question)に対する応答を生成する。 MCQに対する生成的学生の反応は質問項目評価をさらに支援することができる。 KLIフレームワークをベースとした素早いアーキテクチャである生成学生を提案する。 生成的学生プロファイル(英: Generative student profile)は、学生が習得した知識コンポーネントのリストの関数であり、知識の証拠を混乱させたり、全く持っていない。 ヒューリスティック評価の対象領域における生成的学生概念のインスタンス化を行う。 GPT-4を用いて45人の生成学生を作製し,20名のMCQに回答させた。 その結果, 生成した学生は, プロファイルに整合した論理的, 信頼性の高い反応を生み出した。 そして, 実生の反応と実生の反応を同一のMCQで比較したところ, 高い相関関係が認められた。 さらに, 生成的学生と実生が識別する難解な質問には, かなりの重複があった。 その後のケーススタディでは,ジェネレーティブ・学生が提供した信号に基づいて,インストラクターが質問品質を向上させることができた。

関連論文リスト

• Multimodal Reranking for Knowledge-Intensive Visual Question Answering [77.24401833951096]
  回答生成のための知識候補のランク付け品質を向上させるためのマルチモーダル・リランカを提案する。 OK-VQAとA-OKVQAの実験は、遠隔監視からのマルチモーダルリランカーが一貫した改善をもたらすことを示している。
  論文  参考訳（メタデータ） (2024-07-17T02:58:52Z)
• Stepwise Verification and Remediation of Student Reasoning Errors with Large Language Model Tutors [78.53699244846285]
  大規模言語モデル(LLM)は、高品質なパーソナライズされた教育を全員に拡大する機会を提供する。 LLMは、学生のエラーを正確に検知し、これらのエラーに対するフィードバックを調整するのに苦労する。 教師が学生の誤りを識別し、それに基づいて回答をカスタマイズする現実世界の教育実践に触発され、我々は学生ソリューションの検証に焦点をあてる。
  論文  参考訳（メタデータ） (2024-07-12T10:11:40Z)
• Student Answer Forecasting: Transformer-Driven Answer Choice Prediction for Language Learning [2.8887520199545187]
  近年の研究では、学生の特定の解答選択に対するパフォーマンスよりも、解答の正しさに焦点が当てられている。 MCQStudentBertは,学生の回答履歴の文脈的理解と質問や回答のテキストを統合した回答予測モデルである。 この作業は、よりパーソナライズされたコンテンツ、モジュール化、そして粒度の細かいサポートへの扉を開く。
  論文  参考訳（メタデータ） (2024-05-30T14:09:43Z)
• Qsnail: A Questionnaire Dataset for Sequential Question Generation [76.616068047362]
  質問紙作成作業に特化して構築された最初のデータセットについて述べる。 我々はQsnailの実験を行い、その結果、検索モデルと従来の生成モデルが与えられた研究トピックや意図と完全に一致していないことが明らかとなった。 チェーン・オブ・シークレット・プロンプトと微調整による改善にもかかわらず、言語モデルによるアンケートは、人間の手書きのアンケートには及ばない。
  論文  参考訳（メタデータ） (2024-02-22T04:14:10Z)
• Direct Evaluation of Chain-of-Thought in Multi-hop Reasoning with Knowledge Graphs [52.42505579545893]
  大規模言語モデル(LLM)は、回答とともにチェーン・オブ・シントの説明を生成するよう促されたとき、強い推論能力を示す。 本稿では,LLMの推論知識と生成したCoTの精度を評価するために,新しい識別的・生成的CoT評価パラダイムを提案する。
  論文  参考訳（メタデータ） (2024-02-17T05:22:56Z)
• Prompt-Engineering and Transformer-based Question Generation and Evaluation [0.0]
  本稿では,変換器モデルを用いてテキストデータから質問を生成する最良の方法を見つけ,エンジニアリングを急ぐことを目的とする。 生成した質問は、SQuADデータセットのベースライン質問と比較し、4つの異なるプロンプトの有効性を評価した。
  論文  参考訳（メタデータ） (2023-10-29T01:45:30Z)
• Retrieval-augmented Generation to Improve Math Question-Answering: Trade-offs Between Groundedness and Human Preference [0.0]
  我々は、高品質なオープンソースの数学教科書からコンテンツを検索して利用し、実際の学生の質問に対する応答を生成するプロンプトを設計する。 マルチ条件サーベイを実施し,中学代数学と幾何学QAのためのRAGシステムの有効性を評価した。 我々は、RAGは応答品質を向上させることができるが、数学のQAシステムの設計者は、学生が好む応答と、特定の教育資源に密接に適合する応答とのトレードオフを検討する必要があると論じる。
  論文  参考訳（メタデータ） (2023-10-04T22:09:28Z)
• Covering Uncommon Ground: Gap-Focused Question Generation for Answer Assessment [75.59538732476346]
  このようなギャップに着目した質問(GFQ)を自動生成する問題に着目する。 タスクを定義し、優れたGFQの所望の側面を強調し、これらを満たすモデルを提案する。
  論文  参考訳（メタデータ） (2023-07-06T22:21:42Z)
• Few-shot Question Generation for Personalized Feedback in Intelligent Tutoring Systems [22.167776818471026]
  パーソナライズされた修正フィードバックシステムは、生成質問応答システムを改善する可能性があることを示す。 実対話型ITSでは,生徒の学習能力が45%,23%向上した。
  論文  参考訳（メタデータ） (2022-06-08T22:59:23Z)
• What should I Ask: A Knowledge-driven Approach for Follow-up Questions Generation in Conversational Surveys [63.51903260461746]
  対話型調査における知識駆動型フォローアップ質問生成のための新しい課題を提案する。 そこで我々は,対話履歴とラベル付き知識を用いた人手によるフォローアップ質問の新しいデータセットを構築した。 次に,その課題に対する2段階の知識駆動モデルを提案する。
  論文  参考訳（メタデータ） (2022-05-23T00:57:33Z)
• R2DE: a NLP approach to estimating IRT parameters of newly generated questions [3.364554138758565]
  R2DEは、質問のテキストを見て、新しく生成された複数の選択の質問を評価することができるモデルである。 特に、各質問の難易度と識別度を推定することができる。
  論文  参考訳（メタデータ） (2020-01-21T14:31:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。