論文の概要: How Adding Metacognitive Requirements in Support of AI Feedback in Practice Exams Transforms Student Learning Behaviors

• arxiv url: http://arxiv.org/abs/2505.13381v1
• Date: Mon, 19 May 2025 17:25:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 14:57:11.768062
• Title: How Adding Metacognitive Requirements in Support of AI Feedback in Practice Exams Transforms Student Learning Behaviors
• Title（参考訳）: 実践演習におけるAIフィードバック支援のためのメタ認知的要求の追加は学生の学習行動を変える
• Authors: Mak Ahmad, Prerna Ravi, David Karger, Marc Facciotti,
• Abstract要約: 本稿では,AIが生成したフィードバックを対象とする教科書参照と統合した実践試験システムを提案する。 本システムでは,生徒に回答を説明し,自信を宣言することで,メタ認知行動を促進する。 OpenAIのGPT-4oを使用して、この情報に基づいてパーソナライズされたフィードバックを生成し、関連する教科書セクションに誘導する。
• 参考スコア（独自算出の注目度）: 1.3285222309805063
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Providing personalized, detailed feedback at scale in large undergraduate STEM courses remains a persistent challenge. We present an empirically evaluated practice exam system that integrates AI generated feedback with targeted textbook references, deployed in a large introductory biology course. Our system encourages metacognitive behavior by asking students to explain their answers and declare their confidence. It uses OpenAI's GPT-4o to generate personalized feedback based on this information, while directing them to relevant textbook sections. Through interaction logs from consenting participants across three midterms (541, 342, and 413 students respectively), totaling 28,313 question-student interactions across 146 learning objectives, along with 279 surveys and 23 interviews, we examined the system's impact on learning outcomes and engagement. Across all midterms, feedback types showed no statistically significant performance differences, though some trends suggested potential benefits. The most substantial impact came from the required confidence ratings and explanations, which students reported transferring to their actual exam strategies. About 40 percent of students engaged with textbook references when prompted by feedback -- far higher than traditional reading rates. Survey data revealed high satisfaction (mean rating 4.1 of 5), with 82.1 percent reporting increased confidence on practiced midterm topics, and 73.4 percent indicating they could recall and apply specific concepts. Our findings suggest that embedding structured reflection requirements may be more impactful than sophisticated feedback mechanisms.
• Abstract（参考訳）: 大規模なSTEMコースにおいて、パーソナライズされた詳細なフィードバックを提供することは、依然として永続的な課題である。 本稿では,AIが生成したフィードバックを対象とする教科書参照と統合し,大規模な導入生物学コースに展開する経験的評価試験システムを提案する。 本システムでは,生徒に回答を説明し,自信を宣言することで,メタ認知行動を促進する。 OpenAIのGPT-4oを使用して、この情報に基づいてパーソナライズされたフィードバックを生成し、関連する教科書セクションに誘導する。 受講生3名(541名,342名,413名)を対象に,146名の学習目標に対して,28,313名の質問文対話と279名のアンケート,23名のインタビューを行い,学習成果とエンゲージメントに対するシステムの影響を検討した。 あらゆる中間段階において、フィードバックタイプは統計的に有意なパフォーマンス差は示さなかったが、いくつかの傾向は潜在的な利益を示唆している。 最も重大な影響は、学生が実際の試験戦略に移行したと報告した信頼度評価と説明から生じた。 学生の約40%は、フィードバックによって教科書の参照を受け付けており、従来の読み上げ率よりもはるかに高い。 調査の結果、高い満足度(平均レーティング4.1は5)が示され、82.1%は実践された中期トピックに対する信頼感を高め、73.4%は特定の概念を思い出し適用できることを示した。 以上の結果から, 構造的反射条件の埋め込みは, 高度なフィードバック機構よりも影響が大きい可能性が示唆された。

関連論文リスト

• The Potential of Answer Classes in Large-scale Written Computer-Science Exams -- Vol. 2 [0.0]
  中等教育の教員養成では、試験ごとに評価ガイドラインが義務付けられている。 この概念を462名の学生と41名の課題を持つ大学試験に適用する。 各タスクに対して、インストラクターは、期待された応答のクラスである回答クラスを開発した。
  論文  参考訳（メタデータ） (2024-12-12T10:20:39Z)
• Could ChatGPT get an Engineering Degree? Evaluating Higher Education Vulnerability to AI Assistants [176.39275404745098]
  我々は,2つのAIアシスタントであるGPT-3.5とGPT-4が適切な回答を得られるかどうかを評価する。 GPT-4は65.8%の質問を正解し、85.1%の質問に対して少なくとも1つの手順で正しい答えを出すことができる。 この結果から,AIの進歩を踏まえて,高等教育におけるプログラムレベルの評価設計の見直しが求められた。
  論文  参考訳（メタデータ） (2024-08-07T12:11:49Z)
• Rethinking the Evaluation of Dialogue Systems: Effects of User Feedback on Crowdworkers and LLMs [57.16442740983528]
  アドホック検索では、評価は暗黙のフィードバックを含むユーザーの行動に大きく依存する。 アノテータの会話知覚におけるターン評価におけるユーザフィードバックの役割はほとんど研究されていない。 本稿では,タスク指向対話システム(TDS)の評価が,ターンのフォローアップ発話を通じて提供されるユーザフィードバック,明示的あるいは暗黙的な評価にどのように影響するかに注目した。
  論文  参考訳（メタデータ） (2024-04-19T16:45:50Z)
• Automated Assessment of Encouragement and Warmth in Classrooms Leveraging Multimodal Emotional Features and ChatGPT [7.273857543125784]
  本研究は,教室における暖かさと励ましを自動的に推定するマルチモーダルアプローチである。 映像,音声,転写データから解釈可能な特徴を抽出するために,感情分析を用いた顔と音声の感情認識を用いた。 92の授業記録から367の16分間のビデオセグメントを含むGTIデータセットに対するアプローチを実証した。
  論文  参考訳（メタデータ） (2024-04-01T16:58:09Z)
• Investigating Fairness Disparities in Peer Review: A Language Model Enhanced Approach [77.61131357420201]
  我々は、大規模言語モデル(LM)の助けを借りて、ピアレビューにおける公平性格差の徹底した厳密な研究を行う。 我々は、2017年から現在までのICLR(International Conference on Learning Representations)カンファレンスで、包括的なリレーショナルデータベースを収集、組み立て、維持しています。 我々は、著作者性別、地理、著作者、機関的名声など、興味のある複数の保護属性に対する公平性の違いを仮定し、研究する。
  論文  参考訳（メタデータ） (2022-11-07T16:19:42Z)
• The Study of Peer Assessment Impact on Group Learning Activities [2.045495982086173]
  この研究は、完全かつ体系的なレビューを提供し、ピアアセスメントプロセスの実践と品質を高めます。 その結果、37%の学生が選択した場合、グループワークよりも個々の仕事を選択できることがわかった。 ケーススタディでは、28人の学生の82.1%が、コミュニケーションツールとしてFacebookを使ってグループで仕事をしている。
  論文  参考訳（メタデータ） (2022-01-07T06:54:18Z)
• SIFN: A Sentiment-aware Interactive Fusion Network for Review-based Item Recommendation [48.1799451277808]
  本稿では、レビューに基づく項目推薦のための感性認識型インタラクティブフュージョンネットワーク(SIFN)を提案する。 まず、BERTを介してユーザ/イテムレビューをエンコードし、各レビューのセマンティックな特徴を抽出する軽量な感情学習者を提案する。 そこで我々は,感情学習者が明示的な感情ラベルを用いて感情認識特徴を抽出するための感情予測タスクを提案する。
  論文  参考訳（メタデータ） (2021-08-18T08:04:38Z)
• Supporting Cognitive and Emotional Empathic Writing of Students [15.125096968712063]
  本稿では,ドイツ語のビジネスモデルに関する学生によるピアレビューにおいて,感情的・認知的共感を捉えるためのアノテーションアプローチを提案する。 我々は、注釈付き共感構造を検知し、適応的な筆記支援システムに組み込む予測モデルを訓練した。 58名の学生を対象としたピアラーニング演習において, 共感スキル学習, フィードバックの精度, 使用意図に対する有望な結果が得られた。
  論文  参考訳（メタデータ） (2021-05-31T09:18:50Z)
• Deep Discourse Analysis for Generating Personalized Feedback in Intelligent Tutor Systems [4.716555240531893]
  ITS(Intelligent Tutoring System)で、自動化されたパーソナライズされたフィードバックの作成を検討します。 我々のゴールは、学生のより優れた学習目標を達成するために、学生の回答の正しい概念と間違った概念を見極めることである。
  論文  参考訳（メタデータ） (2021-03-13T20:33:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。