論文の概要: Evaluating and Optimizing Educational Content with Large Language Model Judgments

• arxiv url: http://arxiv.org/abs/2403.02795v2
• Date: Mon, 6 May 2024 04:54:19 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-07 23:26:12.916070
• Title: Evaluating and Optimizing Educational Content with Large Language Model Judgments
• Title（参考訳）: 大規模言語モデルによる教育内容の評価と最適化
• Authors: Joy He-Yueya, Noah D. Goodman, Emma Brunskill,
• Abstract要約: 言語モデル(LM)を教育専門家として活用し,学習結果に対する様々な指導の影響を評価する。 本稿では,一方のLMが他方のLMの判断を報酬関数として利用して命令材料を生成する命令最適化手法を提案する。 ヒトの教師によるこれらのLM生成ワークシートの評価は、LM判定と人間の教師の嗜好との間に有意な整合性を示す。
• 参考スコア（独自算出の注目度）: 52.33701672559594
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Creating effective educational materials generally requires expensive and time-consuming studies of student learning outcomes. To overcome this barrier, one idea is to build computational models of student learning and use them to optimize instructional materials. However, it is difficult to model the cognitive processes of learning dynamics. We propose an alternative approach that uses Language Models (LMs) as educational experts to assess the impact of various instructions on learning outcomes. Specifically, we use GPT-3.5 to evaluate the overall effect of instructional materials on different student groups and find that it can replicate well-established educational findings such as the Expertise Reversal Effect and the Variability Effect. This demonstrates the potential of LMs as reliable evaluators of educational content. Building on this insight, we introduce an instruction optimization approach in which one LM generates instructional materials using the judgments of another LM as a reward function. We apply this approach to create math word problem worksheets aimed at maximizing student learning gains. Human teachers' evaluations of these LM-generated worksheets show a significant alignment between the LM judgments and human teacher preferences. We conclude by discussing potential divergences between human and LM opinions and the resulting pitfalls of automating instructional design.
• Abstract（参考訳）: 効果的な教育資料を作成するには、学生の学習成果の高価で時間を要する。 この障壁を克服するために、学生学習の計算モデルを構築し、それを教材の最適化に使用するというアイデアがある。 しかし、学習力学の認知過程をモデル化することは困難である。 本稿では,言語モデル(LM)を教育専門家として活用し,学習結果に対する様々な指導の効果を評価する方法を提案する。 具体的には、GPT-3.5を用いて、異なる学生グループに対する教材の全体的な効果を評価し、専門家リバーサル効果や変数効果といった、確立した教育成果を再現できることを見出した。 このことは、教育コンテンツの信頼性評価者としてのLMの可能性を示している。 この知見に基づいて、1つのLMがもう1つのLMの判断を報酬関数として利用して命令材料を生成する命令最適化手法を提案する。 本稿では,学生の学習成果の最大化を目的とした数学語問題ワークシートの作成に,本手法を適用した。 ヒトの教師によるこれらのLM生成ワークシートの評価は、LM判定と人間の教師の嗜好との間に有意な整合性を示す。 我々は、人間とLMの意見の潜在的な相違と、教育設計の自動化の落とし穴について論じる。

関連論文リスト

• Automated Feedback in Math Education: A Comparative Analysis of LLMs for Open-Ended Responses [0.0]
  本研究では,大規模言語モデル(LLM)が数学教育における自動フィードバックを促進する可能性を探究することを目的とする。 我々は,Llamaの数学版であるMistralを採用し,このモデルを用いて,中学校数学問題に対する生徒の回答と教師によるフィードバックのデータセットを活用することによって,学生の反応を評価する。 2人の教師の判断を生かして,評価精度とフィードバックの質を評価する。
  論文  参考訳（メタデータ） (2024-10-29T16:57:45Z)
• Students Rather Than Experts: A New AI For Education Pipeline To Model More Human-Like And Personalised Early Adolescences [11.576679362717478]
  本研究は,仮想学生エージェントをモデル化するための文脈としての言語学習に焦点を当てた。 教師と生徒の個人的交流のデータセットを様々な性格特性でキュレートすることにより,多次元的評価実験を行う。
  論文  参考訳（メタデータ） (2024-10-21T07:18:24Z)
• LLM-based Cognitive Models of Students with Misconceptions [55.29525439159345]
  本稿では,この2つの要件を満たすためにLLM(Large Language Models)を命令調整できるかどうかを検討する。 真正な学生ソリューションパターンを反映したデータセットを生成する新しいPythonライブラリであるMalAlgoPyを紹介する。 我々の洞察は、AIに基づく学生モデルの理解を高め、効果的な適応学習システムへの道を開く。
  論文  参考訳（メタデータ） (2024-10-16T06:51:09Z)
• Closing the Loop: Learning to Generate Writing Feedback via Language Model Simulated Student Revisions [6.216542656489173]
  本稿では,LM シミュレーションによる学生のリビジョンの学習を通じてフィードバックを生成できる ProF を提案する。 本稿では,PROFの有効性を実証的に検証し,本手法が学生の筆跡改善に有効であることを示す。
  論文  参考訳（メタデータ） (2024-10-10T15:52:48Z)
• Toward In-Context Teaching: Adapting Examples to Students' Misconceptions [54.82965010592045]
  本稿ではAdapTと呼ばれる一連のモデルと評価手法を紹介する。 AToMは、学生の過去の信念を共同で推論し、将来の信念の正しさを最適化する適応教育の新しい確率論的モデルである。 本研究は,適応型学習課題の難しさと,それを解決するための学習適応モデルの可能性を両立させるものである。
  論文  参考訳（メタデータ） (2024-05-07T17:05:27Z)
• Improving the Validity of Automatically Generated Feedback via Reinforcement Learning [50.067342343957876]
  強化学習(RL)を用いた正当性と整合性の両方を最適化するフィードバック生成フレームワークを提案する。 具体的には、直接選好最適化(DPO)によるトレーニングのための拡張データセットにおいて、GPT-4のアノテーションを使用してフィードバックペアよりも好みを生成する。
  論文  参考訳（メタデータ） (2024-03-02T20:25:50Z)
• Democratizing Reasoning Ability: Tailored Learning from Large Language Model [97.4921006089966]
  そこで我々は,そのような推論能力をより小さなLMに蒸留する,適切な学習手法を提案する。 対話型多ラウンド学習パラダイムを構築することにより,理科教員としてのLLMの可能性を活用する。 より小さなLMの推論可能性を活用するために,学生が自作ミスから学習する動機付けを目的とした自己回帰学習を提案する。
  論文  参考訳（メタデータ） (2023-10-20T07:50:10Z)
• Learning by Self-Explaining [23.420673675343266]
  我々は、自己説明による学習(LSX)と呼ばれる画像分類の文脈において、新しいワークフローを導入する。 LSXは、自己修復型AIと人間誘導型説明機械学習の側面を利用する。 本結果は,自己説明による学習による改善を,いくつかのレベルで示すものである。
  論文  参考訳（メタデータ） (2023-09-15T13:41:57Z)
• Self-directed Machine Learning [86.3709575146414]
  教育科学において、自己指導型学習は受動的教師指導型学習よりも効果的であることが示されている。 本稿では,自己指向機械学習(SDML)の基本概念を紹介し,SDMLのためのフレームワークを提案する。 提案したSDMLプロセスは,自己タスク選択,自己データ選択,自己モデル選択,自己最適化戦略選択,自己評価基準選択の恩恵を受ける。
  論文  参考訳（メタデータ） (2022-01-04T18:32:06Z)
• RLTutor: Reinforcement Learning Based Adaptive Tutoring System by Modeling Virtual Student with Fewer Interactions [10.34673089426247]
  本稿では,学生の仮想モデルを構築し,指導戦略を最適化する枠組みを提案する。 この結果は,eラーニングシステムにおける理論的指導最適化と実践的応用のバッファとして機能する。
  論文  参考訳（メタデータ） (2021-07-31T15:42:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。