論文の概要: Training LLM-based Tutors to Improve Student Learning Outcomes in Dialogues

• arxiv url: http://arxiv.org/abs/2503.06424v1
• Date: Sun, 09 Mar 2025 03:38:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-11 15:53:10.456958
• Title: Training LLM-based Tutors to Improve Student Learning Outcomes in Dialogues
• Title（参考訳）: 対話における学習成果向上のためのLDM型チュータの訓練
• Authors: Alexander Scarlatos, Naiming Liu, Jaewook Lee, Richard Baraniuk, Andrew Lan,
• Abstract要約: 本稿では,大規模言語モデル(LLM)を訓練し,学生の正当性を最大化するチューター発話を生成する手法を提案する。 モデルにより生成された教師発話が,学生の正答率を著しく高めることを示す。
• 参考スコア（独自算出の注目度）: 46.60683274479208
• License:
• Abstract: Generative artificial intelligence (AI) has the potential to scale up personalized tutoring through large language models (LLMs). Recent AI tutors are adapted for the tutoring task by training or prompting LLMs to follow effective pedagogical principles, though they are not trained to maximize student learning throughout the course of a dialogue. Therefore, they may engage with students in a suboptimal way. We address this limitation by introducing an approach to train LLMs to generate tutor utterances that maximize the likelihood of student correctness, while still encouraging the model to follow good pedagogical practice. Specifically, we generate a set of candidate tutor utterances and score them using (1) an LLM-based student model to predict the chance of correct student responses and (2) a pedagogical rubric evaluated by GPT-4o. We then use the resulting data to train an open-source LLM, Llama 3.1 8B, using direct preference optimization. We show that tutor utterances generated by our model lead to significantly higher chances of correct student responses while maintaining the pedagogical quality of GPT-4o. We also conduct qualitative analyses and a human evaluation to demonstrate that our model generates high quality tutor utterances.
• Abstract（参考訳）: 生成的人工知能(AI)は、大きな言語モデル(LLM)を通じてパーソナライズされた学習をスケールアップする可能性がある。 近年のAI家庭教師は、対話を通して生徒の学習を最大限にするために訓練されていないが、LLMに効果的な教育原則に従うように指導したり促したりすることで、指導タスクに適応している。 そのため、学生を準最適に扱うことができる。 この制限は、学生の正しさを最大化するチューター発話を生成するために、LLMを訓練するためのアプローチを導入することで解決されるが、それでも良い教育実践に従うようモデルに促すことによって解決される。 具体的には,(1)LLMに基づく学生モデルを用いて,学生の正しい反応の確率を予測し,(2)GPT-4oで評価された教育的ルーリックを用いて,候補者発話を生成し,評価する。 次に、直接選好最適化を用いて、得られたデータを用いてオープンソースのLLMであるLlama 3.1 8Bをトレーニングする。 GPT-4o の教育的品質を維持しつつ, モデルによる教師発話が学生の正答率を著しく高めることを示す。 また、質的な分析と人間の評価を行い、高品質なチューター発話を生成することを示す。

関連論文リスト

• Position: LLMs Can be Good Tutors in Foreign Language Education [87.88557755407815]
  我々は、外国語教育(FLE)において、大きな言語モデル(LLM)が効果的な家庭教師として機能する可能性を主張する。 具体的には、(1)データエンハンサーとして、(2)学習教材の作成や学生シミュレーションとして、(2)タスク予測器として、学習者の評価や学習経路の最適化に、(3)エージェントとして、そして、パーソナライズされた包括的教育を可能にする3つの重要な役割を果たせる。
  論文  参考訳（メタデータ） (2025-02-08T06:48:49Z)
• Do Tutors Learn from Equity Training and Can Generative AI Assess It? [2.116573423199236]
  本研究では,教師のスキル向上のためのオンライン授業において,教師のパフォーマンスを評価する。 教師の自己報告による知識への信頼度の増加に伴い,学習の習得率が著しく向上することがわかった。 この作業では、レッスンログデータ、チューター応答、人間のアノテーション用のルーブリック、生成AIプロンプトのデータセットが利用可能になる。
  論文  参考訳（メタデータ） (2024-12-15T17:36:40Z)
• Developing a Tutoring Dialog Dataset to Optimize LLMs for Educational Use [1.2277343096128712]
  大規模言語モデル(LLM)は、スケーラブルな教育アプリケーションへの期待を示している。 本研究は,読解問題における1対1の指導に,より小型で手頃なLPMを用いることを検討した。
  論文  参考訳（メタデータ） (2024-10-25T00:40:21Z)
• Towards the Pedagogical Steering of Large Language Models for Tutoring: A Case Study with Modeling Productive Failure [36.83786872708736]
  1対1の授業は、最も効果的な教育方法の1つである。 先進的で効果的な学習設計であるProductive Failure (PF) に倣って, 高校数学のプロトタイプチューターを作成する。 我々は,StratLがLLMの運営に成功し,生産的失敗の学習戦略に従うことを定量的に示す。
  論文  参考訳（メタデータ） (2024-10-03T16:15:41Z)
• Exploring Knowledge Tracing in Tutor-Student Dialogues using LLMs [49.18567856499736]
  本研究では,大規模言語モデル(LLM)が対話学習を支援することができるかどうかを検討する。 我々は,学習者の知識レベルを対話全体にわたって追跡するために,ラベル付きデータに知識追跡(KT)手法を適用した。 我々は,2つの学習対話データセットの実験を行い,従来のKT手法よりも学生の反応の正しさを予測できる新しいLCM-based method LLMKTが優れていることを示す。
  論文  参考訳（メタデータ） (2024-09-24T22:31:39Z)
• Evaluating and Optimizing Educational Content with Large Language Model Judgments [52.33701672559594]
  言語モデル(LM)を教育専門家として活用し,学習結果に対する様々な指導の影響を評価する。 本稿では,一方のLMが他方のLMの判断を報酬関数として利用して命令材料を生成する命令最適化手法を提案する。 ヒトの教師によるこれらのLM生成ワークシートの評価は、LM判定と人間の教師の嗜好との間に有意な整合性を示す。
  論文  参考訳（メタデータ） (2024-03-05T09:09:15Z)
• Improving the Validity of Automatically Generated Feedback via Reinforcement Learning [46.667783153759636]
  強化学習(RL)を用いた正当性と整合性の両方を最適化するフィードバック生成フレームワークを提案する。 具体的には、直接選好最適化(DPO)によるトレーニングのための拡張データセットにおいて、GPT-4のアノテーションを使用してフィードバックペアよりも好みを生成する。
  論文  参考訳（メタデータ） (2024-03-02T20:25:50Z)
• AutoTutor meets Large Language Models: A Language Model Tutor with Rich Pedagogy and Guardrails [43.19453208130667]
  大規模言語モデル(LLM)は、自動質問生成からエッセイ評価まで、いくつかのユースケースを教育で発見した。 本稿では,Large Language Models (LLMs) を用いて知的チューリングシステムを構築する可能性について検討する。 MWPTutor は LLM を用いて事前定義された有限状態トランスデューサの状態空間を補う。
  論文  参考訳（メタデータ） (2024-02-14T14:53:56Z)
• Opportunities and Challenges in Neural Dialog Tutoring [54.07241332881601]
  言語学習のための2つの対話学習データセットを用いて、様々な生成言語モデルを厳密に分析する。 現在のアプローチでは、制約のある学習シナリオでチューリングをモデル化できますが、制約の少ないシナリオではパフォーマンスが悪くなります。 人的品質評価では, モデルと接地木アノテーションの両方が, 同等のチュータリングの点で低い性能を示した。
  論文  参考訳（メタデータ） (2023-01-24T11:00:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。