論文の概要: Improving Assessment of Tutoring Practices using Retrieval-Augmented Generation

• arxiv url: http://arxiv.org/abs/2402.14594v1
• Date: Sun, 4 Feb 2024 20:42:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-25 16:44:08.524730
• Title: Improving Assessment of Tutoring Practices using Retrieval-Augmented Generation
• Title（参考訳）: 検索型生成を用いた指導実践の評価改善
• Authors: Zifei (FeiFei) Han, Jionghao Lin, Ashish Gurung, Danielle R. Thomas, Eason Chen, Conrad Borchers, Shivang Gupta, Kenneth R. Koedinger
• Abstract要約: ワン・ワン・ワン・チュータリングは、学習力を高める効果的な指導方法であるが、その効果は家庭教師の能力に左右される。 本研究の目的は, GPT-3.5 や GPT-4 モデルなどの生成事前学習型トランスフォーマー (GPT) を用いて, 教師が社会的情緒的学習戦略を活用できる能力を自動的に評価することである。
• 参考スコア（独自算出の注目度）: 10.419430731115405
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: One-on-one tutoring is an effective instructional method for enhancing learning, yet its efficacy hinges on tutor competencies. Novice math tutors often prioritize content-specific guidance, neglecting aspects such as social-emotional learning. Social-emotional learning promotes equity and inclusion and nurturing relationships with students, which is crucial for holistic student development. Assessing the competencies of tutors accurately and efficiently can drive the development of tailored tutor training programs. However, evaluating novice tutor ability during real-time tutoring remains challenging as it typically requires experts-in-the-loop. To address this challenge, this preliminary study aims to harness Generative Pre-trained Transformers (GPT), such as GPT-3.5 and GPT-4 models, to automatically assess tutors' ability of using social-emotional tutoring strategies. Moreover, this study also reports on the financial dimensions and considerations of employing these models in real-time and at scale for automated assessment. The current study examined four prompting strategies: two basic Zero-shot prompt strategies, Tree of Thought prompt, and Retrieval-Augmented Generator (RAG) based prompt. The results indicate that the RAG prompt demonstrated more accurate performance (assessed by the level of hallucination and correctness in the generated assessment texts) and lower financial costs than the other strategies evaluated. These findings inform the development of personalized tutor training interventions to enhance the the educational effectiveness of tutored learning.
• Abstract（参考訳）: 1対1の指導は、学習を強化する効果的な指導方法であるが、その効果は教師の能力にかかっている。 初心者の数学教師は、しばしばコンテンツ固有の指導を優先し、社会的感情学習のような側面を無視する。 社会情緒学習は学生との平等と包摂性、および育児的関係を促進する。 教師の能力を正確にかつ効率的に評価することで、教師養成プログラムの開発を促進することができる。 しかし、実時間授業中に初級講師の能力を評価することは、通常、ループのエキスパートを必要とするため、依然として困難である。 本研究は, GPT-3.5 モデルや GPT-4 モデルなどの生成事前学習型トランスフォーマー (GPT) を用いて, 教師が社会的情緒的学習戦略を活用できる能力を自動的に評価することを目的とする。 さらに,本研究は,これらのモデルをリアルタイムかつ大規模に,自動評価に活用するための財務的側面と考察についても報告する。 本研究では,2つのゼロショットプロンプト戦略,思考プロンプトのツリー,検索型ジェネレータ(rag)に基づくプロンプトの4つのプロンプト戦略を検討した。 その結果、RAGは、評価した他の戦略よりも、より正確なパフォーマンス(生成した評価テキストの幻覚と正しさのレベルによって評価される)と財務コストの低下を示した。 これらの知見は、教師養成の教育効果を高めるために、個人化された指導者訓練介入の開発に寄与する。

関連論文リスト

• Multi-Modal Self-Supervised Learning for Surgical Feedback Effectiveness Assessment [66.6041949490137]
  そこで本研究では,音声による音声入力とそれに対応する手術映像からの情報を統合して,フィードバックの有効性を予測する手法を提案する。 以上の結果から,手書きフィードバックと手術映像の両方が,訓練者の行動変化を個別に予測できることがわかった。 本研究は,手術フィードバックの自動評価を推進するためのマルチモーダル学習の可能性を示すものである。
  論文  参考訳（メタデータ） (2024-11-17T00:13:00Z)
• Towards Responsible Development of Generative AI for Education: An Evaluation-Driven Approach [25.903775277417267]
  生成型AI(gen AI)の最近の進歩は、学習者全員に個人家庭教師を提供し、教師全員に指導助手を提供する新しい技術の可能性に興奮をもたらしている。 これは主に、ジェネラルAIプロンプトへの教育的直観の言葉化と、優れた評価プラクティスの欠如によるものである、と我々は主張する。 ここでは,学習者や教育者と共同で,学習科学から7つの多様な教育ベンチマークの実践的なセットに高レベルの原則を翻訳する作業について述べる。
  論文  参考訳（メタデータ） (2024-05-21T19:27:59Z)
• Evaluating and Optimizing Educational Content with Large Language Model Judgments [52.33701672559594]
  言語モデル(LM)を教育専門家として活用し,学習結果に対する様々な指導の影響を評価する。 本稿では,一方のLMが他方のLMの判断を報酬関数として利用して命令材料を生成する命令最適化手法を提案する。 ヒトの教師によるこれらのLM生成ワークシートの評価は、LM判定と人間の教師の嗜好との間に有意な整合性を示す。
  論文  参考訳（メタデータ） (2024-03-05T09:09:15Z)
• Improving the Validity of Automatically Generated Feedback via Reinforcement Learning [50.067342343957876]
  強化学習(RL)を用いた正当性と整合性の両方を最適化するフィードバック生成フレームワークを提案する。 具体的には、直接選好最適化(DPO)によるトレーニングのための拡張データセットにおいて、GPT-4のアノテーションを使用してフィードバックペアよりも好みを生成する。
  論文  参考訳（メタデータ） (2024-03-02T20:25:50Z)
• Using Large Language Models to Assess Tutors' Performance in Reacting to Students Making Math Errors [2.099922236065961]
  数学の誤りを犯した生徒に対する実生活教師のパフォーマンスを評価するための生成AIの能力について検討する。 その結果, GPT-3.5-Turbo と GPT-4 の双方が, 誤りを犯す生徒に対して反応する基準を評価する能力を示した。 GPT-4は、学生が誤りを犯した事例を過度に同定する傾向があり、しばしば学生の不確実性や、人間の評価者が起こらなかった潜在的な誤りを推測する。
  論文  参考訳（メタデータ） (2024-01-06T15:34:27Z)
• Towards Goal-oriented Intelligent Tutoring Systems in Online Education [69.06930979754627]
  目標指向知能チューニングシステム(GITS)という新しいタスクを提案する。 GITSは,演習や評価のカスタマイズを戦略的に計画することで,学生の指定概念の習得を可能にすることを目的としている。 PAI(Planning-Assessment-Interaction)と呼ばれるグラフに基づく新しい強化学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-03T12:37:16Z)
• Implementing Learning Principles with a Personal AI Tutor: A Case Study [2.94944680995069]
  本研究は,人間の学習過程をモデル化し,学術的性能を効果的に向上するパーソナルAIチューターの能力を示す。 プログラムにAIチューターを統合することで、教育者は、学習科学の原則に基づくパーソナライズされた学習体験を学生に提供することができる。
  論文  参考訳（メタデータ） (2023-09-10T15:35:47Z)
• Comparative Analysis of GPT-4 and Human Graders in Evaluating Praise Given to Students in Synthetic Dialogues [2.3361634876233817]
  AIチャットボットChatGPTのような大規模な言語モデルは、実践的な設定で家庭教師に建設的なフィードバックを提供する可能性を秘めている。 AIが生成したフィードバックの正確性はまだ不明であり、ChatGPTのようなモデルが効果的なフィードバックを提供する能力について研究している。
  論文  参考訳（メタデータ） (2023-07-05T04:14:01Z)
• A Machine Learning system to monitor student progress in educational institutes [0.0]
  本稿では、機械学習技術を用いて、クレジットスコアと呼ばれる分類器を生成するデータ駆動手法を提案する。 信用スコアを進捗指標として使うという提案は、学習管理システムで使うのに適している。
  論文  参考訳（メタデータ） (2022-11-02T08:24:08Z)
• Teachable Reinforcement Learning via Advice Distillation [161.43457947665073]
  外部教師が提供した構造化アドバイスから学習する「教育可能な」意思決定システムに基づく対話型学習のための新しい指導パラダイムを提案する。 我々は、アドバイスから学ぶエージェントが、標準的な強化学習アルゴリズムよりも人的監督力の少ない新しいスキルを習得できることを示す。
  論文  参考訳（メタデータ） (2022-03-19T03:22:57Z)
• Distribution Matching for Machine Teaching [64.39292542263286]
  機械学習の逆問題である機械学習は、学習者の目標仮説に向けて学習者を操ることを目的としている。 機械教育に関するこれまでの研究は、それらの最良の指導例を見つけるための教育のリスクとコストのバランスに重点を置いていた。 本稿では,分布マッチングに基づく機械教育戦略を提案する。
  論文  参考訳（メタデータ） (2021-05-06T09:32:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。