論文の概要: Step-by-Step Remediation of Students' Mathematical Mistakes
- arxiv url: http://arxiv.org/abs/2310.10648v1
- Date: Mon, 16 Oct 2023 17:59:50 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-17 12:20:08.714861
- Title: Step-by-Step Remediation of Students' Mathematical Mistakes
- Title(参考訳): 学生の数学的誤りの段階的修復
- Authors: Rose E. Wang, Qingyang Zhang, Carly Robinson, Susanna Loeb, Dorottya
Demszky
- Abstract要約: 本稿では,経験を積んだ教師と共同開発したベンチマークReMathを紹介する。
ReMath上でのインストラクション調整およびダイアログモデルの性能評価を行った。
- 参考スコア(独自算出の注目度): 4.5056128270428495
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Scaling high-quality tutoring is a major challenge in education. Because of
the growing demand, many platforms employ novice tutors who, unlike
professional educators, struggle to effectively address student mistakes and
thus fail to seize prime learning opportunities for students. In this paper, we
explore the potential for large language models (LLMs) to assist math tutors in
remediating student mistakes. We present ReMath, a benchmark co-developed with
experienced math teachers that deconstructs their thought process for
remediation. The benchmark consists of three step-by-step tasks: (1) infer the
type of student error, (2) determine the strategy to address the error, and (3)
generate a response that incorporates that information. We evaluate the
performance of state-of-the-art instruct-tuned and dialog models on ReMath. Our
findings suggest that although models consistently improve upon original tutor
responses, we cannot rely on models alone to remediate mistakes. Providing
models with the error type (e.g., the student is guessing) and strategy (e.g.,
simplify the problem) leads to a 75% improvement in the response quality over
models without that information. Nonetheless, despite the improvement, the
quality of the best model's responses still falls short of experienced math
teachers. Our work sheds light on the potential and limitations of using
current LLMs to provide high-quality learning experiences for both tutors and
students at scale. Our work is open-sourced at this link:
\url{https://github.com/rosewang2008/remath}.
- Abstract(参考訳): 質の高いチューリングをスケールすることは教育の大きな課題である。
需要が高まっているため、多くのプラットフォームは初心者の家庭教師を雇い、プロの教育者とは異なり、生徒のミスに効果的に対処するのに苦労している。
本稿では,大規模言語モデル (LLM) が,学生の誤りの即時処理を支援する可能性について検討する。
remathは、経験豊富な数学教師と共同開発したベンチマークで、修復のための思考過程を分解する。
ベンチマークは,(1)学生エラーのタイプを推測する,(2)エラーに対処する戦略を決定する,(3)その情報を組み込んだ応答を生成する,の3つのステップバイステップからなる。
本研究では,ReMath上でのインストラクションとダイアログモデルの性能を評価する。
以上の結果から,モデルが学習者の反応を一貫して改善するが,誤りの修正にはモデルだけでは頼りにできないことが示唆された。
エラータイプ(例えば、学生が推測している)と戦略(例えば、問題を単純化する)を持つモデルを提供することで、その情報のないモデルよりも応答品質が75%向上する。
それでも、改善にもかかわらず、最高のモデルの応答の質は、まだ経験豊富な数学教師に劣っている。
我々の研究は、教師と学生の両方に大規模な学習体験を提供するために、現在のLLMを使うことの可能性と限界に光を当てている。
私たちの仕事は、このリンクでオープンソース化されています。
関連論文リスト
- InternLM-Math: Open Math Large Language Models Toward Verifiable
Reasoning [99.8200914526817]
InternLM2から事前学習を継続するILMs InternLM-Mathをオープンソースとして公開する。
我々は、連鎖推論、報酬モデリング、形式推論、データ拡張、コードインタプリタを、統一されたSeq2seqフォーマットで統一する。
我々の事前学習モデルは、微調整なしでMiniF2Fテストセットで30.3を達成する。
論文 参考訳(メタデータ) (2024-02-09T11:22:08Z) - YODA: Teacher-Student Progressive Learning for Language Models [82.0172215948963]
本稿では,教師が指導するプログレッシブ・ラーニング・フレームワークであるYodaを紹介する。
モデルファインチューニングの有効性を向上させるために,教師の教育過程をエミュレートする。
実験の結果, YODAのデータによるLLaMA2のトレーニングにより, SFTは大幅に向上した。
論文 参考訳(メタデータ) (2024-01-28T14:32:15Z) - Using Large Language Models to Assess Tutors' Performance in Reacting to
Students Making Math Errors [2.099922236065961]
数学の誤りを犯した生徒に対する実生活教師のパフォーマンスを評価するための生成AIの能力について検討する。
その結果, GPT-3.5-Turbo と GPT-4 の双方が, 誤りを犯す生徒に対して反応する基準を評価する能力を示した。
GPT-4は、学生が誤りを犯した事例を過度に同定する傾向があり、しばしば学生の不確実性や、人間の評価者が起こらなかった潜在的な誤りを推測する。
論文 参考訳(メタデータ) (2024-01-06T15:34:27Z) - Can Language Models Teach Weaker Agents? Teacher Explanations Improve
Students via Personalization [84.86241161706911]
教師のLLMは、実際に生徒の推論に介入し、パフォーマンスを向上させることができることを示す。
また,マルチターンインタラクションでは,教師による説明が一般化され,説明データから学習されることを示す。
教師のミスアライメントが学生の成績をランダムな確率に低下させることを、意図的に誤解させることで検証する。
論文 参考訳(メタデータ) (2023-06-15T17:27:20Z) - MathDial: A Dialogue Tutoring Dataset with Rich Pedagogical Properties
Grounded in Math Reasoning Problems [74.73881579517055]
そこで本稿では,一般学生の誤りを表現した大規模言語モデルを用いて,人間教師の対話を生成する枠組みを提案する。
このフレームワークを用いて3kの1対1の教師-学生対話のデータセットであるMathDialを収集する方法について述べる。
論文 参考訳(メタデータ) (2023-05-23T21:44:56Z) - Let GPT be a Math Tutor: Teaching Math Word Problem Solvers with
Customized Exercise Generation [39.282695549919495]
本稿では,大規模言語モデル(LLM)からより小さく,より効率的な学生モデルへ,数学用語の問題解決能力を蒸留する新しい手法を提案する。
本手法は, 学生モデルの弱点を考察し, 教育科学の原則に沿った目標運動を生成することによって, 適切な学習体験を育成することを目的としている。
論文 参考訳(メタデータ) (2023-05-22T17:36:14Z) - Opportunities and Challenges in Neural Dialog Tutoring [54.07241332881601]
言語学習のための2つの対話学習データセットを用いて、様々な生成言語モデルを厳密に分析する。
現在のアプローチでは、制約のある学習シナリオでチューリングをモデル化できますが、制約の少ないシナリオではパフォーマンスが悪くなります。
人的品質評価では, モデルと接地木アノテーションの両方が, 同等のチュータリングの点で低い性能を示した。
論文 参考訳(メタデータ) (2023-01-24T11:00:17Z) - Distantly-Supervised Named Entity Recognition with Adaptive Teacher
Learning and Fine-grained Student Ensemble [56.705249154629264]
NERモデルの堅牢性を改善するために,自己学習型教員学生フレームワークを提案する。
本稿では,2つの教員ネットワークからなる適応型教員学習を提案する。
微粒な学生アンサンブルは、教師モデルの各フラグメントを、生徒の対応するフラグメントの時間移動平均で更新し、各モデルフラグメントのノイズに対する一貫した予測を強化する。
論文 参考訳(メタデータ) (2022-12-13T12:14:09Z) - Methodical Advice Collection and Reuse in Deep Reinforcement Learning [12.840744403432547]
この研究は、学生がいつアドバイスを求めるべきか、学生がより少ないアドバイスを求めるために教師をモデル化できるかどうかについて、不確実性をうまく活用する方法を検討する。
実験結果から,2つの不確実性を用いてアドバイス収集と再利用を行うことにより,アタリゲーム間の学習性能が向上する可能性が示唆された。
論文 参考訳(メタデータ) (2022-04-14T22:24:55Z) - Learning by Teaching, with Application to Neural Architecture Search [10.426533624387305]
学習による学習(LBT)と呼ばれる新しいMLフレームワークを提案する。
lbtでは、教師モデルが生徒モデルにうまく学ぶように教えることで自己改善する。
バリデーションデータセットで生徒がどのように振る舞うかに基づいて、教師はモデルを再学習し、生徒が優れたバリデーション性能に達するまで再指導する。
論文 参考訳(メタデータ) (2021-03-11T23:50:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。