論文の概要: Learning to Make MISTAKEs: Modeling Incorrect Student Thinking And Key Errors
- arxiv url: http://arxiv.org/abs/2510.11502v1
- Date: Mon, 13 Oct 2025 15:10:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-14 18:06:30.422197
- Title: Learning to Make MISTAKEs: Modeling Incorrect Student Thinking And Key Errors
- Title(参考訳): MISTAKEsを作るための学習: 間違った学生の思考とキーエラーをモデル化する
- Authors: Alexis Ross, Jacob Andreas,
- Abstract要約: 本稿では,推論誤りの高品質な合成例を構成する新しい手法であるMISTAKEを提案する。
3つの教育課題において,MISTAKEを評価した結果,(1)誤答のシミュレーションにおいて高い精度が得られた。
- 参考スコア(独自算出の注目度): 58.65143578052761
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Research on reasoning in language models (LMs) predominantly focuses on improving the correctness of their outputs. But some important applications require modeling reasoning patterns that are incorrect. For example, automated systems that can reason about and simulate student errors are useful for providing real-time feedback in the classroom or offline practice for educators-in-training. This paper presents a new method, MISTAKE, that (1) constructs high-quality synthetic examples of reasoning errors by leveraging cycle consistency between incorrect answers and latent misconceptions; and (2) uses the generated data to learn models for student simulation, misconception classification, and answer generation. We evaluate MISTAKE on three educational tasks and find that it results in (1) higher accuracy when simulating incorrect student answers based on specific misconceptions, (2) increased performance inferring latent misconceptions from observed incorrect answers, and (3) higher alignment with expert-written distractor answers when generating incorrect answers (e.g., for multiple-choice tests).
- Abstract(参考訳): 言語モデル(LM)における推論の研究は、主に出力の正確性を改善することに焦点を当てている。
しかし、いくつかの重要なアプリケーションは、正しくない推論パターンをモデル化する必要があります。
例えば、学生のエラーを推論し、シミュレートできる自動化システムは、教室でリアルタイムのフィードバックを提供するのに役立ち、教育者のトレーニングをオフラインで行うのに役立ちます。
本稿では,(1)誤った回答と潜在誤解のサイクル整合性を利用して推論誤りの高品質な合成例を構築し,(2)生成したデータを用いて,学生シミュレーション,誤解分類,回答生成のモデルを学ぶ方法を提案する。
その結果,(1) 特定の誤解に基づく不正確な回答をシミュレーションする場合,(2) 観察された誤った回答から潜在的誤解を推測する場合,(3) 誤った回答を生成する場合(例えば,複数選択試験の場合)に専門家が書き起こした注意散らし回答との整合性が高くなった。
関連論文リスト
- Improving Rationality in the Reasoning Process of Language Models through Self-playing Game [25.193698725021108]
証明者が最初に与えられた問題に対する解を提供し、その後、その解に対する批判によって挑戦される、批判認識ゲーム(CDG)を設計する。
証明者の目的は、誤解を招くコメントに直面しながら、建設的なフィードバックに対する誤りを修正しながら正しい回答を維持することである。
数学的推論,ステップワイドな誤り検出,自己補正,長鎖推論を含む課題に関する実験により,CDGトレーニングは,その推論過程を理解するための整合性 LLM の能力を大幅に向上させることができることを示した。
論文 参考訳(メタデータ) (2025-06-28T15:11:23Z) - Enhancing LLM Reasoning via Critique Models with Test-Time and Training-Time Supervision [120.40788744292739]
本稿では、推論と批判モデルの役割を分離する2人プレイヤパラダイムを提案する。
まず、批判データを収集する自動化およびスケーラブルなフレームワークであるAutoMathCritiqueを提案する。
テスト時間における難解なクエリに対するアクターのパフォーマンスを,批判モデルが一貫して改善することが実証された。
論文 参考訳(メタデータ) (2024-11-25T17:11:54Z) - LLM-based Cognitive Models of Students with Misconceptions [55.29525439159345]
本稿では,この2つの要件を満たすためにLLM(Large Language Models)を命令調整できるかどうかを検討する。
真正な学生ソリューションパターンを反映したデータセットを生成する新しいPythonライブラリであるMalAlgoPyを紹介する。
我々の洞察は、AIに基づく学生モデルの理解を高め、効果的な適応学習システムへの道を開く。
論文 参考訳(メタデータ) (2024-10-16T06:51:09Z) - Subtle Errors in Reasoning: Preference Learning via Error-injected Self-editing [59.405145971637204]
eRror-Injected Self-Editing (RISE) と呼ばれる新しい好み学習フレームワークを提案する。
RISEは、事前定義された微妙なエラーをピボットトークンに注入する。
RISEの有効性を検証する実験では、Qwen2-7B-Instructでの優先学習により、GSM8Kでは3.0%、MATHでは7.9%が顕著に改善され、トレーニングサンプルは4.5Kに留まった。
論文 参考訳(メタデータ) (2024-10-09T07:43:38Z) - Stepwise Verification and Remediation of Student Reasoning Errors with Large Language Model Tutors [78.53699244846285]
大規模言語モデル(LLM)は、高品質なパーソナライズされた教育を全員に拡大する機会を提供する。
LLMは、学生のエラーを正確に検知し、これらのエラーに対するフィードバックを調整するのに苦労する。
教師が学生の誤りを識別し、それに基づいて回答をカスタマイズする現実世界の教育実践に触発され、我々は学生ソリューションの検証に焦点をあてる。
論文 参考訳(メタデータ) (2024-07-12T10:11:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。