論文の概要: Finding Common Mistakes In Modelling With Mathematical Formalisms Using LLMs
- arxiv url: http://arxiv.org/abs/2609.17111v1
- Date: Tue, 15 Sep 2026 12:40:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 14:56:08.525549
- Title: Finding Common Mistakes In Modelling With Mathematical Formalisms Using LLMs
- Title（参考訳）: LLMを用いた数理形式モデルにおける一般的な誤りの発見
- Abstract要約: 本稿では,大規模な学習データセットにおいて,多くの学生の誤りを説明する共通誤り候補を特定するためのツール支援ワークフローを提案する。
視覚化は、研究者が一般的なモデリングミスを特定するのに役立つように設計されている。
本手法は,本論文で手作業で同定された命題論理モデリングにおける共通誤りを再現することで有効であることを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Modelling with mathematical formalisms like logical formulas, mathematical equations, or regular expressions is an important yet challenging task for students of computer science and other STEM disciplines. Identifying common mistakes occurring in this context is an important step towards helping struggling students by providing targeted high-quality feedback, e.g. in interactive learning systems. We present a tool-supported workflow that allows to (1) identify candidates for common mistakes that explain many student mistakes in large educational data sets, (2) cluster candidates according to similarities, and (3) visualize resulting clusters for instructors and CS education researchers. The visualization is designed to help researchers to identify common modelling mistakes. The candidates for common mistakes are represented by bug fixing transformations that translate incorrect formalizations into correct formalizations; they are generated by an LLM and validated algorithmically. We show that this approach works well by reproducing common mistakes in propositional logic modelling that were identified by hand in the literature; showing that, unlike other algorithmic approaches, the LLM-based approach is suitable for very large sets of data; and applying it to multiple other formalisms to showcase it generalizes beyond propositional logic.
- Abstract（参考訳）: 論理式や数式、正規表現などの数学的形式をモデル化することは、コンピュータ科学やその他のSTEM分野の学生にとって重要な課題である。
この文脈でよくある誤りを識別することは、例えば対話型学習システムにおいて、目標とする高品質なフィードバックを提供することによって、苦労する学生を支援するための重要なステップである。
本稿では,(1)大規模学習データセットにおける多くの学生の誤りを説明する共通誤り候補の同定,(2)類似性に応じたクラスタ候補の抽出,(3)インストラクターやCS教育研究者のクラスタの可視化を行うツール支援ワークフローを提案する。
視覚化は、研究者が一般的なモデリングミスを特定するのに役立つように設計されている。
一般的な誤りの候補は、不正な形式化を正しい形式に変換するバグ修正変換によって表現される。
本手法は,提案論理モデリングにおける一般的な誤りを再現し,他のアルゴリズム的アプローチとは異なり,LLMに基づくアプローチが非常に大規模なデータ集合に適していることを示すとともに,他の複数の形式に応用して,命題論理を超えて一般化することを示した。
関連論文リスト
- Can MLLMs Read Students' Minds? Unpacking Multimodal Error Analysis in Handwritten Math [55.83696908107408]
スクラッチマス(ScratchMath)は,手書き数学のスクラッチワークにおける誤りの説明と分類のための新しいベンチマークである。
本データセットは,中国初等・中等生の1,720個の数学サンプルからなる。
我々は,ScratchMath上での16のMLLMを系統的に評価し,人的専門家に対する顕著な性能差を明らかにした。
論文 参考訳（メタデータ） (2026-03-26T02:57:20Z) - Automatic Syntax Error Repair for Discrete Controller Synthesis using Large Language Model [8.741815980649667]
本稿では,Large Language Models (LLMs) を利用してDCSモデルの構文誤りを修復する自動手法を提案する。
LLMには形式文法規則やイラストレーション例を含むDCS固有のドメイン知識が備わっており、正確な修正を導く。
人間の開発者に比べて3.46倍のスピードアップを実現している。
論文 参考訳（メタデータ） (2025-12-08T07:57:15Z) - Learning to Make MISTAKEs: Modeling Incorrect Student Thinking And Key Errors [58.65143578052761]
本稿では,推論誤りの高品質な合成例を構成する新しい手法であるMISTAKEを提案する。
3つの教育課題において,MISTAKEを評価した結果,(1)誤答のシミュレーションにおいて高い精度が得られた。
論文 参考訳（メタデータ） (2025-10-13T15:10:38Z) - Step-Wise Formal Verification for LLM-Based Mathematical Problem Solving [3.2233767737586674]
LLM(Large Language Models)は、数学的な問題を解く上で、強大な能力を示す。
本稿では,形式化と批判を含むMATH-VFフレームワークを提案する。
我々は,MATH500とProcessBenchという,広く利用されている数学ベンチマークの枠組みを評価した。
論文 参考訳（メタデータ） (2025-05-27T08:21:07Z) - Error Classification of Large Language Models on Math Word Problems: A Dynamically Adaptive Framework [79.40678802098026]
数学の単語問題は、大規模言語モデルの推論能力を評価するための重要なベンチマークとなる。
現在のエラー分類法は静的および事前定義されたカテゴリに依存している。
本稿では,共通なエラーパターンを明示的なガイダンスとして組み込んだEAP(Error-Aware Prompting)を提案する。
論文 参考訳（メタデータ） (2025-01-26T16:17:57Z) - LLM-based Cognitive Models of Students with Misconceptions [55.29525439159345]
本稿では,この2つの要件を満たすためにLLM(Large Language Models)を命令調整できるかどうかを検討する。
真正な学生ソリューションパターンを反映したデータセットを生成する新しいPythonライブラリであるMalAlgoPyを紹介する。
我々の洞察は、AIに基づく学生モデルの理解を高め、効果的な適応学習システムへの道を開く。
論文 参考訳（メタデータ） (2024-10-16T06:51:09Z) - LLM Critics Help Catch Bugs in Mathematics: Towards a Better Mathematical Verifier with Natural Language Feedback [71.95402654982095]
本研究では,自然言語フィードバック型検証器Math-Minosを提案する。
実験の結果,少量の自然言語フィードバックが検証器の性能を大幅に向上させることがわかった。
論文 参考訳（メタデータ） (2024-06-20T06:42:27Z) - Decoding Logic Errors: A Comparative Study on Bug Detection by Students
and Large Language Models [5.162225137921625]
大規模言語モデル(LLM)は、最近、様々な計算タスクにおいて驚くべきパフォーマンスを示した。
GPT-3 と GPT-4 の2つの LLM の性能について検討した。
論文 参考訳（メタデータ） (2023-11-27T17:28:33Z) - Understanding and Mitigating Classification Errors Through Interpretable
Token Patterns [58.91023283103762]
容易に解釈可能な用語でエラーを特徴付けることは、分類器が体系的なエラーを起こす傾向にあるかどうかを洞察する。
正しい予測と誤予測を区別するトークンのパターンを発見することを提案する。
提案手法であるPremiseが実際によく動作することを示す。
論文 参考訳（メタデータ） (2023-11-18T00:24:26Z) - Label-Descriptive Patterns and their Application to Characterizing
Classification Errors [31.272875287136426]
最先端のディープラーニング手法は多くのタスクで人間のようなパフォーマンスを達成するが、それでもエラーを犯す。
これらのエラーを容易に解釈可能な言葉で特徴付けることは、モデルが体系的なエラーを起こす傾向にあるかどうかの洞察を与えるだけでなく、モデルを実行し改善する方法を与える。
本稿では,予測の正しさに応じて分割された入力データを簡潔に記述するパターンの小さなセットをマイニングすることにより,任意の分類器に対して,任意の分類を行うことができる手法を提案する。
論文 参考訳（メタデータ） (2021-10-18T19:42:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。