論文の概要: Mathematical Computation and Reasoning Errors by Large Language Models

• arxiv url: http://arxiv.org/abs/2508.09932v1
• Date: Wed, 13 Aug 2025 16:33:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-14 20:42:00.961494
• Title: Mathematical Computation and Reasoning Errors by Large Language Models
• Title（参考訳）: 大規模言語モデルによる数学的計算と推論誤差
• Authors: Liang Zhang, Edith Aurora Graf,
• Abstract要約: 大規模言語モデル(LLM)は、AIによる教育指導と評価にますます活用されている。 本研究は,算術,代数学,数論を含む3分野の数学課題を解く4つの LLM の精度を評価することに焦点を当てる。 推理強化された OpenAI o1 モデルが3つの数学タスクのカテゴリで常に高い精度またはほぼ完璧な精度を達成したことが観察された。
• 参考スコア（独自算出の注目度）: 3.0309252269809264
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) are increasingly utilized in AI-driven educational instruction and assessment, particularly within mathematics education. The capability of LLMs to generate accurate answers and detailed solutions for math problem-solving tasks is foundational for ensuring reliable and precise feedback and assessment in math education practices. Our study focuses on evaluating the accuracy of four LLMs (OpenAI GPT-4o and o1, DeepSeek-V3 and DeepSeek-R1) solving three categories of math tasks, including arithmetic, algebra, and number theory, and identifies step-level reasoning errors within their solutions. Instead of relying on standard benchmarks, we intentionally build math tasks (via item models) that are challenging for LLMs and prone to errors. The accuracy of final answers and the presence of errors in individual solution steps were systematically analyzed and coded. Both single-agent and dual-agent configurations were tested. It is observed that the reasoning-enhanced OpenAI o1 model consistently achieved higher or nearly perfect accuracy across all three math task categories. Analysis of errors revealed that procedural slips were the most frequent and significantly impacted overall performance, while conceptual misunderstandings were less frequent. Deploying dual-agent configurations substantially improved overall performance. These findings offer actionable insights into enhancing LLM performance and underscore effective strategies for integrating LLMs into mathematics education, thereby advancing AI-driven instructional practices and assessment precision.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、AIによる教育指導と評価、特に数学教育においてますます活用されている。 LLMが数学問題解決タスクの正確な回答と詳細な解を生成する能力は、数学教育実践における信頼性と正確なフィードバックと評価を保証する基礎となる。 本研究は,算術,代数学,数論の3分野を解く4つのLLM(OpenAI GPT-4o,o1,DeepSeek-V3,DeepSeek-R1)の精度を評価し,解のステップレベルの推論誤差を同定する。 標準ベンチマークに頼るのではなく、(アイテムモデルを介して)意図的に数学タスクを構築します。 最終回答の精度と個々の解法ステップにおける誤差の存在を体系的に解析し、符号化した。 単エージェント構成と二重エージェント構成の両方がテストされた。 推理強化された OpenAI o1 モデルが3つの数学タスクのカテゴリで常に高い精度またはほぼ完璧な精度を達成したことが観察された。 誤り解析の結果,手続き的すべりが最も頻度が高く,全体のパフォーマンスに著しく影響を与え,概念的誤解は少なくなった。 デュアルエージェント構成のデプロイにより、全体的なパフォーマンスが大幅に向上した。 これらの知見は, LLMの性能向上に関する実用的な洞察を与え, LLMを数学教育に統合するための効果的な戦略を根底から立証し,AIによる指導実践と評価精度の向上を図っている。

関連論文リスト

• Evaluating Intermediate Reasoning of Code-Assisted Large Language Models for Mathematics [15.695635219034328]
  我々は,コード支援型LCM生成プログラムを,数理推論タスクに応答して詳細に解析する。 この結果から, モデルの性能が, 問題の解法として実装された論理に大きく影響していることが示唆された。
  論文  参考訳（メタデータ） (2025-04-24T15:34:24Z)
• Performance Comparison of Large Language Models on Advanced Calculus Problems [0.0]
  この研究は、ChatGPT 4o、1.5 Proを使ったGemini Advanced、Copilot Pro、Claude 3.5 Sonnet、Meta AI、Mistral AI、Perplexityなど、モデルの正確性、信頼性、問題解決能力を評価することを目的としている。 結果は、モデルのパフォーマンスにおける重要なトレンドとパターンを強調し、その長所と短所の両方を明らかにします。
  論文  参考訳（メタデータ） (2025-03-05T23:26:12Z)
• Large Language Models and Mathematical Reasoning Failures [1.6114012813668932]
  本稿では,50の高校レベルの単語問題を用いた大規模言語モデル(LLM)の数学的推論能力について検討する。 最終回答と解決手順の両方を厳格に分析して、推論の失敗を特定します。 より新しいモデル(例えば、o3-mini、deepseek-r1)はより精度が高いが、全てのモデルは空間的推論、戦略的計画、算術における誤りを示す。
  論文  参考訳（メタデータ） (2025-02-17T09:07:32Z)
• Subtle Errors in Reasoning: Preference Learning via Error-injected Self-editing [59.405145971637204]
  eRror-Injected Self-Editing (RISE) と呼ばれる新しい好み学習フレームワークを提案する。 RISEは、事前定義された微妙なエラーをピボットトークンに注入する。 RISEの有効性を検証する実験では、Qwen2-7B-Instructでの優先学習により、GSM8Kでは3.0%、MATHでは7.9%が顕著に改善され、トレーニングサンプルは4.5Kに留まった。
  論文  参考訳（メタデータ） (2024-10-09T07:43:38Z)
• ErrorRadar: Benchmarking Complex Mathematical Reasoning of Multimodal Large Language Models Via Error Detection [60.297079601066784]
  エラー検出におけるMLLMの能力を評価するために設計された最初のベンチマークであるErrorRadarを紹介する。 ErrorRadarはエラーステップ識別とエラー分類という2つのサブタスクを評価している。 2500の高品質なマルチモーダルK-12数学問題で構成され、実世界の学生相互作用から収集される。 GPT-4oの優れた性能は、まだ人間の評価に約10%遅れているため、大きな課題が残っている。
  論文  参考訳（メタデータ） (2024-10-06T14:59:09Z)
• Improving LLM Reasoning through Scaling Inference Computation with Collaborative Verification [52.095460362197336]
  大規模言語モデル(LLM)は一貫性と正確な推論に苦しむ。 LLMは、主に正しいソリューションに基づいて訓練され、エラーを検出して学習する能力を減らす。 本稿では,CoT(Chain-of-Thought)とPoT(Program-of-Thought)を組み合わせた新しい協調手法を提案する。
  論文  参考訳（メタデータ） (2024-10-05T05:21:48Z)
• Evaluating Mathematical Reasoning Beyond Accuracy [50.09931172314218]
  推論ステップの品質を評価するための新しい方法論であるReasonEvalを紹介します。 ReasonEvalはメタ評価データセットのベースライン手法よりも一貫して優れていることを示す。 我々は、ReasonEvalがデータ選択において重要な役割を果たすことを観察する。
  論文  参考訳（メタデータ） (2024-04-08T17:18:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。