論文の概要: A Dialogue-Based Framework for Correcting Multimodal Errors in AI-Assisted STEM Education

• arxiv url: http://arxiv.org/abs/2605.04131v1
• Date: Tue, 05 May 2026 17:07:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-07 18:41:07.457917
• Title: A Dialogue-Based Framework for Correcting Multimodal Errors in AI-Assisted STEM Education
• Title（参考訳）: AI支援STEM教育における多モード誤り訂正のための対話型フレームワーク
• Authors: Akshay Syal, Lawrence Swaminathan Xavier Prince, Evin Gultepe, Nik Bear Brown, Srinivas Sridhar,
• Abstract要約: 大規模言語モデル(LLM)は、パーソナライズされた家庭教師へのアクセスを民主化している。 しかし、それらの効果はマルチモーダルコンテンツ処理の課題によって妨げられている。
• 参考スコア（独自算出の注目度）: 0.5219568203653523
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) are democratizing access to personalized tutoring; however, their effectiveness is hindered by challenges in processing multimodal content, which limits AI's potential to provide equitable, high-quality STEM support. This study evaluates LLM performance on multimodal physics problems, identifies specific failure modes through an empirical error taxonomy, and tests practical interventions designed to overcome multimodal processing limitations. We assessed three publicly available LLMs (Claude, Gemini, and ChatGPT) on multimodal physics problems from the OpenStax database and compared the results with text-only performance. An empirically derived error taxonomy was developed through pilot testing, followed by evaluation of a structured multimodal dialogue intervention. All three models achieved near-ceiling accuracy (96%) on text-only physics problems. Performance declined substantially on multimodal problems, consistent with what we term the Multimodal Interference Effect. Error analysis identified four failure modes: visual processing errors, context misinterpretation, mathematical computational errors, and hybrid errors, with visual processing errors being the most prevalent. The structured dialogue intervention corrected 82% of errors overall; visual processing errors were corrected at 100% across all models. Educators and students can implement these interventions immediately, requiring no model retraining, to improve AI tutoring reliability on image-rich STEM content, advancing equitable access to high-quality learning support.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、パーソナライズされた学習へのアクセスを民主化しているが、その効果はマルチモーダルコンテンツを処理する際の課題によって妨げられている。 本研究では,マルチモーダルな物理問題に対するLCMの性能評価,経験的誤り分類による特定の障害モードの同定,マルチモーダルな処理限界を克服する実用的な介入の検証を行う。 我々は、OpenStaxデータベースから利用可能な3つのLLM(Claude, Gemini, ChatGPT)をマルチモーダル物理問題に対して評価し、テキストのみのパフォーマンスと比較した。 経験的に導出された誤り分類法は, パイロットテストにより開発され, 次いで構造化多モード対話の介入の評価を行った。 これら3つのモデルは、テキストのみの物理問題に対してほぼ精度(96%)を達成した。 マルチモーダル干渉効果(Multimodal Interference Effect)と呼ばれる問題に対して、性能は大幅に低下した。 エラー解析では、視覚処理エラー、コンテキスト誤解釈、数学的計算エラー、ハイブリッドエラーの4つの障害モードが特定され、視覚処理エラーが最も多い。 構造化された対話介入は全体の82%のエラーを補正し、視覚的処理エラーは全モデルで100%修正された。 教育者や学生は、モデルの再訓練を必要とせず、画像リッチなSTEMコンテンツの信頼性を向上させるため、これらの介入を即座に実施でき、高品質な学習支援への公平なアクセスを推進できる。

関連論文リスト

• EDU-CIRCUIT-HW: Evaluating Multimodal Large Language Models on Real-World University-Level STEM Student Handwritten Solutions [11.523324370139143]
  EDU-CIRCUIT-HWは,大学レベルのSTEMコースから1,300以上の学生の手書きソリューションからなるデータセットである。 各種MLLMの上流認識精度と下流オートグレーディング性能を同時に評価した。 MLLMで認識された学生の手書きコンテンツの中で,潜伏障害の驚くべき規模が明らかになった。
  論文  参考訳（メタデータ） (2026-01-23T21:40:29Z)
• MathAgent: Leveraging a Mixture-of-Math-Agent Framework for Real-World Multimodal Mathematical Error Detection [53.325457460187046]
  これらの課題に対処するために設計された新しいMixture-of-Math-AgentフレームワークであるMathAgentを紹介する。 MathAgentはエラー検出を3つのフェーズに分解し、それぞれが特別なエージェントによって処理される。 実世界の教育データに基づいてMathAgentを評価し,誤差ステップ同定の精度を約5%向上した。
  論文  参考訳（メタデータ） (2025-03-23T16:25:08Z)
• Error Classification of Large Language Models on Math Word Problems: A Dynamically Adaptive Framework [79.40678802098026]
  数学の単語問題は、大規模言語モデルの推論能力を評価するための重要なベンチマークとなる。 現在のエラー分類法は静的および事前定義されたカテゴリに依存している。 本稿では,共通なエラーパターンを明示的なガイダンスとして組み込んだEAP(Error-Aware Prompting)を提案する。
  論文  参考訳（メタデータ） (2025-01-26T16:17:57Z)
• ErrorRadar: Benchmarking Complex Mathematical Reasoning of Multimodal Large Language Models Via Error Detection [60.297079601066784]
  エラー検出におけるMLLMの能力を評価するために設計された最初のベンチマークであるErrorRadarを紹介する。 ErrorRadarはエラーステップ識別とエラー分類という2つのサブタスクを評価している。 2500の高品質なマルチモーダルK-12数学問題で構成され、実世界の学生相互作用から収集される。 GPT-4oの優れた性能は、まだ人間の評価に約10%遅れているため、大きな課題が残っている。
  論文  参考訳（メタデータ） (2024-10-06T14:59:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。