論文の概要: TrussTutor-Bench: Benchmarking large language models on solution accuracy, sycophancy, and error detection in statics

• arxiv url: http://arxiv.org/abs/2610.38917v1
• Date: Wed, 28 Oct 2026 21:07:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-31 05:25:12.420269
• Title: TrussTutor-Bench: Benchmarking large language models on solution accuracy, sycophancy, and error detection in statics
• Title（参考訳）: TrussTutor-Bench: 静的なソリューションの正確性、梅毒、エラー検出に関する大規模な言語モデルのベンチマーク
• Abstract要約: 大規模言語モデル(LLM)は、科学と工学のコースの学生にとって、急速にデフォルトの助けとなる。 スタティックスのような基礎的なエンジニアリング・メカニクスのコースでは、学生はこれらのツールを日常的に使い、回答をチェックし、部分解を通して作業し、説明を求める。 既存のベンチマークでは、LLMを主に最終回答精度に基づいて評価しているため、力学問題を解くことのできるモデルにも、チューターが依存する他の技術的能力があるかどうかは不明である。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) have rapidly become a default source of help for students in science and engineering courses. In foundational engineering mechanics courses such as statics, students routinely use these tools to check answers, work through partial solutions, and ask for explanations. Effective tutoring in this setting requires more than a correct final answer. A model must also confirm correct work when a student doubts it, and identify errors in flawed work. Existing benchmarks evaluate LLMs primarily on final-answer accuracy, so it is unclear whether models that can solve mechanics problems also have the other technical capabilities that tutoring depends on. Here we introduce TrussTutor-Bench, a benchmark of 200 verified two-dimensional truss problems paired with automatically generated student solutions, and use it to evaluate thirteen LLMs on solution accuracy, sycophancy, and error detection. Baseline accuracy ranged from 64.5% to 97.0%. Every model detected nearly all injected errors in synthetic flawed student work (90.4% to 100%), so error detection did not distinguish models under these clean conditions. Sycophancy did. When a student insisted that correct work was wrong, models rejected correct solutions to problems they had themselves solved in 1.6% to 50.0% of cases. These results show that performance varies widely across models: the leading models solve, check, and defend student work nearly perfectly, while others are far less reliable, particularly when a student doubts correct work. TrussTutor-Bench provides a verified, extensible standard for determining which models are technically reliable enough to put in front of students. Follow-up work must now focus on teaching rather than technical capability, drawing on learning science to determine whether LLM help leads students to understand the material or simply to reach the right answer.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、科学と工学のコースの学生にとって、急速にデフォルトの助けとなる。 スタティックスのような基礎的なエンジニアリング・メカニクスのコースでは、学生はこれらのツールを日常的に使い、回答をチェックし、部分解を通して作業し、説明を求める。 この設定での効果的な家庭教師は、正しい最終回答以上のものを必要とします。 モデルは、学生がそれを疑うときに正しい仕事を確認し、欠陥のある仕事の誤りを特定する必要がある。 既存のベンチマークでは、LLMを主に最終回答精度に基づいて評価しているため、力学問題を解くことのできるモデルにも、チューターが依存する他の技術的能力があるかどうかは不明である。 本稿では,TrussTutor-Benchについて紹介する。TrussTutor-Benchは,200個の検証済みの2次元トラス問題と自動生成した生徒ソリューションを組み合わせ,13個のLLMを解の精度,サイコフィナンシー,エラー検出で評価する。 ベースラインの精度は64.5%から97.0%まで変化した。 すべてのモデルが、合成欠陥のある学生作品(90.4%から100%)のほとんど全ての挿入エラーを検出したため、これらのクリーンな条件下では、エラー検出はモデルを区別しなかった。 サイコファーレンシーはやった。 ある学生が正しい仕事が間違っていると主張したとき、モデルは自分たちが解決した問題に対する正しい解決策を1.6%から50.0%のケースで拒絶した。 主要なモデルは、ほぼ完璧に生徒の仕事を解決し、チェックし、防御するが、他のものは、特に学生が正しい仕事を疑う場合、はるかに信頼性が低い。 TrussTutor-Benchは、どのモデルが生徒の前に置けるほど技術的に信頼できるかを決定するための、検証済みで拡張可能な標準を提供する。 フォローアップ作業は、LLMが学生に教材を理解するのに役立つか、あるいは単に正しい答えに到達するのに役立つかを判断するために、技術的な能力よりも教育に焦点を合わせ、科学を学ぶことに集中する必要がある。

関連論文リスト

• Simulating Students' Java Programming Errors with Large Language Models [7.543318372822572]
  本稿では,大規模言語モデル(LLM)が,コード入力における現実的な論理的誤りをシミュレートすることにより,学生にとってスケーラブルなプロキシとして機能するかどうかを考察する。 74,000以上の学生Javaを37の問題を対象とするCodeWorkoutデータセットを用いて,3つの主要なプロンプト戦略の下で5つのLSMを評価した。 我々の定量的発見によると、全てのモデルが多様なエラーを発生させる一方で、人間の提出に対するアライメントは多様化している。
  論文  参考訳（メタデータ） (2026-06-12T04:51:49Z)
• Misconception Acquisition Dynamics in Large Language Models [41.92200721590384]
  本研究では,初等生の誤解モデルと専門家の誤解モデルという,誤解を意識した2つのモデルについて検討する。 我々は、正しい解トレースと誤概念固有の誤トレースを持つ代数問題を生成するライブラリであるMalAlgoLibを開発する。 実験の結果,学生と教師モデルでは,誤解獲得のダイナミクスが根本的に異なることが明らかとなった。
  論文  参考訳（メタデータ） (2026-04-01T12:25:20Z)
• Can LLMs Model Incorrect Student Reasoning? A Case Study on Distractor Generation [46.210941814500906]
  本研究は,大規模言語モデル (LLM) が複数選択の散逸を発生させる際の誤解に対する理由について検討する。 私たちの構造化分析は、彼らのプロセスとベストプラクティスの驚くほどの一致を明らかにします。
  論文  参考訳（メタデータ） (2026-03-16T17:09:41Z)
• Learning to Make MISTAKEs: Modeling Incorrect Student Thinking And Key Errors [58.65143578052761]
  本稿では,推論誤りの高品質な合成例を構成する新しい手法であるMISTAKEを提案する。 3つの教育課題において,MISTAKEを評価した結果,(1)誤答のシミュレーションにおいて高い精度が得られた。
  論文  参考訳（メタデータ） (2025-10-13T15:10:38Z)
• ProcessBench: Identifying Process Errors in Mathematical Reasoning [62.80402845414901]
  本稿では,数学的推論における誤ったステップを識別する能力を測定するためのProcessBenchを紹介する。 ProcessBenchは3400のテストケースで構成され、主に競合とオリンピアードレベルの数学問題に焦点を当てている。 我々はProcessBenchについて、プロセス報酬モデル(PRM)と批判モデルという2種類のモデルを含む広範囲な評価を行う。
  論文  参考訳（メタデータ） (2024-12-09T15:11:40Z)
• SuperCorrect: Advancing Small LLM Reasoning with Thought Template Distillation and Self-Correction [89.56181323849512]
  SuperCorrectは、大きな教師モデルを使用して、より小さな学生モデルの推論と反映の両方を監督し、修正する新しい2段階のフレームワークである。 第1段階では、教師モデルから階層的な高レベルかつ詳細な思考テンプレートを抽出し、よりきめ細かい推論思考を導き出す学生モデルを指導する。 第2段階では、学生モデルの自己補正能力を高めるために、クロスモデル協調直接選好最適化(DPO)を導入する。
  論文  参考訳（メタデータ） (2024-10-11T17:25:52Z)
• Stepwise Verification and Remediation of Student Reasoning Errors with Large Language Model Tutors [78.53699244846285]
  大規模言語モデル(LLM)は、高品質なパーソナライズされた教育を全員に拡大する機会を提供する。 LLMは、学生のエラーを正確に検知し、これらのエラーに対するフィードバックを調整するのに苦労する。 教師が学生の誤りを識別し、それに基づいて回答をカスタマイズする現実世界の教育実践に触発され、我々は学生ソリューションの検証に焦点をあてる。
  論文  参考訳（メタデータ） (2024-07-12T10:11:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。