論文の概要: MisconceptDialogue: Evaluation Criteria Shape Measured Success in LLM Math Tutoring

• arxiv url: http://arxiv.org/abs/2610.31679v1
• Date: Thu, 01 Oct 2026 05:48:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 06:06:26.108741
• Title: MisconceptDialogue: Evaluation Criteria Shape Measured Success in LLM Math Tutoring
• Title（参考訳）: ミスコンセプションダイアログ:LLM数学チュータにおける評価基準形状の測定成功
• Abstract要約: 大型の言語モデルは数学の家庭教師としてますます使われている。 1つのLCMが学生の誤りを検出し、その根底にある誤解を診断し、マルチターン対話を通して再解釈できるのか? MISCONCEPTDIALOGUEは,5つのオープンウェイトLLMチュータ上で完全なパイプラインを実行する,完全に自動化されたフレームワークである。
• 参考スコア（独自算出の注目度）: 6.805633422680383
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Large language models are increasingly used as math tutors, raising two questions: can a single LLM detect a student's error, diagnose the underlying misconception, and remediate it through multi-turn dialogue - and can we trust the numbers that report how well it does? We address both with MISCONCEPTDIALOGUE, a fully automated framework that runs the full pipeline on five open-weight LLM tutors (7B-14B) interacting with LLM-simulated students over 5,000+ dialogues - a deliberately simulated protocol (paired conditions, a wrong-diagnosis control unsafe with real learners, scale) whose results do not establish real-student learning. On measurement, our headline finding is uncomfortable for the field: benchmark-style exact-match scoring common in standard math NLP - a lower-bound stress test - reports 42.1% measured Remediation Success Rate on identical dialogues where a human-calibrated LLM-as-judge reports 81.3%, a 39.2 percentage-point spread larger than the combined effects of tutor model, teaching strategy, and supplied diagnostic information. This is not a single-judge artifact: four independent LLM judges and 200 human annotations converge to within a few points (kappa up to 0.91). On capability, the verdict is equally striking: the score barely changes whether we tell the tutor the student's actual misconception or a deliberately swapped one - under the tested diagnosis-presentation format, these tutors show little evidence of reliably conditioning on the diagnostic information they are handed. For LLM tutoring evaluation to mature, multi-criterion scoring with multi-judge convergence and human anchoring should become standard practice - and the measurement question deserves as much scrutiny as the capability question it claims to answer.
• Abstract（参考訳）: 1つのLLMが生徒の誤りを検知し、根底にある誤解を診断し、マルチターンの対話を通じてそれを修正できる。 MISCONCEPTDIALOGUEは,5つのオープンウェイトLLMチュータ(7B-14B)上で,5000以上の対話でLLMを模擬した5つの学習者に対して,完全なパイプラインを実行する完全自動化フレームワークである。 基準数学に共通するベンチマークスタイルの正確なマッチングスコア (NLP) - 下界応力テスト (NLP) - 42.1% 測定済みのLLM-as-judgeレポート81.3%, 39.2 ポイントがチューターモデル, 指導戦略, 提供された診断情報よりも大きく広がった同一対話における修復成功率 (Remediation Success Rate) を報告。 4人の独立したLCM判事と200人の人間のアノテーションが数点以内に収束する(カッパは最大0.91まで)。 学生の実際の誤解を教師に伝えるか、故意にスワップされたものを教えるかは、試験された診断表示形式の下では、これらの教師が渡される診断情報に確実に適応する証拠はほとんどない。 LLMのチューター評価が成熟するためには、マルチジャッジ収束と人間のアンカーによるマルチ基準スコアが標準となるべきである。

関連論文リスト

• NovGauge: A Fine-Grained Benchmark for Diagnosing LLMs' Capability in Paper Novelty Assessment [54.4265627247104]
  大規模言語モデル(LLM)は、主要なAIカンファレンスでピアレビューでますます使用されている。 既存のベンチマークでは、ノベルティを1つの総合的なスコアとして評価している。 本報告では,詳細なノベルティアセスメント診断のための人手によるベンチマークであるNovGaugeについて述べる。
  論文  参考訳（メタデータ） (2026-09-10T08:34:56Z)
• Self-reflection in Automated Qualitative Coding: Improving Text Annotation through Secondary LLM Critique [1.5749416770494706]
  大規模言語モデル(LLM)は、大規模なデータセットの高度な定性的な符号化を可能にする。 簡単な一般化可能な2段階のワークフローを提示する: LLMは人間設計のコードブックを適用し、二次LPM批評家は各正のラベルに対して自己回帰を行う。 我々は,Apache Software Foundationのプロジェクト評価に関する議論において,3,000件以上の高コンテンツメールに対する6つの定性的なコードに対して,このアプローチを評価した。
  論文  参考訳（メタデータ） (2026-01-14T22:27:13Z)
• Evaluating & Reducing Deceptive Dialogue From Language Models with Multi-turn RL [64.3268313484078]
  大規模言語モデル(LLM)は、顧客サポート、教育、医療など、世界中の何百万もの人々と対話する。 故意であれ不注意であれ、偽りのアウトプットを生産する能力は、重大な安全上の懸念を生じさせる。 本研究では, LLM が会話中の偽装にどの程度関与しているかを考察し, 偽装を定量化する信念の誤調整尺度を提案する。
  論文  参考訳（メタデータ） (2025-10-16T05:29:36Z)
• Learning to Love Edge Cases in Formative Math Assessment: Using the AMMORE Dataset and Chain-of-Thought Prompting to Improve Grading Accuracy [0.0]
  本稿では,Rori による 53,000 個の質問応答対の新たなデータセットである AMMORE を紹介する。 2つの実験により,大規模言語モデル(LLM)を用いて,難解な学生の回答を段階的に評価する。
  論文  参考訳（メタデータ） (2024-09-26T14:51:40Z)
• Edinburgh Clinical NLP at MEDIQA-CORR 2024: Guiding Large Language Models with Hints [8.547853819087043]
  複数のプロンプト戦略を用いて医学的誤りを識別・修正する一般LSMの能力を評価する。 より小さな微調整モデルからエラースパン予測を2つの方法で組み込むことを提案する。 8ショット+CoT + ヒントによる最高のパフォーマンスのソリューションは、共有タスクのリーダーボードで6位です。
  論文  参考訳（メタデータ） (2024-05-28T10:20:29Z)
• Exploring the Factual Consistency in Dialogue Comprehension of Large Language Models [51.75805497456226]
  本研究は,対話要約タスクの助けを借りて,事実整合性の問題に焦点を当てる。 評価の結果,LLMが生成する要約の26.8%が事実整合性を含んでいることがわかった。 LLMの対話理解能力を高めるために,自動構築マルチタスクデータを用いた微調整パラダイムを提案する。
  論文  参考訳（メタデータ） (2023-11-13T09:32:12Z)
• Can LLMs Express Their Uncertainty? An Empirical Evaluation of Confidence Elicitation in LLMs [60.61002524947733]
  従来の信頼性推論手法は、内部モデル情報やモデル微調整へのホワイトボックスアクセスに依存していた。 これにより、不確実性推定のためのブラックボックスアプローチの未解決領域を探索する必要性が高まっている。 言語的信頼を導き出すための戦略の推進、複数の応答を生成するためのサンプリング方法、一貫性を計算するための集約手法の3つの要素からなる体系的フレームワークを定義する。
  論文  参考訳（メタデータ） (2023-06-22T17:31:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。