論文の概要: Agreement Is Not Validity: Cross-Model LLM Consensus in Diagnosing Student Failure Modes in K-12 Math Tutoring Dialogue

• arxiv url: http://arxiv.org/abs/2610.08703v1
• Date: Tue, 06 Oct 2026 17:16:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:30.143083
• Title: Agreement Is Not Validity: Cross-Model LLM Consensus in Diagnosing Student Failure Modes in K-12 Math Tutoring Dialogue
• Title（参考訳）: 合意は妥当性ではない:K-12 数学学習対話における学生の失敗モードの診断におけるクロスモデル LLM コンセンサス
• Abstract要約: クロスモデル合意は、誤った正確さの外観を生み出すことができる。 スケーラブルなラベリングは、推論された構造が有効である場合にのみ有用である。
• 参考スコア（独自算出の注目度）: 2.225698309956178
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In K-12 mathematics tutoring, student-tutor dialogue provides rich evidence of learners' problem-solving processes and sources of difficulty. Learning analytics research increasingly relies on large language models (LLMs) to extract such information from dialogue for a variety of downstream tasks, including knowledge tracing, behavioral modeling, and diagnosis of student reasoning errors. However, the validity of these model-generated interpretations remains insufficiently understood. In this exploratory study, we examine the validity of LLM classifications of five student failure modes in mathematics tutoring dialogue using an operational diagnostic codebook: uncertainty, misattribution, operator selection, conceptual gap, and procedural slip. Across models, human-LLM agreement was moderate (kappa = .524-.597), while cross-model agreement was substantially higher (kappa = .755-.781; alpha = .769). These findings show that cross-model agreement can create a misleading appearance of correctness, challenging the assumption that consensus among LLMs constitutes evidence of valid learner interpretation. For learning analytics, the implication is clear: scalable labeling is useful only if the inferred constructs are valid, and model consensus cannot substitute for independent evidence of that validity.
• Abstract（参考訳）: K-12数学チュータリングでは、学生と教師の対話は学習者の問題解決過程と困難の原因の豊富な証拠を提供する。 学習分析研究は、知識追跡、行動モデリング、学生の推論エラーの診断など、様々な下流タスクの対話からそのような情報を抽出するために、大規模言語モデル(LLM)にますます依存している。 しかし、これらのモデル生成解釈の妥当性は未だ十分に理解されていない。 本研究は,不確実性,誤属性,操作者選択,概念的ギャップ,手続き的スリップといった操作的診断コードブックを用いて,数学学習における5つの障害モードのLLM分類の有効性を検討した。 モデル全体では、人間とLLMの合意は適度であり(kappa = .524-.597)、クロスモデル契約は実質的に高い(kappa = .755-.781; α = .769)。 これらの結果から,LLM間の合意が有効な学習者解釈の証拠となるという仮定に挑戦し,モデル間合意が誤認を招きかねないことが示唆された。 スケーラブルなラベリングは、推論された構成物が有効である場合にのみ有用であり、モデルコンセンサスはその妥当性の独立した証拠の代わりにはならない。

関連論文リスト

• Modeling Student Sensemaking with LLMs and Knowledge-Graph-Guided Inference [0.0]
  協調的な科学学習は、学習者が知識ギャップを識別し、説明を構築し、解決に向けて作業する方法を特徴付けるために、学生対話のニュアンスな解釈を必要とする。 タスク固有の訓練を使わずに協調的感覚形成の多次元的解析を支援することができるかを検討する。
  論文  参考訳（メタデータ） (2026-09-25T09:41:27Z)
• Can LLMs Model Incorrect Student Reasoning? A Case Study on Distractor Generation [46.210941814500906]
  本研究は,大規模言語モデル (LLM) が複数選択の散逸を発生させる際の誤解に対する理由について検討する。 私たちの構造化分析は、彼らのプロセスとベストプラクティスの驚くほどの一致を明らかにします。
  論文  参考訳（メタデータ） (2026-03-16T17:09:41Z)
• Optimizing LLM Annotation of Classroom Discourse through Multi-Agent Orchestration [0.21410799064827235]
  大規模言語モデル(LLM)は、教育データを注釈付けするためのスケーラブルなツールとしてますます位置づけられている。 しかし, シングルパスLCMの出力は, ハイテイクな教育施設では信頼性が低いことが示唆されている。 このスケールと妥当性の緊張は、現代の教育データ科学の核心にある。
  論文  参考訳（メタデータ） (2026-03-08T16:51:03Z)
• Evaluating Large Language Models on Solved and Unsolved Problems in Graph Theory: Implications for Computing Education [4.64684924758613]
  大規模言語モデルは、コンピュータ科学の先進的な材料を探究するために学生によってますます使われている。 本研究では,2つのグラフ理論問題に対する LLM の性能について検討する。
  論文  参考訳（メタデータ） (2026-02-04T21:20:25Z)
• Interpretability Framework for LLMs in Undergraduate Calculus [0.0]
  大規模言語モデル(LLM)は、教育においてますます使われているが、その正確性だけでは、彼らの問題解決行動の品質、信頼性、教育的妥当性を捉えていない。 本稿では,LLM生成解を代表領域として用いた新しい解釈可能性フレームワークを提案する。 提案手法は, 推論フロー抽出と解を意味ラベル付き操作や概念に分解し, 即時アブレーション解析と組み合わせて, 入力サリエンスと出力安定性を評価する。
  論文  参考訳（メタデータ） (2025-10-19T17:20:36Z)
• JustLogic: A Comprehensive Benchmark for Evaluating Deductive Reasoning in Large Language Models [51.99046112135311]
  LLM(Large Language Models)の厳密な評価のための合成推論ベンチマークであるJustLogicを紹介する。 JustLogicは非常に複雑で、多様な言語パターン、語彙、引数構造を生成することができる。 実験の結果, (i) LLMは人体平均値よりも同等かそれ以上に機能するが, 人体天井よりも著しく低下することがわかった。
  論文  参考訳（メタデータ） (2025-01-24T15:49:10Z)
• LLM-based Cognitive Models of Students with Misconceptions [55.29525439159345]
  本稿では,この2つの要件を満たすためにLLM(Large Language Models)を命令調整できるかどうかを検討する。 真正な学生ソリューションパターンを反映したデータセットを生成する新しいPythonライブラリであるMalAlgoPyを紹介する。 我々の洞察は、AIに基づく学生モデルの理解を高め、効果的な適応学習システムへの道を開く。
  論文  参考訳（メタデータ） (2024-10-16T06:51:09Z)
• Uncertainty Quantification for In-Context Learning of Large Language Models [52.891205009620364]
  大規模言語モデル(LLM)の画期的な能力として、文脈内学習が登場している。 両タイプの不確かさを定量化するための新しい定式化法とそれに対応する推定法を提案する。 提案手法は、プラグイン・アンド・プレイ方式でコンテキスト内学習の予測を理解するための教師なしの方法を提供する。
  論文  参考訳（メタデータ） (2024-02-15T18:46:24Z)
• Evaluating Language Models for Mathematics through Interactions [116.67206980096513]
  大型言語モデル(LLM)と対話し,評価するためのプロトタイププラットフォームであるCheckMateを紹介した。 我々はCheckMateと共同で3つの言語モデル(InstructGPT, ChatGPT, GPT-4)を、学部レベルの数学の証明支援として評価する研究を行った。 我々は、人間の行動の分類を導き、概して肯定的な相関にもかかわらず、正しさと知覚的有用性の間に顕著な相違点があることを明らかにする。
  論文  参考訳（メタデータ） (2023-06-02T17:12:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。