論文の概要: Confirming Correct, Missing the Rest: LLM Tutoring Agents Struggle Where Feedback Matters Most

• arxiv url: http://arxiv.org/abs/2605.16207v1
• Date: Fri, 15 May 2026 17:24:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-18 21:22:26.388963
• Title: Confirming Correct, Missing the Rest: LLM Tutoring Agents Struggle Where Feedback Matters Most
• Title（参考訳）: LLMチュータリングエージェントはフィードバックが一番重要か?
• Authors: Tahreem Yasir, Wenbo Li, Sam Gilson, Sutapa Dey Tithi, Xiaoyi Tian, Tiffany Barnes,
• Abstract要約: 本研究では,10,836の解対と3つのフィードバック条件の知識グラフに基づく基底真理を用いた提案論理における7つのLLMフィードバックエージェントのベンチマークを示す。 モデルでは、最適ステップでニアシーリング性能を得たが、体系的には過剰に退避し、有効だが最適でない推論と過剰に無効化された不正確な解を得た。 以上の結果から,LLMはKGグラウンドモデルで診断処理を行うハイブリッドアーキテクチャに適しており,LLMは開き足場と対話をサポートすることが示唆された。
• 参考スコア（独自算出の注目度）: 6.427759179824697
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Effective tutoring requires distinguishing optimal, valid but suboptimal, and incorrect student solutions, a distinction central to intelligent tutoring systems (ITS) but untested for LLM-based tutors. As LLMs are increasingly explored as conversational complements to ITS, evaluating their diagnostic precision is essential. We present a benchmark of seven LLM feedback agents in propositional logic using knowledge-graph-derived ground truth across 10,836 solution--feedback pairs and three feedback conditions. Models achieved near-ceiling performance on optimal steps but systematically over-rejected valid but suboptimal reasoning and over-validated incorrect solutions, precisely where adaptive tutoring matters most. These failures persisted across models regardless of solution context, suggesting architectural rather than informational limits. Moreover, accurate diagnosis did not reliably produce pedagogically actionable feedback, revealing a gap between diagnostic judgment and instructional effectiveness. Our findings suggest that LLMs are better suited for hybrid architectures where KG-grounded models handle diagnosis while LLMs support open-ended scaffolding and dialogue.
• Abstract（参考訳）: 効果的なチュータリングは、知的チュータリングシステム(ITS)の中心にあるが、LLMベースのチュータではテストされていない、最適で有効な、最適でない、誤った学生ソリューションを区別する必要がある。 LLMはITSの会話的補完として研究されているため、診断精度を評価することが不可欠である。 本研究では,10,836の解対と3つのフィードバック条件の知識グラフ由来の基底真理を用いて,命題論理における7つのLLMフィードバックエージェントのベンチマークを示す。 モデルでは, 最適ステップ上でのニアシーリング性能が得られたが, 体系的に過剰に退避した有効だが最適でない推論と過バリドされた不正確な解は, 適応的チューリングが最も重要であった。 これらの失敗は、ソリューションのコンテキストに関わらずモデル間で持続し、情報的限界よりもアーキテクチャを示唆した。 さらに, 正確な診断では, 教育学的に有効なフィードバックが得られず, 診断判断と指導効果のギャップが明らかとなった。 以上の結果から,LLMはKGグラウンドモデルで診断処理を行うハイブリッドアーキテクチャに適しており,LLMは開き足場と対話をサポートすることが示唆された。

関連論文リスト

• Can LLMs Model Incorrect Student Reasoning? A Case Study on Distractor Generation [46.210941814500906]
  本研究は,大規模言語モデル (LLM) が複数選択の散逸を発生させる際の誤解に対する理由について検討する。 私たちの構造化分析は、彼らのプロセスとベストプラクティスの驚くほどの一致を明らかにします。
  論文  参考訳（メタデータ） (2026-03-16T17:09:41Z)
• Misconception Diagnosis From Student-Tutor Dialogue: Generate, Retrieve, Rerank [3.751385483412605]
  大規模言語モデル(LLM)を用いた学生と教師の対話から誤解を検出するための新しいアプローチを提案する。 まず、微調整のLSMを用いて、最も有望な候補を抽出する。 これらの候補は、誤解の関連性を改善するために、別の微調整LDMによって評価され、再ランクされる。
  論文  参考訳（メタデータ） (2026-02-02T18:14:35Z)
• Problems With Large Language Models for Learner Modelling: Why LLMs Alone Fall Short for Responsible Tutoring in K--12 Education [4.658972861389497]
  K--12教育における大規模言語モデル(LLM)ベースのチューターの急速な増加は、生成モデルが適応的指導のために従来の学習者モデルを置き換えることができるという誤解を引き起こしている。 本研究は,LLMに基づく教師の限界に関する証拠を合成し,学習者の時間とともに進化する知識を評価するための正確性,信頼性,時間的コヒーレンスという1つの重要な問題を実証的に研究する。
  論文  参考訳（メタデータ） (2025-12-28T18:26:22Z)
• Can LLMs Correct Themselves? A Benchmark of Self-Correction in LLMs [57.10533368622962]
  大規模言語モデル(LLM)の自己補正は、推論性能を高める重要な要素として現れる。 本研究では,自己補正戦略の有効性を評価するためのベンチマークであるCorrectBenchを紹介する。 その結果,1) 自己補正手法は, 複雑な推論タスクにおいて, 精度を向上させることが可能であり, 2) 異なる自己補正戦略の混合により, 効率は低下するものの, さらなる改善がもたらされることが明らかとなった。
  論文  参考訳（メタデータ） (2025-10-17T02:40:19Z)
• From Problem-Solving to Teaching Problem-Solving: Aligning LLMs with Pedagogy using Reinforcement Learning [82.50157695987558]
  大規模言語モデル(LLM)は教育を変換することができるが、直接質問応答のための最適化はしばしば効果的な教育を損なう。 オンライン強化学習(RL)に基づくアライメントフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-21T15:00:07Z)
• The Promise and Limits of LLMs in Constructing Proofs and Hints for Logic Problems in Intelligent Tutoring Systems [4.146233417549798]
  大規模言語モデル(LLM)は動的フィードバック生成に有望な機能を提供する。 LLMは幻覚を発生させるリスクを負う。 DeepSeek-V3は、段階的な証明構築において84.4%の精度で優れた性能を達成した。
  論文  参考訳（メタデータ） (2025-05-07T18:48:23Z)
• Can Large Language Models Match Tutoring System Adaptivity? A Benchmarking Study [0.0]
  大規模言語モデル(LLM)は動的命令補助として約束を守る。 しかし、LLMが知的チューリングシステム(ITS)の適応性を再現できるかどうかは不明である。
  論文  参考訳（メタデータ） (2025-04-07T23:57:32Z)
• Improving LLM Reasoning through Scaling Inference Computation with Collaborative Verification [52.095460362197336]
  大規模言語モデル(LLM)は一貫性と正確な推論に苦しむ。 LLMは、主に正しいソリューションに基づいて訓練され、エラーを検出して学習する能力を減らす。 本稿では,CoT(Chain-of-Thought)とPoT(Program-of-Thought)を組み合わせた新しい協調手法を提案する。
  論文  参考訳（メタデータ） (2024-10-05T05:21:48Z)
• Are Large Language Models Good Prompt Optimizers? [65.48910201816223]
  我々は,LLMに基づくPrompt Optimizationの実際のメカニズムを明らかにするために研究を行っている。 以上の結果から, LLMは, 反射中の誤差の真の原因を特定するのに苦慮し, 自己の事前知識に偏っていることが明らかとなった。 我々は、より制御可能な方法でターゲットモデルの振舞いを直接最適化する新しい「自動振舞い最適化」パラダイムを導入する。
  論文  参考訳（メタデータ） (2024-02-03T09:48:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。