論文の概要: Evaluating and Improving Pedagogical Fit in LLM-Based AI Tutors with the Pedagogical Suitability Index

• arxiv url: http://arxiv.org/abs/2608.05411v1
• Date: Wed, 05 Aug 2026 21:07:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-07 17:43:06.665482
• Title: Evaluating and Improving Pedagogical Fit in LLM-Based AI Tutors with the Pedagogical Suitability Index
• Title（参考訳）: ペダゴジカル適合度指数を用いたLLM型AIチュータにおけるペダゴジカルフィットの評価と改善
• Abstract要約: Pedagogical Suitability Index (PSI) は6つの理論インフォームド・サブスコアの合成計量である。 240のシナリオベース評価において,4つの大規模言語モデル (LLM) を評価する。 PSI誘導によるフィードバックは、弱いパフォーマンスのケースを大幅に改善した。
• 参考スコア（独自算出の注目度）: 0.26508608365976566
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) are increasingly used as AI tutors, but a correct answer is not always a pedagogically appropriate one. In classroom learning, effective help depends not only on correctness, but also on whether a response matches the learner's current foundation, the course sequence, and the timing of concept introduction. Existing evaluations focus mainly on answer quality, leaving this instructional fit under-measured. We present the Pedagogical Suitability Index (PSI), a composite metric of six theory-informed sub-scores that evaluates how well LLM-generated tutoring responses align with learner readiness and curricular progression, and we further use PSI as a structured feedback signal for response improvement. We evaluate four LLM tutors (ChatGPT, Gemini, Gemma4, and Qwen3) across 240 scenario-based evaluations using paired standard and defective prompts, then apply a PSI-guided regeneration protocol to 62 weak-performing cases. Baseline differences across the four tested models were modest overall (PSI range: 0.557 to 0.638), and open-weight and closed models did not exhibit a clear separation in pedagogical fit. Under the tested prompt perturbations, overall PSI remained largely stable (Delta = -0.002), though sub-score trade-offs emerged. More importantly, PSI-guided feedback substantially improved weak-performing cases: 51 of 62 cases improved (82.3%). Focused manual evaluation of the 62 PSI-selected weak cases provides initial evidence that the identified weaknesses are instructionally meaningful and that many PSI-guided regenerations correspond to human-judged improvement. These results suggest that learner- and curriculum-aware alignment may matter more for effective tutoring than model category alone, and that such alignment is both measurable and improvable.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、AI家庭教師としてますます使われているが、正しい答えは必ずしも適切なものではない。 授業学習における効果的な支援は, 正当性だけでなく, 学習者の現在の基礎, コースシーケンス, 概念導入のタイミングにも依存する。 既存の評価は、主に回答の品質に重点を置いており、この教示は未測定のままである。 Pedagogical Suitability Index (PSI) は、6つの理論インフォームドサブスコアの合成指標であり、LLM生成のチュータリング応答が学習者の即応性やカリキュラムの進行性とどの程度うまく一致しているかを評価するものである。 提案手法は4つのLCMチューター(ChatGPT, Gemini, Gemma4, Qwen3)を,2つの標準および欠陥プロンプトを用いて240のシナリオベースで評価し,PSI誘導再生プロトコルを62の弱性能ケースに適用した。 試験された4つのモデル間でのベースラインの違いは、全体(PSIの範囲は0.557から0.638)で、オープンウェイトとクローズドモデルでは、ペタゴジカルフィットの明確な分離は示されなかった。 試験された急激な摂動の下では、PSI全体がほぼ安定していたが(デルタ=0.002)、サブスコアのトレードオフが出現した。 さらに重要なことは、PSI誘導によるフィードバックにより、62例中51例が改善(82.3%)した。 62件のPSI選択弱症例に対する手作業による評価は、同定された弱点が命令的に有意であり、多くのPSI誘導再生が人手による改善に対応していることを示す最初の証拠である。 これらの結果から,学習者・カリキュラム対応のアライメントは,モデルカテゴリー単独よりも効果的な学習に重要である可能性が示唆され,そのようなアライメントは測定可能かつ即効的である。

関連論文リスト

• How Good Are Frontier Models at Physics? Expert Re-Grading Reveals Broken Evaluations and Near-Saturation of Leading Benchmarks [60.853503196898906]
  主要な物理学ベンチマークに関する低報告のスコアは、フロンティア言語モデルが高度な物理学に苦しむことを示唆している。 我々は,6つの広く使用されている物理ベンチマークでフロンティアモデルを評価し,専門家と評価することで,これらの知見を再考する。
  論文  参考訳（メタデータ） (2026-09-11T16:06:50Z)
• EduGuard: A Safe RAG-Based LLM Tutor for Programming Education [1.2999518604217852]
  ジェネレーティブAI(GenAI)は、プログラミングの説明、デバッグ、代入サポートに学生によってますます利用されている。 本稿では,提案プログラムのための安全な検索強化世代(RAG)学習フレームワークであるEduGuardについて述べる。 EduGuardは、クエリ理解、インストラクターが承認したコース検索、教育戦略選択、ルーリック・アウェア生成、クレームレベルの検証、オーバー信頼制御を統合している。
  論文  参考訳（メタデータ） (2026-07-17T08:18:18Z)
• Measuring Whether LLM Tutors Teach or Solve: A Diagnostic for Educational Impact [4.6840536642016195]
  本研究では,学習支援行動と単なる回答生成とを区別する公立学習ベンチマークについて検討する。 本稿では,問題解決指向と教育指向のベンチマーク性能のギャップに基づいた,軽量な診断ルーブリックを提案する。
  論文  参考訳（メタデータ） (2026-06-15T04:32:18Z)
• Mitigating LLM biases toward spurious social contexts using direct preference optimization [5.169989177779799]
  本稿では,米国学級の教科書の公開データセットを用いて,ソーシャルコンテキストを刺激するモデルロバスト性について検討する。 無関係な文脈情報は、モデル予測を7点スケールで最大1.48ポイントシフトすることができる。 Debiasing-DPO**は,クエリから生成した中立推論とモデルのバイアス推論とをペアリングする自己教師型学習法である。
  論文  参考訳（メタデータ） (2026-04-02T23:42:20Z)
• ReForm: Reflective Autoformalization with Prospective Bounded Sequence Optimization [73.0780809974414]
  本稿では,意味的整合性評価を自己形式化プロセスに統合する反射的自己形式化手法を提案する。 これにより、モデルが形式的なステートメントを反復的に生成し、セマンティックな忠実さを評価し、自己修正された特定エラーを発生させることができる。 実験の結果、ReFormは最強のベースラインに対して平均22.6ポイントの改善を達成した。
  論文  参考訳（メタデータ） (2025-10-28T16:22:54Z)
• Bridging Supervised Learning and Reinforcement Learning in Math Reasoning [55.889740979706815]
  強化学習(Reinforcement Learning, RL)は、二分検証信号による自己改善を可能にすることで、近年の数学能力の急上昇において中心的な役割を担っている。 本研究は,LLMが障害を反映し,外部教師なしで自律的に改善できる教師型アプローチである負認識ファインチューニング(NFT)を提案する。
  論文  参考訳（メタデータ） (2025-05-23T17:17:40Z)
• Can Large Language Models Match Tutoring System Adaptivity? A Benchmarking Study [0.0]
  大規模言語モデル(LLM)は動的命令補助として約束を守る。 しかし、LLMが知的チューリングシステム(ITS)の適応性を再現できるかどうかは不明である。
  論文  参考訳（メタデータ） (2025-04-07T23:57:32Z)
• The First Few Tokens Are All You Need: An Efficient and Effective Unsupervised Prefix Fine-Tuning Method for Reasoning Models [69.798277882245]
  大規模言語モデルの推論効率を向上させるために,Unsupervised Prefix Fine-Tuning (UPFT)を導入した。 UPFTはラベル付きデータや徹底的なサンプリングの必要性を取り除く。 実験の結果,UPFTは教師付き手法の性能と一致していることがわかった。
  論文  参考訳（メタデータ） (2025-03-04T18:56:03Z)
• Supervised Fine-Tuning LLMs to Behave as Pedagogical Agents in Programming Education [41.69192181482715]
  本稿では,プログラミング教育のための微調整型大規模言語モデル(LLM)である GuideLM の開発について述べる。 GuideLM は LLM を利用した教育用 C コンパイラ C コンパイラ (DCC) に統合され,音声による誤り説明を生成する。 基礎となるOpenAIモデルと比較し,各モデル毎の400応答の専門的分析を行った。 その結果, GuideLM と GuideLM-mini は, GPT-4o と比較して, ソクラテス的指導の8%, 語学経済の58%が向上した。
  論文  参考訳（メタデータ） (2025-02-27T21:23:56Z)
• Self-Taught Evaluators [77.92610887220594]
  本稿では,人工的なトレーニングデータのみを用いて,人間のアノテーションを使わずに即興で証明することを目的としたアプローチを提案する。 我々の自己学習評価器は、RewardBench上で75.4から88.3までの強いLDMを改善することができる。
  論文  参考訳（メタデータ） (2024-08-05T17:57:02Z)
• Improving the Validity of Automatically Generated Feedback via Reinforcement Learning [46.667783153759636]
  強化学習(RL)を用いた正当性と整合性の両方を最適化するフィードバック生成フレームワークを提案する。 具体的には、直接選好最適化(DPO)によるトレーニングのための拡張データセットにおいて、GPT-4のアノテーションを使用してフィードバックペアよりも好みを生成する。
  論文  参考訳（メタデータ） (2024-03-02T20:25:50Z)
• LIMA: Less Is More for Alignment [112.93890201395477]
  65B パラメータ LLaMa 言語モデル LIMA のトレーニングを行う。 LIMAは、非常に強力なパフォーマンスを示し、少数の例から特定のレスポンスフォーマットに従うことを学ぶ。 制御されたヒトの研究では、LIMAからの反応は43%の症例において、GPT-4に等しいか、厳格に好まれる。
  論文  参考訳（メタデータ） (2023-05-18T17:45:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。