論文の概要: The learner who does not learn: when optimizing a pedagogical metric degrades LLM tutoring

• arxiv url: http://arxiv.org/abs/2610.12125v1
• Date: Thu, 08 Oct 2026 15:18:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:54.112913
• Title: The learner who does not learn: when optimizing a pedagogical metric degrades LLM tutoring
• Title（参考訳）: 学習しない学習者:教育指標の最適化はLLM学習を劣化させる
• Abstract要約: そこで我々は,学習状況の条件に対して,各指導決定を学習シーケンスでスコアする教育適応度尺度を考案した。 オープンウェイトプロキシを微調整することで,2000の学習シナリオにまたがるフロンティアチューターを監査し,最も弱いケースを修正し,31人の教育者に対して,アウトプットの教育的アライメントを評価するよう依頼した。 チューターは、決定を独立してスコア付けし、それらを平均化する指標は、単一の最善決定を繰り返して最大化するため、さらに悪化した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: It is assumed that a natural way to improve the pedagogical quality of large language model tutors is to define a metric of instructional performance and fine-tune the model against it. To test this strategy, we designed a metric of pedagogical adaptivity that scores each instructional decision in a learning sequence against the conditions of the learning situation, which is the standard used for automated pedagogical scoring. We audited a frontier tutor across 2,000 learner scenarios, corrected its weakest cases by fine-tuning an open-weights proxy, and asked 31 trained educators to rate the pedagogical alignment of the outputs blind, before and after correction. The metric increased from +0.05 to +0.42 for the corrected cases, while the expert ratings decreased from 4.46 to 3.03, with the unmodified controls remaining unchanged and a base-proxy control ruling out the change of model. The tutor performed worse because any metric that scores decisions independently and averages them is maximized by repeating the single best decision, and the fine-tuned model collapsed to that exact optimum in every case, in and out of sample. Educators identified the repetition, which such metrics cannot represent, and preserving the learner's trajectory in the score reduced, but did not reverse, the metric's verdict. Weight analysis traced the correction to the model's output projection, where it had memorized its training strings rather than learned to adapt. We conclude that measurement validity does not imply optimization validity, and we derive design principles for benchmarks that assess or train AI-tutor instruction.
• Abstract（参考訳）: 大規模言語モデルチューターの教育的品質を改善する自然な方法は、指導性能の指標を定義し、それに対してモデルを微調整することだと仮定される。 この戦略をテストするために、我々は、学習状況の条件に対して、各指導決定を学習順序でスコアする教育適応度尺度を設計した。 オープンウェイトプロキシを微調整することで,2000の学習シナリオにまたがるフロンティアチューターを監査し,最も弱いケースを修正した。 補正されたケースでは+0.05から+0.42に増加し、専門家評価は4.46から3.03に低下した。 チューターは、決定を独立して得点し、それらを平均化する指標は、単一の最善決定を繰り返して最大化され、微調整されたモデルは、すべてのケースにおいて、サンプルの内外において、その正確な最適に崩壊した。 教育者は、そのようなメトリクスが表現できない繰り返しを特定し、スコアの学習者の軌跡を減らしたが、メトリクスの判断を逆転しなかった。 重み分析は、モデルが適応することを学ぶのではなく、トレーニング文字列を記憶した出力プロジェクションに補正をトレースした。 我々は,測定妥当性が最適化の妥当性を示唆するものではないことを結論し,AI-チュータ教育の評価・訓練を行うベンチマークの設計原則を導出する。

関連論文リスト

• Evaluating and Improving Pedagogical Fit in LLM-Based AI Tutors with the Pedagogical Suitability Index [0.26508608365976566]
  Pedagogical Suitability Index (PSI) は6つの理論インフォームド・サブスコアの合成計量である。 240のシナリオベース評価において,4つの大規模言語モデル (LLM) を評価する。 PSI誘導によるフィードバックは、弱いパフォーマンスのケースを大幅に改善した。
  論文  参考訳（メタデータ） (2026-08-05T21:07:10Z)
• Reflective Recovery: A Self-Supervised Method for Reasoning by Learning from Mistakes [70.64622557376505]
  リフレクティブリカバリは、推論中のミスを認識し、修正するようにモデルに教える。 AIME 2025では30.0%から37.5%、Minervaでは37.6%から47.8%に精度が向上している。
  論文  参考訳（メタデータ） (2026-07-24T02:51:42Z)
• Towards Pedagogically Aligned LLM Tutors for Math Mistake Remediation [12.296644292843801]
  本研究では,2段階アライメントパイプラインの数学的誤り修復への応用について検討する。 我々は,既存の学習コーパスと教育次元に沿って生成された合成データを統合するデータセットを構築した。
  論文  参考訳（メタデータ） (2026-06-19T14:53:55Z)
• The Illusion of Certainty: Decoupling Capability and Calibration in On-Policy Distillation [67.26315138466312]
  モデルロールアウトから経験的信頼性を推定するキャリブレーション対応のOPDフレームワークであるCaOPDを提案する。 本研究は, 能力蒸留が信頼性を示唆するものではないこと, 信頼性をポストトレーニングの本質的な目的として扱うべきであることを明らかにする。
  論文  参考訳（メタデータ） (2026-04-18T04:43:40Z)
• Correct Answers from Sound Reasoning: Verifiable Process Supervision for Language Models [94.68358825189738]
  本稿では,予測精度と推論品質を協調的に最適化する検証済み領域の学習後フレームワークを提案する。 我々は,エンジン信号に対して推論ステップを確定的に検証できる制御テストベッドであるチェスのVPSを評価する。 VPSは、推論品質を著しく向上させながら精度を保ち、勝利率エラーを最大30%削減し、一貫性をほぼ飽和状態に回復する。
  論文  参考訳（メタデータ） (2026-04-03T15:19:46Z)
• EpiCaR: Knowing What You Don't Know Matters for Better Reasoning in LLMs [9.412828452977553]
  既存のアプローチは成功した推論パスを強化し、かなりのキャリブレーションコストを発生させる。 この失敗は、アライメントにおけるモデル崩壊の一形態として特徴づけられている。 推論性能とキャリブレーションを協調的に最適化する訓練目標として,EpiCaRを提案する。
  論文  参考訳（メタデータ） (2026-01-11T06:21:13Z)
• Training Language Models to Self-Correct via Reinforcement Learning [98.35197671595343]
  自己補正は、現代の大規模言語モデル(LLM)では、ほとんど効果がないことが判明した。 完全自己生成データを用いたLLMの自己補正能力を大幅に向上させるマルチターンオンライン強化学習手法であるSCoReを開発した。 SCoReは最先端の自己補正性能を実現し,MATHとHumanEvalでそれぞれ15.6%,9.1%向上した。
  論文  参考訳（メタデータ） (2024-09-19T17:16:21Z)
• Self-Judge: Selective Instruction Following with Alignment Self-Evaluation [27.69410513313001]
  提案手法は, 予測された応答品質が低い場合, 命令の実行を減少させる。 人手による品質スコアを必要とせずに、判断モデルを開発するための新しい自己学習フレームワークであるSelf-Jを紹介する。
  論文  参考訳（メタデータ） (2024-09-02T04:14:13Z)
• Selective Learning: Towards Robust Calibration with Dynamic Regularization [79.92633587914659]
  ディープラーニングにおけるミススキャリブレーションとは、予測された信頼とパフォーマンスの間には相違がある、という意味である。 トレーニング中に何を学ぶべきかを学ぶことを目的とした動的正規化(DReg)を導入し、信頼度調整のトレードオフを回避する。
  論文  参考訳（メタデータ） (2024-02-13T11:25:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。