論文の概要: Incremental Predictive Value of LLM Tutoring Interactions for Student Performance
- arxiv url: http://arxiv.org/abs/2610.33488v1
- Date: Sat, 24 Oct 2026 06:34:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 22:27:13.342605
- Title: Incremental Predictive Value of LLM Tutoring Interactions for Student Performance
- Title（参考訳）: 学生パフォーマンスのためのLLMチューニングインタラクションのインクリメンタル予測値
- Abstract要約: 我々は,大規模言語モデルチュータからの学期レベルの相互作用が,一定のベースラインを超えた代入スコア予測を改善するか否かを評価する。
StudyChatは、学部の人工知能コースの2つのコースから16,851人の学生支援交換を提供している。
- 参考スコア（独自算出の注目度）: 1.2967468509039801
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We evaluate whether semester-level interaction features from a large language model tutor improve assignment-score prediction beyond constant baselines. StudyChat provides 16,851 student-assistant exchanges from two offerings of an undergraduate artificial intelligence course, with outcomes matched to 175 of 203 student-semester records. Six fitted estimators and training-fold mean and median baselines share repeated nested cross-validation. After averaging each student's held-out predictions across ten repeats, Gradient Boosting achieves mean absolute error of 3.023 grade points, versus 3.138 for the median baseline. The paired difference is -0.114, with a conditional 95% bootstrap interval of [-0.245,0.013]. Representation changes and a semester-specific median yield similarly small gains. In the lowest observed-score quartile, however, boosting's error is 7.30 points, versus 8.07 for the median and 6.67 for the mean; Ridge has the lowest fitted-model error at 6.37 despite its worse overall error of 3.331. Scores concentrate near the ceiling: 160 students (91.4%) score above 90, and the lowest quartile contributes 62.1% of boosting's total absolute error. This retrospective comparison shows how baseline choice and error distribution affect predictive value, informing evaluation of student-support tools without establishing a learning effect.
- Abstract（参考訳）: 我々は,大規模言語モデルチュータからの学期レベルの相互作用が,一定のベースラインを超えた代入スコア予測を改善するか否かを評価する。
StudyChatは、学部の人工知能コースの2つのコースから16,851人の学生支援交換を提供している。
6つの適合型推定器とトレーニングフォールド平均および中央ベースラインは繰り返しネストされたクロスバリデーションを共有する。
グラディエント・ブースティング(Gradient Boosting)は、各生徒の持久予測を10回にわたって平均し、平均絶対誤差は3.023点であり、中央値のベースラインは3.138点である。
対差は-0.114で、条件付き95%ブートストラップ間隔は [-0.245,0.013] である。
表現の変化と、学期固有の中央値の利得は、同様に小さな利得である。
しかし、最低の観測スコア準位では、ブーピングの誤差は7.30ポイントであり、平均は8.07ポイント、平均は6.67ポイントである。
スコアは天井付近に集中しており、学生160人(91.4%)が90点を超え、最低の4分の1はブースティングの絶対誤差の62.1%に寄与している。
この振り返り比較は,基本選択と誤差分布が予測値にどのように影響するかを示し,学習効果を確立することなく,学生支援ツールの評価を行う。
関連論文リスト
- Pairwise AUC Optimization Needs Corrective Power: A Unified View [91.5488253165522]
ペアワイドのミニバッチ更新が、より厳格なランキングエラーに対して、より強く信頼性の高い改善をもたらすかどうかを検討する。
我々の主な観察では、直接的なペアワイズトレーニングは、深刻なエラーが相変わらずありふれた領域に入ることができるが、もはや有用な修正動作は生じない。
論文 参考訳（メタデータ） (2026-10-15T12:02:54Z) - UO-FIE: Combining Exact-Label Supervision with Graded Utility for Factivity Inference [0.0]
アクティビティ推論評価2026(FIE2026)は、中国の文脈と仮説のペアを9つの順序の事実区間に分類する。
UO-FIE(Utility-Oriented F Activity Inference)は、正確なラベル管理とグレードユーティリティを組み合わせたパラメータ効率の高いシステムである。
論文 参考訳（メタデータ） (2026-09-23T16:24:57Z) - Luck Is Not Skill: When Do Paired Rollouts Help Group-Relative RL of LLM Agents? [2.488251122211714]
グループ相対強化学習は、同じプロンプトのロールアウトを比較するが、独立した環境ノイズはこれらの比較を曖昧にする可能性がある。
本研究は,各グループ内において,各ロールアウトの周縁分布を保ちながら,イベントキー付きノイズスケジュールを共有するペア付きロールアウトについて検討する。
片側グレーダ雑音に対して、還元の正確な条件を導出し、勾配のばらつきが増大する一方、報酬のコントラストが改善する反例を与える。
論文 参考訳（メタデータ） (2026-09-21T05:55:08Z) - Vision-Language Models for Criterion-Level Grading of Handwritten Examinations in Outcome-Based Education [0.3686530147760243]
本研究は手書き結果に基づく評価のための視覚言語モデルを評価する。
Qwen2.5-VL、InternVL3、Pixtral、Donutベースライン、カスケードアンサンブルにまたがる20の構成を比較した。
論文 参考訳（メタデータ） (2026-09-13T04:55:55Z) - Target-Checked Reliability Score Refinement for Video Question Answering [3.8271803328378677]
モデルの再トレーニングや回答の変更を伴わずに、目標シフトの下で回答レベルの信頼性スコアを改善できるかどうかを検討する。
3つの固定されたビデオ言語モデルから、4つの決定論的ビデオサンプリングに基づいてオプション確率リストを収集する。
選択した回答に割り当てられた確率として定義される原点スコアと,開発データセットに基づいて学習したヒストグラムに基づく勾配ボスティング(HGB)スコアを比較した。
候補は、ビデオレベルの繰り返しチェックがポジティブで安定した改善を示す場合にのみ、元のスコアを置き換える。
論文 参考訳（メタデータ） (2026-09-09T08:29:00Z) - Automated Proving of Shannon-Type Entropy Inequalities via Fine-Tuned Language Models and Guided Tree Search [50.16356451328644]
シャノン型エントロピーの不等式を証明することは情報理論の基本的な課題である。
我々は,原子実証のステップを微調整した小規模大規模言語モデルがこのプロセスを自動化することができるか検討する。
GPT-5.5は0ショットプロンプトで1.7%のサンプルを解き、Psitipは33.3%のサンプルを解いた。
論文 参考訳（メタデータ） (2026-06-04T05:43:12Z) - Amplifying, Not Learning: Fine-Tuned AI Text Detectors Amplify a Pretrained Direction [51.56484100374058]
テキスト検出器は、事前訓練された典型軸を増幅する。
タスク監督前の生エンコーダでは、3つのアーキテクチャでNYT-vs-HC3 AUROC 0.806/0.944/0.834を達成する。
RoBERTaベースでは、生のプロジェクションは微調整を超えるが、RoBERTaベースでは、フル微調整は、試験された流線型人口の双方で生よりも識別を小さくする。
論文 参考訳（メタデータ） (2026-05-20T19:08:38Z) - Putting HUMANS first: Efficient LAM Evaluation with Human Preference Alignment [53.72927532626824]
わずか50個のサンプル(0.3%のデータ)のサブセットは、完全なベンチマークスコアと0.93以上のピアソン相関を達成可能であることを示す。
選好をより良く予測するために、選択したサブセットの回帰モデルを訓練し、0.98の相関を達成した。
これは回帰モデリングにおいて、よく計算されたサブセットが完全なベンチマークを予測し、量を超える品質を示すことを示している。
論文 参考訳（メタデータ） (2026-04-20T00:57:31Z) - When are ensembles really effective? [49.37269057899679]
分類タスクにおいて,アンサンブルが顕著な性能向上をもたらす時期について検討する。
平均誤差率に対して不一致率が大きくなると,アンサンブルにより性能が大幅に向上することを示す。
アンサンブルが実現し、大きなパフォーマンス改善をもたらすことのない、実践的なシナリオを特定します。
論文 参考訳（メタデータ） (2023-05-21T01:36:25Z) - Reducing Variance in Temporal-Difference Value Estimation via Ensemble
of Deep Networks [109.59988683444986]
MeanQは単純なアンサンブル法であり、ターゲット値をアンサンブル平均として推定する。
本稿では,Atari Learning Environmentベンチマークを用いた実験において,MeanQが顕著なサンプル効率を示すことを示す。
論文 参考訳（メタデータ） (2022-09-16T01:47:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。