論文の概要: An Integrated Machine Learning and Hierarchical Variance Decomposition Pipeline for Student Performance Prediction and Metacognitive Calibration on Multi-Signal Telemetry
- arxiv url: http://arxiv.org/abs/2606.28881v1
- Date: Sat, 27 Jun 2026 11:59:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-30 18:07:15.723528
- Title: An Integrated Machine Learning and Hierarchical Variance Decomposition Pipeline for Student Performance Prediction and Metacognitive Calibration on Multi-Signal Telemetry
- Title（参考訳）: 多信号テレメトリによる生徒のパフォーマンス予測とメタ認知校正のための統合型機械学習と階層型分散パイプライン
- Abstract要約: 従来の研究では、性能予測、校正誤差計算、分散分解を別個のパイプラインとして扱う。
本稿では,学生の事前行動テレメトリを行う統合フレームワークであるUnified Behavioral Prediction and Analysis Pipeline (UBP-CAP)を提案する。
予測-説明的分岐指数 (PEDI) を導入し, 予測的特徴プロファイルと説明的特徴プロファイルの間の構造的差異を定量化する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Predicting student performance and characterizing metacognitive calibration are essential for personalization in intelligent tutoring systems. Prior research treats performance prediction, calibration error calculation, and variance decomposition as separate pipelines, preventing unified interpretation. I propose the Unified Behavioral Prediction and Calibration Analysis Pipeline (UBP-CAP), an integrated framework processing student pre-execution behavioral telemetry through three linked modules: (1) a LightGBM classifier with SHAP for binary correctness prediction, (2) formal calibration metrics (ECE, MCE, and Brier score decomposition) to evaluate metacognitive alignment, and (3) a crossed Generalized Linear Mixed-Effects Model (GLMM) for decomposing calibration deviations. I introduce the Predictive-Explanatory Divergence Index (PEDI), which quantifies structural divergence between predictive and explanatory feature profiles. Evaluated on 1,195 interaction records (27 students, 45 tasks), Logistic Regression achieves AUC-ROC = 0.903, outperforming LightGBM (0.878). Student naive ECE (0.109) significantly exceeds model ECE (0.068), confirming systematic miscalibration. The crossed GLMM yields ICCStudent = 0.123, showing calibration is situational rather than dispositional. PEDIcos = 0.081 (p = 0.327) indicates structural alignment between prediction and explanation on shared behavioral features.
- Abstract（参考訳）: 知的学習システムにおいて,生徒のパフォーマンス予測とメタ認知的校正はパーソナライズに不可欠である。
従来の研究では、性能予測、校正誤差計算、分散分解を独立したパイプラインとして扱い、統一的な解釈を妨げている。
統合されたフレームワーク処理学生の行動テレメトリであるUBP-CAP(Unified Behavioral Prediction and Calibration Analysis Pipeline)を提案する。(1)二進的正当性予測のためのSHAP付きLightGBM分類器、(2)認知的アライメントを評価するための形式的校正指標(ECE, MCE, Brier score decomposition)、(3)キャリブレーション偏差を分解する汎用線形混合効果モデル(GLMM)である。
予測-説明的分岐指数 (PEDI) を導入し, 予測的特徴プロファイルと説明的特徴プロファイルの間の構造的差異を定量化する。
対話記録1,195件(生徒27名,タスク45名)から評価し,AUC-ROC = 0.903を達成し,LightGBM(0.878名)を上回った。
ECE (0.109) はモデルCE (0.068) をはるかに上回り, 体系的誤校正を確認した。
交差したGLMMはICCStudent = 0.123 となり、分解よりもキャリブレーションが状況的であることを示す。
PEDIcos = 0.081 (p = 0.327) は、共有行動特徴の予測と説明の間の構造的整合を示す。
関連論文リスト
- Multimodal Learning on Low-Quality Data with Conformal Predictive Self-Calibration [72.0672328514289]
マルチモーダル学習は、しばしば低品質データの課題に悩まされる。
コンフォーマル予測自己校正(Conformal Predictive Self-Calibration)と呼ばれる統合フレームワークを提案する。
私たちのフレームワークは、既存の最先端メソッドを一貫して上回ります。
論文 参考訳（メタデータ） (2026-05-05T14:48:52Z) - Geometric Metrics for MoE Specialization: From Fisher Information to Early Failure Detection [13.891522069967507]
本稿では,MoE動的特殊化の最初の厳密な特徴を提供する情報幾何学的フレームワークを提案する。
我々の重要な洞察は、フィッシャー情報量計を備えた確率単純度に基づいて、専門家のルーティング分布が進化することである。
論文 参考訳（メタデータ） (2026-04-16T00:28:41Z) - Sparse-by-Design Cross-Modality Prediction: L0-Gated Representations for Reliable and Efficient Learning [0.0]
統一されたスペーシフィケーションプリミティブは、モダリティに匹敵する精度と効率のトレードオフをもたらす。
学習表現に直接L0スタイルのスパーシリティを強制するモダリティ非依存的かつ機能的にハードコンクリートなゲーティングフレームワークを提案する。
論文 参考訳（メタデータ） (2026-03-26T03:33:42Z) - PRIME: A Process-Outcome Alignment Benchmark for Verifiable Reasoning in Mathematics and Engineering [71.15346406323827]
本稿では,プロセス・アウトカム・アライメント・アライメント・検証における検証結果を評価するベンチマークであるPRIMEを紹介する。
現在の検証器は、しばしば導出欠陥を検出するのに失敗する。
本稿では,PRIMEで選択した検証手法を利用したプロセス認識型RLVRトレーニングパラダイムを提案する。
論文 参考訳（メタデータ） (2026-02-12T04:45:01Z) - Classifier Calibration at Scale: An Empirical Study of Model-Agnostic Post-Hoc Methods [0.0]
教師付き二項分類における確率的予測を改善するためのモデル非依存のポストホック校正法について検討した。
我々は、線形モデル、SVM、ツリーアンサンブル(CatBoost、XGBoost、LightGBM)を含む21の広く使われている分類器をベンチマークした。
一般的な校正手順,特にプラットスケーリングと等調回帰は,適切なスコアリング性能を体系的に低下させる可能性がある。
論文 参考訳（メタデータ） (2026-01-19T18:23:36Z) - What Do Learning Dynamics Reveal About Generalization in LLM Reasoning? [83.83230167222852]
モデルの一般化動作は,事前記憶列車の精度と呼ばれるトレーニング指標によって効果的に特徴づけられることがわかった。
モデルの学習行動と一般化を結びつけることで、トレーニング戦略に目標とする改善を導くことができる。
論文 参考訳（メタデータ） (2024-11-12T09:52:40Z) - Orthogonal Causal Calibration [55.28164682911196]
我々は、因果校正作業を標準(非因果予測モデル)の校正作業に還元する一般的なアルゴリズムを開発する。
以上の結果から,既存のキャリブレーションアルゴリズムを因果的設定に応用できることが示唆された。
論文 参考訳（メタデータ） (2024-06-04T03:35:25Z) - On the Calibration of Pre-trained Language Models using Mixup Guided by
Area Under the Margin and Saliency [47.90235939359225]
モデルキャリブレーションをさらに改善する事前学習型言語モデルのための新しい混合戦略を提案する。
本手法は,ドメイン内およびドメイン外テストサンプルの強いベースラインと比較して,最小のキャリブレーション誤差を実現する。
論文 参考訳（メタデータ） (2022-03-14T23:45:08Z) - MBCT: Tree-Based Feature-Aware Binning for Individual Uncertainty Calibration [45.440008446506404]
我々はMultiple Boosting Trees (MBCT)と呼ばれる特徴認識型バイナリフレームワークを提案する。
MBCTは非単調であり,学習可能なビンニング方式と個々のキャリブレーションにより,順序精度が向上する可能性がある。
その結果,本手法はキャリブレーション誤差と順序精度の両方で競合するモデルよりも優れていることがわかった。
論文 参考訳（メタデータ） (2022-02-09T08:59:16Z) - Should Ensemble Members Be Calibrated? [16.331175260764]
現代のディープニューラルネットワークはしばしば、キャリブレーションが不十分であることが観察される。
ディープラーニングアプローチは、多数のモデルパラメータを利用する。
本稿では,キャリブレーション方式の深層アンサンブルへの適用について検討する。
論文 参考訳（メタデータ） (2021-01-13T23:59:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。