論文の概要: A framework for predicting, interpreting, and improving Learning
Outcomes
- arxiv url: http://arxiv.org/abs/2010.02629v2
- Date: Mon, 12 Oct 2020 04:54:56 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-10 06:12:55.873060
- Title: A framework for predicting, interpreting, and improving Learning
Outcomes
- Title(参考訳): 学習結果の予測,解釈,改善のためのフレームワーク
- Authors: Chintan Donda, Sayan Dasgupta, Soma S Dhavala, Keyur Faldu, Aditi
Avasthi
- Abstract要約: 本研究では,学生の観察的,行動的,受験的特徴に基づいて,テストスコアを予測するEmbibe Score Quotient Model(ESQ)を開発した。
ESQは、学生の将来的な採点可能性の予測や、個別の学習ナッジの提供に使用することができる。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: It has long been recognized that academic success is a result of both
cognitive and non-cognitive dimensions acting together. Consequently, any
intelligent learning platform designed to improve learning outcomes (LOs) must
provide actionable inputs to the learner in these dimensions. However,
operationalizing such inputs in a production setting that is scalable is not
trivial. We develop an Embibe Score Quotient model (ESQ) to predict test scores
based on observed academic, behavioral and test-taking features of a student.
ESQ can be used to predict the future scoring potential of a student as well as
offer personalized learning nudges, both critical to improving LOs. Multiple
machine learning models are evaluated for the prediction task. In order to
provide meaningful feedback to the learner, individualized Shapley feature
attributions for each feature are computed. Prediction intervals are obtained
by applying non-parametric quantile regression, in an attempt to quantify the
uncertainty in the predictions. We apply the above modelling strategy on a
dataset consisting of more than a hundred million learner interactions on the
Embibe learning platform. We observe that the Median Absolute Error between the
observed and predicted scores is 4.58% across several user segments, and the
correlation between predicted and observed responses is 0.93. Game-like what-if
scenarios are played out to see the changes in LOs, on counterfactual examples.
We briefly discuss how a rational agent can then apply an optimal policy to
affect the learning outcomes by treating the above model like an Oracle.
- Abstract(参考訳): 学術的成功は認知的次元と非認知的次元の両方が一緒に行動した結果であると長年認識されてきた。
したがって、学習成果(LO)を改善するために設計された知的学習プラットフォームは、これらの次元において学習者に実用的な入力を提供しなければならない。
しかし、そのような入力をスケーラブルな運用環境で運用するのは簡単ではない。
本研究では,学生の観察的,行動的,受験的特徴に基づいて,テストスコアを予測するEmbibe Score Quotient Model(ESQ)を開発した。
ESQは、学生の将来的な採点可能性の予測や、LOの改善に不可欠な個別の学習ナッジの提供に使用できる。
予測タスクのために複数の機械学習モデルを評価する。
学習者に有意義なフィードバックを提供するために、各特徴に対する個別化されたShapley特徴属性が計算される。
予測間隔は、予測の不確実性を定量化するために、非パラメトリック量子化回帰を適用して得られる。
上記のモデリング戦略を,1億以上の学習者インタラクションからなるデータセットに,エンビブ学習プラットフォーム上で適用する。
観測値と予測値の中間絶対誤差は複数のユーザセグメントで4.58%であり,予測値と観測値の相関は0.93である。
ゲームライクなwhat-ifシナリオは、反事実的な例でlosの変更を見るために行われる。
我々は,Oracleのように上記のモデルを扱うことによって,学習結果に最適な政策を適用する方法を簡単に議論する。
関連論文リスト
- Probably Approximately Precision and Recall Learning [62.912015491907994]
精度とリコールは機械学習の基本的な指標である。
一方的なフィードバック – トレーニング中にのみ肯定的な例が観察される – は,多くの実践的な問題に固有のものだ。
PAC学習フレームワークでは,各仮説をグラフで表現し,エッジは肯定的な相互作用を示す。
論文 参考訳(メタデータ) (2024-11-20T04:21:07Z) - What Do Learning Dynamics Reveal About Generalization in LLM Reasoning? [83.83230167222852]
モデルの一般化動作は,事前記憶列車の精度と呼ばれるトレーニング指標によって効果的に特徴づけられることがわかった。
モデルの学習行動と一般化を結びつけることで、トレーニング戦略に目標とする改善を導くことができる。
論文 参考訳(メタデータ) (2024-11-12T09:52:40Z) - Beyond Text: Leveraging Multi-Task Learning and Cognitive Appraisal Theory for Post-Purchase Intention Analysis [10.014248704653]
本研究では,ユーザの行動を予測するための認知評価理論に基づくマルチタスク学習フレームワークを評価する。
実験の結果, ユーザの言語や特徴は, テキストのみから予測するモデル以上の予測を改善することがわかった。
論文 参考訳(メタデータ) (2024-07-11T04:57:52Z) - ASPEST: Bridging the Gap Between Active Learning and Selective
Prediction [56.001808843574395]
選択予測は、不確実な場合の予測を棄却する信頼性のあるモデルを学ぶことを目的としている。
アクティブラーニングは、最も有意義な例を問うことで、ラベリングの全体、すなわち人間の依存度を下げることを目的としている。
本研究では,移動対象領域からより情報のあるサンプルを検索することを目的とした,新たな学習パラダイムである能動的選択予測を導入する。
論文 参考訳(メタデータ) (2023-04-07T23:51:07Z) - The Untold Impact of Learning Approaches on Software Fault-Proneness
Predictions [2.01747440427135]
本稿では,2つの学習手法である useAllPredictAll と usePredictPost が,ソフトウェア故障予測の性能に与える影響について検討する。
useAllPredictAllを使用すると、リリース内とリリース間の両方で、usePredictPostを使用するよりも大幅にパフォーマンスが向上する。
論文 参考訳(メタデータ) (2022-07-12T17:31:55Z) - Prediction of Dilatory Behavior in eLearning: A Comparison of Multiple
Machine Learning Models [0.2963240482383777]
タスクの不合理な遅延である Procrastination は、オンライン学習においてよくある出来事である。
このような予測に焦点を当てた研究はほとんどない。
様々な種類の予測器と様々な手法の予測性能の比較を含む研究は、事実上存在しない。
論文 参考訳(メタデータ) (2022-06-30T07:24:08Z) - Explain, Edit, and Understand: Rethinking User Study Design for
Evaluating Model Explanations [97.91630330328815]
我々はクラウドソーシング研究を行い、真偽のホテルレビューと偽のホテルレビューを区別するために訓練された詐欺検出モデルと対話する。
単語の線形バッグモデルでは、トレーニング中に特徴係数にアクセスした参加者は、非説明制御と比較して、テストフェーズにおいてモデルの信頼性が大幅に低下する可能性があることを観察する。
論文 参考訳(メタデータ) (2021-12-17T18:29:56Z) - Double Robust Representation Learning for Counterfactual Prediction [68.78210173955001]
そこで本稿では, 対実予測のための2次ロバスト表現を学習するための, スケーラブルな新しい手法を提案する。
我々は、個々の治療効果と平均的な治療効果の両方に対して、堅牢で効率的な対実的予測を行う。
このアルゴリズムは,実世界の最先端技術と合成データとの競合性能を示す。
論文 参考訳(メタデータ) (2020-10-15T16:39:26Z) - Value-driven Hindsight Modelling [68.658900923595]
値推定は強化学習(RL)パラダイムの重要な構成要素である。
モデル学習は、観測系列に存在する豊富な遷移構造を利用することができるが、このアプローチは通常、報酬関数に敏感ではない。
この2つの極点の間に位置するRLにおける表現学習のアプローチを開発する。
これにより、タスクに直接関連し、値関数の学習を加速できる、抽出可能な予測ターゲットが提供される。
論文 参考訳(メタデータ) (2020-02-19T18:10:20Z) - A Deep Learning Approach to Behavior-Based Learner Modeling [11.899303239960412]
本研究では,学習者の学習結果の予測,すなわちコース終了時の行動予測について検討する。
本稿では,学習者がコースをどう進むか,学習者がコースをどう進むかという2つの重要な要素を取り入れた,パフォーマンス予測のための2つの分岐決定ネットワークを提案する。
提案アルゴリズムは、95.7%の精度と0.958のAUCスコアを達成し、他の全てのモデルより優れている。
論文 参考訳(メタデータ) (2020-01-23T01:26:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。