論文の概要: Carelessness Detection using Performance Factor Analysis: A New Operationalization with Unexpectedly Different Relationship to Learning

• arxiv url: http://arxiv.org/abs/2503.04737v1
• Date: Mon, 03 Feb 2025 22:14:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-16 11:16:19.513522
• Title: Carelessness Detection using Performance Factor Analysis: A New Operationalization with Unexpectedly Different Relationship to Learning
• Title（参考訳）: 性能要因分析による不注意検出:予期せぬ学習との関係を考慮した新しい操作法
• Authors: Jiayi Zhang, Ryan S. Baker, Namrata Srivastava, Jaclyn Ocumpaugh, Caitlin Mills, Bruce M. McLaren,
• Abstract要約: 本稿では,新たなモデルであるBeyond Knowledge Feature Carelessness(BKFC)モデルを提案する。 BKFCモデルは、PFA(Performance Factor Analysis)とログデータから抽出した行動特徴を用いて不注意なエラーを検出する。 BKFCモデルにコンテキストスリップを用いて検出した不注意な誤りを比較検討した。
• 参考スコア（独自算出の注目度）: 15.021448505936814
• License:
• Abstract: Detection of carelessness in digital learning platforms has relied on the contextual slip model, which leverages conditional probability and Bayesian Knowledge Tracing (BKT) to identify careless errors, where students make mistakes despite having the knowledge. However, this model cannot effectively assess carelessness in questions tagged with multiple skills due to the use of conditional probability. This limitation narrows the scope within which the model can be applied. Thus, we propose a novel model, the Beyond Knowledge Feature Carelessness (BKFC) model. The model detects careless errors using performance factor analysis (PFA) and behavioral features distilled from log data, controlling for knowledge when detecting carelessness. We applied the BKFC to detect carelessness in data from middle school students playing a learning game on decimal numbers and operations. We conducted analyses comparing the careless errors detected using contextual slip to the BKFC model. Unexpectedly, careless errors identified by these two approaches did not align. We found students' post-test performance was (corresponding to past results) positively associated with the carelessness detected using the contextual slip model, while negatively associated with the carelessness detected using the BKFC model. These results highlight the complexity of carelessness and underline a broader challenge in operationalizing carelessness and careless errors.
• Abstract（参考訳）: デジタル学習プラットフォームにおける不注意の検出は、条件付き確率とベイズ知識追跡(BKT)を活用して不注意な誤りを識別するコンテキストスリップモデルに依存している。 しかし,このモデルでは条件付き確率を用いて複数のスキルにタグ付けされた質問に対して,不注意を効果的に評価することはできない。 この制限は、モデルを適用可能な範囲を狭める。 そこで本研究では,新たなモデルであるBeyond Knowledge Feature Carelessness(BKFC)モデルを提案する。 本モデルでは,ログデータから抽出した行動特徴とPFAを用いて不注意な誤りを検知し,不注意を検出する際の知識の制御を行う。 我々はBKFCを用いて,小学生が10進数と操作で学習ゲームをしている際の不注意を検知した。 BKFCモデルにコンテキストスリップを用いて検出した不注意な誤りを比較検討した。 予期せぬことに、これらの2つのアプローチによって特定された不注意な誤りは一致しなかった。 テスト後の成績は,BKFCモデルを用いて検出した不注意と,コンテキストスリップモデルを用いて検出した不注意と正の相関が認められた。 これらの結果は不注意の複雑さを浮き彫りにして、不注意と不注意なエラーを運用する上で、より広範な課題を浮き彫りにしている。

関連論文リスト

• Dissecting Representation Misalignment in Contrastive Learning via Influence Function [15.28417468377201]
  コントラスト損失に対する拡張影響関数 (ECIF) を導入し, コントラスト損失に対する影響関数について検討した。 ECIFは正と負の両方のサンプルを考慮し、対照的な学習モデルの閉形式近似を提供する。 我々はECIFに基づいて,データ評価,誤修正検出,誤予測トレースバックタスクのための一連のアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2024-11-18T15:45:41Z)
• Exploiting the Data Gap: Utilizing Non-ignorable Missingness to Manipulate Model Learning [13.797822374912773]
  敵対的ミススティングネス(AM)攻撃は、悪意ある無知の欠陥メカニズムによって動機づけられる。 本研究は,AM攻撃の文脈における連帯学習に焦点を当てる。 両レベルの最適化として,対向的欠落メカニズムの学習を定式化する。
  論文  参考訳（メタデータ） (2024-09-06T17:10:28Z)
• Understanding Uncertainty-based Active Learning Under Model Mismatch [16.361254095103615]
  不確実性に基づくアクティブラーニング(UAL)は、予測の不確実性に基づいて選択されたラベル付きプールから重要なサンプルのラベル(s)をクエリすることで動作する。 UALの有効性は、モデル容量と、採用されている不確実性ベースの取得機能に依存する。
  論文  参考訳（メタデータ） (2024-08-24T23:37:08Z)
• DECIDER: Leveraging Foundation Model Priors for Improved Model Failure Detection and Explanation [18.77296551727931]
  本稿では,大規模言語モデル (LLM) と視覚言語モデル (VLM) の先行情報を利用した画像モデルの故障検出手法であるDECIDERを提案する。 DECIDERは一貫して最先端の故障検出性能を達成し、マシューズ相関係数全体のベースラインを著しく上回っている。
  論文  参考訳（メタデータ） (2024-08-01T07:08:11Z)
• Learning Latent Graph Structures and their Uncertainty [63.95971478893842]
  グラフニューラルネットワーク(GNN)は、モデル精度を高めるために帰納バイアスとしてリレーショナル情報を使用する。 課題関連関係が不明なため,下流予測タスクを解きながら学習するためのグラフ構造学習手法が提案されている。
  論文  参考訳（メタデータ） (2024-05-30T10:49:22Z)
• Measuring and Improving Attentiveness to Partial Inputs with Counterfactuals [91.59906995214209]
  我々は,新しい評価手法であるCAT(Facterfactual Attentiveness Test)を提案する。 CATは、入力の一部を別の例から別の例に置き換えることで、予測を変更する注意深いモデルを期待することで、反事実を使用する。 実験データの精度が向上する一方, GPT3 は実演回数の増加により注意力の低下がみられた。
  論文  参考訳（メタデータ） (2023-11-16T06:27:35Z)
• Stubborn Lexical Bias in Data and Models [50.79738900885665]
  我々は、データに基づいてトレーニングされたモデルに、データのスプリアスパターンが現れるかどうかを調べるために、新しい統計手法を用いる。 トレーニングデータに*reweight*に最適化アプローチを適用し、数千のスプリアス相関を低減します。 驚くべきことに、この方法ではトレーニングデータの語彙バイアスを低減できますが、トレーニングされたモデルで対応するバイアスの強い証拠がまだ見つかっていません。
  論文  参考訳（メタデータ） (2023-06-03T20:12:27Z)
• PULL: Reactive Log Anomaly Detection Based On Iterative PU Learning [58.85063149619348]
  本稿では,推定故障時間ウィンドウに基づくリアクティブ異常検出のための反復ログ解析手法PULLを提案する。 我々の評価では、PULLは3つの異なるデータセットで10のベンチマークベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2023-01-25T16:34:43Z)
• Poisson Reweighted Laplacian Uncertainty Sampling for Graph-based Active Learning [1.6752182911522522]
  グラフに基づく能動学習において,不確実性サンプリングは探索と搾取を両立させるのに十分であることを示す。 特に,最近開発されたアルゴリズムであるPoisson ReWeighted Laplace Learning (PWLL) を用いて分類を行う。 本稿では,複数のグラフに基づく画像分類問題に対する実験結果について述べる。
  論文  参考訳（メタデータ） (2022-10-27T22:07:53Z)
• Accurate and Robust Feature Importance Estimation under Distribution Shifts [49.58991359544005]
  PRoFILEは、新しい特徴重要度推定法である。 忠実さと頑健さの両面で、最先端のアプローチよりも大幅に改善されていることを示す。
  論文  参考訳（メタデータ） (2020-09-30T05:29:01Z)
• Estimating Structural Target Functions using Machine Learning and Influence Functions [103.47897241856603]
  統計モデルから特定可能な関数として生じる対象関数の統計的機械学習のための新しい枠組みを提案する。 このフレームワークは問題とモデルに依存しないものであり、応用統計学における幅広い対象パラメータを推定するのに使用できる。 我々は、部分的に観測されていない情報を持つランダム/二重ロバストな問題において、いわゆる粗大化に特に焦点をあてた。
  論文  参考訳（メタデータ） (2020-08-14T16:48:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。