論文の概要: Rubric-based Learner Modelling via Noisy Gates Bayesian Networks for Computational Thinking Skills Assessment
- arxiv url: http://arxiv.org/abs/2408.01221v1
- Date: Fri, 2 Aug 2024 12:21:05 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-05 13:37:26.392359
- Title: Rubric-based Learner Modelling via Noisy Gates Bayesian Networks for Computational Thinking Skills Assessment
- Title(参考訳): 計算思考能力評価のためのノイズゲイツベイズネットワークを用いたルーブリック学習モデル
- Authors: Giorgia Adorni, Francesca Mangili, Alberto Piatti, Claudio Bonesana, Alessandro Antonucci,
- Abstract要約: 我々は,タスク固有能力ルーブリックから自動スキルアセスメントのための学習者モデルを開発する。
我々は2つのゲート層を持つネットワークを設計し、1つはノイズORゲートによる解離操作を行い、もう1つは論理ANDによる解離操作を行う。
CT-cubeスキルアセスメントフレームワークとCAT(Cross Array Task)は、それを実証し、その実現可能性を示すために使用される。
- 参考スコア(独自算出の注目度): 40.06500618820166
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In modern and personalised education, there is a growing interest in developing learners' competencies and accurately assessing them. In a previous work, we proposed a procedure for deriving a learner model for automatic skill assessment from a task-specific competence rubric, thus simplifying the implementation of automated assessment tools. The previous approach, however, suffered two main limitations: (i) the ordering between competencies defined by the assessment rubric was only indirectly modelled; (ii) supplementary skills, not under assessment but necessary for accomplishing the task, were not included in the model. In this work, we address issue (i) by introducing dummy observed nodes, strictly enforcing the skills ordering without changing the network's structure. In contrast, for point (ii), we design a network with two layers of gates, one performing disjunctive operations by noisy-OR gates and the other conjunctive operations through logical ANDs. Such changes improve the model outcomes' coherence and the modelling tool's flexibility without compromising the model's compact parametrisation, interpretability and simple experts' elicitation. We used this approach to develop a learner model for Computational Thinking (CT) skills assessment. The CT-cube skills assessment framework and the Cross Array Task (CAT) are used to exemplify it and demonstrate its feasibility.
- Abstract(参考訳): 近代的・パーソナライズされた教育においては、学習者の能力を開発し、それらを正確に評価することへの関心が高まっている。
本研究では,タスク固有の能力評価ルーリックから自動スキルアセスメントのための学習者モデルを導出する手法を提案し,自動アセスメントツールの実装を簡略化した。
しかし、以前のアプローチには2つの大きな制限があった。
一 評価ルーリックで定める能力の秩序は、間接的にのみモデル化する。
(二)補足技は、評価対象ではなく、課題達成に必要なもので、そのモデルには含まれなかった。
この作業では、問題に対処します。
(i)ダミー観測ノードの導入により,ネットワークの構造を変化させることなく,厳密な順序付けを行うことができた。
対照的に、
2)2つのゲート層を持つネットワークを設計し,一方はノイズORゲートによる解離操作を行い,他方は論理的ANDによる解離操作を行う。
このような変更は、モデルのコンパクトなパラメトリエーション、解釈可能性、単純な専門家の推論を妥協することなく、モデル結果の一貫性とモデリングツールの柔軟性を改善します。
本研究では,CT(Computational Thinking)スキルアセスメントのための学習モデルの開発に,このアプローチを用いた。
CT-cubeスキルアセスメントフレームワークとCAT(Cross Array Task)は、それを実証し、その実現可能性を示すために使用される。
関連論文リスト
- QualEval: Qualitative Evaluation for Model Improvement [82.73561470966658]
モデル改善のための手段として,自動定性評価による定量的スカラー指標を付加するQualEvalを提案する。
QualEvalは強力なLCM推論器と新しいフレキシブルリニアプログラミングソルバを使用して、人間の読みやすい洞察を生成する。
例えば、その洞察を活用することで、Llama 2モデルの絶対性能が最大15%向上することを示す。
論文 参考訳(メタデータ) (2023-11-06T00:21:44Z) - Ladder-of-Thought: Using Knowledge as Steps to Elevate Stance Detection [73.31406286956535]
姿勢検出タスクにLadder-of-Thought(LoT)を導入する。
LoTは、小さなLMに高品質な外部知識を同化させ、生成した中間的論理を精査するように指示する。
実験では, 姿勢検出タスクにおけるCoTのGPT-3.5よりも16%改善し, 10%向上した。
論文 参考訳(メタデータ) (2023-08-31T14:31:48Z) - Modelling Assessment Rubrics through Bayesian Networks: a Pragmatic Approach [40.06500618820166]
本稿では,学習者モデルを直接評価ルーリックから導出する手法を提案する。
本稿では,コンピュータ思考のスキルをテストするために開発された活動の人的評価を自動化するために,この手法を適用する方法について述べる。
論文 参考訳(メタデータ) (2022-09-07T10:09:12Z) - Combining Modular Skills in Multitask Learning [149.8001096811708]
モジュラー設計は、ニューラルネットワークが様々な知識の面をアンタングルして再結合し、新しいタスクにより系統的に一般化することを奨励する。
この研究では、各タスクは(潜在的に小さな)インベントリから潜在的な離散スキルのサブセットと関連付けられていると仮定する。
ネットワークのモジュラー設計により、強化学習におけるサンプル効率が著しく向上し、教師あり学習における数ショットの一般化が図られる。
論文 参考訳(メタデータ) (2022-02-28T16:07:19Z) - Explaining, Evaluating and Enhancing Neural Networks' Learned
Representations [2.1485350418225244]
より効率的で効率的な表現への障害ではなく、いかに説明可能性が助けになるかを示す。
我々は,2つの新しいスコアを定義して,潜伏埋め込みの難易度と難易度を評価する。
表現学習課題の訓練において,提案したスコアを制約として採用することで,モデルの下流性能が向上することを示す。
論文 参考訳(メタデータ) (2022-02-18T19:00:01Z) - Explain, Edit, and Understand: Rethinking User Study Design for
Evaluating Model Explanations [97.91630330328815]
我々はクラウドソーシング研究を行い、真偽のホテルレビューと偽のホテルレビューを区別するために訓練された詐欺検出モデルと対話する。
単語の線形バッグモデルでは、トレーニング中に特徴係数にアクセスした参加者は、非説明制御と比較して、テストフェーズにおいてモデルの信頼性が大幅に低下する可能性があることを観察する。
論文 参考訳(メタデータ) (2021-12-17T18:29:56Z) - Teachers' perspective on fostering computational thinking through
educational robotics [0.6410282200111983]
創造的問題解決モデル(CCPS)は、教育ロボティクス学習活動の設計を改善するために用いられる。
本研究の目的は,教師によるモデルの有効性を検証することである。
教師は、CCPSモデルはスキルを育成するのに有用であるが、特定の介入方法がCT関連認知過程に与える影響を認識できなかった。
論文 参考訳(メタデータ) (2021-05-11T12:31:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。