論文の概要: Rubric-based Learner Modelling via Noisy Gates Bayesian Networks for Computational Thinking Skills Assessment

• arxiv url: http://arxiv.org/abs/2408.01221v1
• Date: Fri, 2 Aug 2024 12:21:05 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-05 13:37:26.392359
• Title: Rubric-based Learner Modelling via Noisy Gates Bayesian Networks for Computational Thinking Skills Assessment
• Title（参考訳）: 計算思考能力評価のためのノイズゲイツベイズネットワークを用いたルーブリック学習モデル
• Authors: Giorgia Adorni, Francesca Mangili, Alberto Piatti, Claudio Bonesana, Alessandro Antonucci,
• Abstract要約: 我々は,タスク固有能力ルーブリックから自動スキルアセスメントのための学習者モデルを開発する。 我々は2つのゲート層を持つネットワークを設計し、1つはノイズORゲートによる解離操作を行い、もう1つは論理ANDによる解離操作を行う。 CT-cubeスキルアセスメントフレームワークとCAT(Cross Array Task)は、それを実証し、その実現可能性を示すために使用される。
• 参考スコア（独自算出の注目度）: 40.06500618820166
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In modern and personalised education, there is a growing interest in developing learners' competencies and accurately assessing them. In a previous work, we proposed a procedure for deriving a learner model for automatic skill assessment from a task-specific competence rubric, thus simplifying the implementation of automated assessment tools. The previous approach, however, suffered two main limitations: (i) the ordering between competencies defined by the assessment rubric was only indirectly modelled; (ii) supplementary skills, not under assessment but necessary for accomplishing the task, were not included in the model. In this work, we address issue (i) by introducing dummy observed nodes, strictly enforcing the skills ordering without changing the network's structure. In contrast, for point (ii), we design a network with two layers of gates, one performing disjunctive operations by noisy-OR gates and the other conjunctive operations through logical ANDs. Such changes improve the model outcomes' coherence and the modelling tool's flexibility without compromising the model's compact parametrisation, interpretability and simple experts' elicitation. We used this approach to develop a learner model for Computational Thinking (CT) skills assessment. The CT-cube skills assessment framework and the Cross Array Task (CAT) are used to exemplify it and demonstrate its feasibility.
• Abstract（参考訳）: 近代的・パーソナライズされた教育においては、学習者の能力を開発し、それらを正確に評価することへの関心が高まっている。 本研究では,タスク固有の能力評価ルーリックから自動スキルアセスメントのための学習者モデルを導出する手法を提案し,自動アセスメントツールの実装を簡略化した。 しかし、以前のアプローチには2つの大きな制限があった。 一 評価ルーリックで定める能力の秩序は、間接的にのみモデル化する。 (二)補足技は、評価対象ではなく、課題達成に必要なもので、そのモデルには含まれなかった。 この作業では、問題に対処します。 (i)ダミー観測ノードの導入により,ネットワークの構造を変化させることなく,厳密な順序付けを行うことができた。 対照的に、 2)2つのゲート層を持つネットワークを設計し,一方はノイズORゲートによる解離操作を行い,他方は論理的ANDによる解離操作を行う。 このような変更は、モデルのコンパクトなパラメトリエーション、解釈可能性、単純な専門家の推論を妥協することなく、モデル結果の一貫性とモデリングツールの柔軟性を改善します。 本研究では,CT(Computational Thinking)スキルアセスメントのための学習モデルの開発に,このアプローチを用いた。 CT-cubeスキルアセスメントフレームワークとCAT(Cross Array Task)は、それを実証し、その実現可能性を示すために使用される。

関連論文リスト

• Exploring Cross-model Neuronal Correlations in the Context of Predicting Model Performance and Generalizability [2.6708879445664584]
  本稿では,新しいモデルを用いたモデルの性能評価手法を提案する。 提案手法は,1つのネットワーク内の各ニューロンに対して,類似の出力を生成する他のネットワークにニューロンが存在するかどうかを判定することにより相関性を評価する。
  論文  参考訳（メタデータ） (2024-08-15T22:57:39Z)
• Estimating Knowledge in Large Language Models Without Generating a Single Token [12.913172023910203]
  大規模言語モデル(LLM)における知識を評価するための現在の手法は、モデルをクエリし、生成した応答を評価する。 本研究では,モデルがテキストを生成する前に評価を行うことができるかどうかを問う。 様々なLLMを用いた実験では、内部の主題表現を訓練した単純なプローブであるKEENが、両方のタスクで成功することが示された。
  論文  参考訳（メタデータ） (2024-06-18T14:45:50Z)
• Multi-Modal Prompt Learning on Blind Image Quality Assessment [65.0676908930946]
  画像品質評価(IQA)モデルは意味情報から大きな恩恵を受け、異なる種類のオブジェクトを明瞭に扱うことができる。 十分な注釈付きデータが不足している従来の手法では、セマンティックな認識を得るために、CLIPイメージテキスト事前学習モデルをバックボーンとして使用していた。 近年のアプローチでは、このミスマッチに即時技術を使って対処する試みがあるが、これらの解決策には欠点がある。 本稿では、IQAのための革新的なマルチモーダルプロンプトベースの手法を提案する。
  論文  参考訳（メタデータ） (2024-04-23T11:45:32Z)
• QualEval: Qualitative Evaluation for Model Improvement [82.73561470966658]
  モデル改善のための手段として,自動定性評価による定量的スカラー指標を付加するQualEvalを提案する。 QualEvalは強力なLCM推論器と新しいフレキシブルリニアプログラミングソルバを使用して、人間の読みやすい洞察を生成する。 例えば、その洞察を活用することで、Llama 2モデルの絶対性能が最大15%向上することを示す。
  論文  参考訳（メタデータ） (2023-11-06T00:21:44Z)
• Ladder-of-Thought: Using Knowledge as Steps to Elevate Stance Detection [73.31406286956535]
  姿勢検出タスクにLadder-of-Thought(LoT)を導入する。 LoTは、小さなLMに高品質な外部知識を同化させ、生成した中間的論理を精査するように指示する。 実験では, 姿勢検出タスクにおけるCoTのGPT-3.5よりも16%改善し, 10%向上した。
  論文  参考訳（メタデータ） (2023-08-31T14:31:48Z)
• Modelling Assessment Rubrics through Bayesian Networks: a Pragmatic Approach [40.06500618820166]
  本稿では,学習者モデルを直接評価ルーリックから導出する手法を提案する。 本稿では,コンピュータ思考のスキルをテストするために開発された活動の人的評価を自動化するために,この手法を適用する方法について述べる。
  論文  参考訳（メタデータ） (2022-09-07T10:09:12Z)
• Combining Modular Skills in Multitask Learning [149.8001096811708]
  モジュラー設計は、ニューラルネットワークが様々な知識の面をアンタングルして再結合し、新しいタスクにより系統的に一般化することを奨励する。 この研究では、各タスクは(潜在的に小さな)インベントリから潜在的な離散スキルのサブセットと関連付けられていると仮定する。 ネットワークのモジュラー設計により、強化学習におけるサンプル効率が著しく向上し、教師あり学習における数ショットの一般化が図られる。
  論文  参考訳（メタデータ） (2022-02-28T16:07:19Z)
• Explaining, Evaluating and Enhancing Neural Networks' Learned Representations [2.1485350418225244]
  より効率的で効率的な表現への障害ではなく、いかに説明可能性が助けになるかを示す。 我々は,2つの新しいスコアを定義して,潜伏埋め込みの難易度と難易度を評価する。 表現学習課題の訓練において,提案したスコアを制約として採用することで,モデルの下流性能が向上することを示す。
  論文  参考訳（メタデータ） (2022-02-18T19:00:01Z)
• Explain, Edit, and Understand: Rethinking User Study Design for Evaluating Model Explanations [97.91630330328815]
  我々はクラウドソーシング研究を行い、真偽のホテルレビューと偽のホテルレビューを区別するために訓練された詐欺検出モデルと対話する。 単語の線形バッグモデルでは、トレーニング中に特徴係数にアクセスした参加者は、非説明制御と比較して、テストフェーズにおいてモデルの信頼性が大幅に低下する可能性があることを観察する。
  論文  参考訳（メタデータ） (2021-12-17T18:29:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。