論文の概要: Modelling Assessment Rubrics through Bayesian Networks: a Pragmatic Approach

• arxiv url: http://arxiv.org/abs/2209.05467v3
• Date: Fri, 2 Aug 2024 12:27:17 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-05 19:02:21.902029
• Title: Modelling Assessment Rubrics through Bayesian Networks: a Pragmatic Approach
• Title（参考訳）: ベイジアンネットワークによるラグビーのモデル化 : 実践的アプローチ
• Authors: Francesca Mangili, Giorgia Adorni, Alberto Piatti, Claudio Bonesana, Alessandro Antonucci,
• Abstract要約: 本稿では,学習者モデルを直接評価ルーリックから導出する手法を提案する。 本稿では,コンピュータ思考のスキルをテストするために開発された活動の人的評価を自動化するために,この手法を適用する方法について述べる。
• 参考スコア（独自算出の注目度）: 40.06500618820166
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Automatic assessment of learner competencies is a fundamental task in intelligent tutoring systems. An assessment rubric typically and effectively describes relevant competencies and competence levels. This paper presents an approach to deriving a learner model directly from an assessment rubric defining some (partial) ordering of competence levels. The model is based on Bayesian networks and exploits logical gates with uncertainty (often referred to as noisy gates) to reduce the number of parameters of the model, so to simplify their elicitation by experts and allow real-time inference in intelligent tutoring systems. We illustrate how the approach can be applied to automatize the human assessment of an activity developed for testing computational thinking skills. The simple elicitation of the model starting from the assessment rubric opens up the possibility of quickly automating the assessment of several tasks, making them more easily exploitable in the context of adaptive assessment tools and intelligent tutoring systems.
• Abstract（参考訳）: 知的学習システムにおける学習能力の自動評価は基本的な課題である。 評価ルーブリックは典型的には、関連する能力と能力レベルを効果的に記述する。 本稿では,学習者モデルを直接抽出する手法を提案する。 このモデルはベイズ的ネットワークに基づいており、モデルのパラメータの数を減らすために不確実性(しばしばノイズゲートと呼ばれる)を持つ論理ゲートを利用する。 本稿では,コンピュータ思考のスキルをテストするために開発された活動の人的評価を自動化するために,この手法を適用する方法について述べる。 評価ルーブリックから始まるモデルの簡単な適用により、複数のタスクの迅速な自動化が可能となり、適応的アセスメントツールやインテリジェントなチューリングシステムにおいて、より容易に利用できるようになる。

関連論文リスト

• AERA Chat: An Interactive Platform for Automated Explainable Student Answer Assessment [12.970776782360366]
  AERA Chatは、学生の回答の視覚的に説明された評価を提供するインタラクティブなプラットフォームである。 ユーザーは質問や学生の回答を入力して、大規模言語モデルから自動で説明可能な評価結果を得ることができる。
  論文  参考訳（メタデータ） (2024-10-12T11:57:53Z)
• Rubric-based Learner Modelling via Noisy Gates Bayesian Networks for Computational Thinking Skills Assessment [40.06500618820166]
  我々は,タスク固有能力ルーブリックから自動スキルアセスメントのための学習者モデルを開発する。 我々は2つのゲート層を持つネットワークを設計し、1つはノイズORゲートによる解離操作を行い、もう1つは論理ANDによる解離操作を行う。 CT-cubeスキルアセスメントフレームワークとCAT(Cross Array Task)は、それを実証し、その実現可能性を示すために使用される。
  論文  参考訳（メタデータ） (2024-08-02T12:21:05Z)
• Benchmarks as Microscopes: A Call for Model Metrology [76.64402390208576]
  現代の言語モデル(LM)は、能力評価において新たな課題を提起する。 メトリクスに自信を持つためには、モデルミアロジの新たな規律が必要です。
  論文  参考訳（メタデータ） (2024-07-22T17:52:12Z)
• QualEval: Qualitative Evaluation for Model Improvement [82.73561470966658]
  モデル改善のための手段として,自動定性評価による定量的スカラー指標を付加するQualEvalを提案する。 QualEvalは強力なLCM推論器と新しいフレキシブルリニアプログラミングソルバを使用して、人間の読みやすい洞察を生成する。 例えば、その洞察を活用することで、Llama 2モデルの絶対性能が最大15%向上することを示す。
  論文  参考訳（メタデータ） (2023-11-06T00:21:44Z)
• Evaluating General-Purpose AI with Psychometrics [43.85432514910491]
  本稿では,大規模言語モデルなどの汎用AIシステムの包括的かつ正確な評価の必要性について論じる。 現在の評価手法は、主に特定のタスクのベンチマークに基づいており、これらの汎用AIシステムを適切に評価するには不十分である。 これらの課題に対処するため,タスク指向評価から構成指向評価への移行を提案する。
  論文  参考訳（メタデータ） (2023-10-25T05:38:38Z)
• From Static Benchmarks to Adaptive Testing: Psychometrics in AI Evaluation [60.14902811624433]
  本稿では,静的評価手法から適応テストへのパラダイムシフトについて論じる。 これには、ベンチマークで各テスト項目の特性と価値を推定し、リアルタイムでアイテムを動的に調整することが含まれる。 我々は、AI評価にサイコメトリックを採用する現在のアプローチ、アドバンテージ、そして根底にある理由を分析します。
  論文  参考訳（メタデータ） (2023-06-18T09:54:33Z)
• Explain, Edit, and Understand: Rethinking User Study Design for Evaluating Model Explanations [97.91630330328815]
  我々はクラウドソーシング研究を行い、真偽のホテルレビューと偽のホテルレビューを区別するために訓練された詐欺検出モデルと対話する。 単語の線形バッグモデルでは、トレーニング中に特徴係数にアクセスした参加者は、非説明制御と比較して、テストフェーズにおいてモデルの信頼性が大幅に低下する可能性があることを観察する。
  論文  参考訳（メタデータ） (2021-12-17T18:29:56Z)
• Knowledge State Networks for Effective Skill Assessment in Atomic Learning [0.0]
  本稿では,パーソナライズされたスキルベースオンライン学習の文脈において,迅速かつ効果的な知識状態評価のための新しいフレームワークを提案する。 以前の学習者の評価データに基づいて訓練された特定のニューラルネットワークである知識状態ネットワークを使用して、スキルに関する部分的な情報だけから他の学習者の完全な知識状態を予測します。
  論文  参考訳（メタデータ） (2021-05-17T11:05:59Z)
• Towards Automatic Evaluation of Dialog Systems: A Model-Free Off-Policy Evaluation Approach [84.02388020258141]
  強化学習におけるオフポリシ評価に基づく人間評価スコア推定のための新しいフレームワークであるENIGMAを提案する。 ENIGMAはいくつかの事前収集された経験データしか必要としないため、評価中にターゲットポリシーとのヒューマンインタラクションは不要である。 実験の結果,ENIGMAは人間の評価スコアと相関して既存手法よりも有意に優れていた。
  論文  参考訳（メタデータ） (2021-02-20T03:29:20Z)
• Assessment Modeling: Fundamental Pre-training Tasks for Interactive Educational Systems [3.269851859258154]
  ラベルスカース問題を回避する一般的な方法は、学習項目の内容の表現を学習するためのモデルを事前学習することである。 本稿では,総合的な対話型教育システムのための基礎的事前学習課題のクラスであるアセスメント・モデリングを提案する。
  論文  参考訳（メタデータ） (2020-01-01T02:00:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。