論文の概要: Analysis of Learner Independent Variables for Estimating Assessment
Items Difficulty Level
- arxiv url: http://arxiv.org/abs/2206.04416v1
- Date: Thu, 9 Jun 2022 11:01:57 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-19 17:40:12.116283
- Title: Analysis of Learner Independent Variables for Estimating Assessment
Items Difficulty Level
- Title(参考訳): 評価項目の難易度推定のための学習者独立変数の分析
- Authors: Shilpi Banerjee and N.J.Rao
- Abstract要約: 本研究では,工学科における評価項目の難易度を予測するモデルを提案する。
3つの工学コースによる実験結果から,提案モデルを用いた項目分類において約80%の精度が得られた。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The quality of assessment determines the quality of learning, and is
characterized by validity, reliability and difficulty. Mastery of learning is
generally represented by the difficulty levels of assessment items. A very
large number of variables are identified in the literature to measure the
difficulty level. These variables, which are not completely independent of one
another, are categorized into learner dependent, learner independent, generic,
non-generic and score based. This research proposes a model for predicting the
difficulty level of assessment items in engineering courses using learner
independent and generic variables. An ordinal regression model is developed for
predicting the difficulty level, and uses six variables including three stimuli
variables (item presentation, usage of technical notations and number of
resources), two content related variables (number of concepts and procedures)
and one task variable (number of conditions). Experimental results from three
engineering courses provide around 80% accuracy in classification of items
using the proposed model.
- Abstract(参考訳): 評価の質は学習の質を決定し、妥当性、信頼性、難易度が特徴である。
学習の熟達は一般に評価項目の難易度によって表される。
困難度を測定するために、非常に多くの変数が文献で特定されている。
これらの変数は互いに完全に独立ではなく、学習者依存、学習者独立、ジェネリック、非ジェネリック、スコアベースに分類される。
本研究では,学習者独立変数と一般変数を用いた工学コースにおける評価項目の難易度予測モデルを提案する。
難易度を予測するための順序回帰モデルが開発され、3つの刺激変数(プレゼンテーション、技術的表記法、リソース数)、2つの内容関連変数(概念と手順の数)、1つのタスク変数(条件数)を含む6つの変数を使用する。
3つの工学コースによる実験結果から,提案モデルを用いた項目分類において約80%の精度が得られた。
関連論文リスト
- Towards Understanding the Feasibility of Machine Unlearning [14.177012256360635]
未学習の難易度を定量化するための新しい指標のセットを提案する。
具体的には,学習を成功させるのに必要な条件を評価するために,いくつかの指標を提案する。
また、最も難解なサンプルを特定するためのランキング機構も提示する。
論文 参考訳(メタデータ) (2024-10-03T23:41:42Z) - Lessons from the Trenches on Reproducible Evaluation of Language Models [60.522749986793094]
我々は,大規模言語モデルの評価を3年間経験し,研究者に指導とレッスンを提供してきた。
本稿では,言語モデルの独立性,再現性,評価を行うオープンソースライブラリであるLanguage Model Evaluation Harness(lm-eval)を紹介する。
論文 参考訳(メタデータ) (2024-05-23T16:50:49Z) - DCID: Deep Canonical Information Decomposition [84.59396326810085]
本稿では,2つの1次元目標変数間で共有される信号の同定について考察する。
そこで本研究では,地中トラスラベルの存在下で使用可能な評価指標であるICMを提案する。
また、共有変数を学習するための単純かつ効果的なアプローチとして、Deep Canonical Information Decomposition (DCID)を提案する。
論文 参考訳(メタデータ) (2023-06-27T16:59:06Z) - A quantitative study of NLP approaches to question difficulty estimation [0.30458514384586394]
この研究は、以前の研究で提案されたいくつかのアプローチを定量的に分析し、異なる教育領域のデータセットのパフォーマンスを比較した。
私たちは、Transformerベースのモデルが様々な教育領域で最高のパフォーマンスを示しており、DistilBERTはBERTとほぼ同等に機能していることに気付きました。
他のモデルでは、ハイブリットは単一のタイプの特徴に基づくものよりも優れており、言語的特徴に基づくものは理解された質問を読み取るのに優れ、周波数ベースの特徴(TF-IDF)と単語埋め込み(word2vec)はドメイン知識の評価において優れている。
論文 参考訳(メタデータ) (2023-05-17T14:26:00Z) - Determination of class-specific variables in nonparametric
multiple-class classification [0.0]
確率に基づく非パラメトリックな多重クラス分類法を提案し、それを個々のクラスに対して高い影響変数を識別する能力と統合する。
提案手法の特性を報告し, 合成データと実データの両方を用いて, 異なる分類条件下での特性を説明する。
論文 参考訳(メタデータ) (2022-05-07T10:08:58Z) - Analyzing the Limits of Self-Supervision in Handling Bias in Language [52.26068057260399]
我々は、言語モデルが、認識、識別、抽出、言い換えの4つのタスクのセマンティクスをいかにうまく捉えているかを評価する。
分析の結果,言語モデルでは,ジェンダーや政治的アフィリエイトなど,様々なバイアス次元にまたがって,これらのタスクを広範囲にわたって実行することが可能であることが示唆された。
論文 参考訳(メタデータ) (2021-12-16T05:36:08Z) - Conditional Contrastive Learning: Removing Undesirable Information in
Self-Supervised Representations [108.29288034509305]
我々は,自己指導型表現において望ましくない情報を除去するために,条件付きコントラスト学習を開発する。
提案手法は,下流タスクの自己教師付き表現をうまく学習できることを実証的に実証する。
論文 参考訳(メタデータ) (2021-06-05T10:51:26Z) - Knowledge-driven Data Construction for Zero-shot Evaluation in
Commonsense Question Answering [80.60605604261416]
本稿では,共通認識課題にまたがるゼロショット質問応答のための新しいニューラルシンボリック・フレームワークを提案する。
言語モデル、トレーニング体制、知識ソース、データ生成戦略のセットを変えて、タスク間の影響を測定します。
個別の知識グラフは特定のタスクに適しているが、グローバルな知識グラフはさまざまなタスクに対して一貫した利得をもたらす。
論文 参考訳(メタデータ) (2020-11-07T22:52:21Z) - Curriculum Learning with Diversity for Supervised Computer Vision Tasks [1.5229257192293197]
本稿では,学習データの多様性と入力の難しさを考慮に入れた,新たなカリキュラムサンプリング戦略を提案する。
我々は、我々の戦略が不均衡なデータセットに対して非常に効率的であることを証明し、より高速な収束とより正確な結果をもたらす。
論文 参考訳(メタデータ) (2020-09-22T15:32:49Z) - Automatic Validation of Textual Attribute Values in E-commerce Catalog
by Learning with Limited Labeled Data [61.789797281676606]
そこで我々はMetaBridgeと呼ばれる新しいメタ学習潜伏変数アプローチを提案する。
限られたラベル付きデータを持つカテゴリのサブセットから、転送可能な知識を学ぶことができる。
ラベルのないデータで、目に見えないカテゴリの不確実性を捉えることができる。
論文 参考訳(メタデータ) (2020-06-15T21:31:05Z) - Be Like Water: Robustness to Extraneous Variables Via Adaptive Feature
Normalization [17.829013101192295]
外部変数は特定のタスクに無関係な変数であるが、利用可能なデータの分布に大きな影響を及ぼす変数である。
このような変数の存在は、ディープラーニングモデルの性能を低下させる可能性があることを示す。
我々は,例えば正規化のように,推測中に特徴統計量を適応的に推定することが,この問題に対処することを示す。
論文 参考訳(メタデータ) (2020-02-10T18:47:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。