論文の概要: Better Peer Grading through Bayesian Inference
- arxiv url: http://arxiv.org/abs/2209.01242v1
- Date: Fri, 2 Sep 2022 19:10:53 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-07 14:44:09.398171
- Title: Better Peer Grading through Bayesian Inference
- Title（参考訳）: ベイズ推論によるピアグレーディングの改善
- Authors: Hedayat Zarkoob and Greg d'Eon and Lena Podina and Kevin Leyton-Brown
- Abstract要約: ピアグレーティングシステムは、複数の学生からのノイズの多いレポートを集約し、可能な限り真のグレードを近似する。
本稿では,(1)学生が戦略的に行動できることを認識すること,(2)離散的に評価されたグレーディング・ルーリックから生じる検閲されたデータを適切に扱うこと,(3)混成整数プログラミングを用いて,学生に割り当てられた学級の解釈性を向上させること,の3つの重要な方法について述べる。
- 参考スコア（独自算出の注目度）: 13.113568233352986
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Peer grading systems aggregate noisy reports from multiple students to
approximate a true grade as closely as possible. Most current systems either
take the mean or median of reported grades; others aim to estimate students'
grading accuracy under a probabilistic model. This paper extends the state of
the art in the latter approach in three key ways: (1) recognizing that students
can behave strategically (e.g., reporting grades close to the class average
without doing the work); (2) appropriately handling censored data that arises
from discrete-valued grading rubrics; and (3) using mixed integer programming
to improve the interpretability of the grades assigned to students. We show how
to make Bayesian inference practical in this model and evaluate our approach on
both synthetic and real-world data obtained by using our implemented system in
four large classes. These extensive experiments show that grade aggregation
using our model accurately estimates true grades, students' likelihood of
submitting uninformative grades, and the variation in their inherent grading
error; we also characterize our models' robustness.
- Abstract（参考訳）: ピアグレーティングシステムは、複数の学生からのノイズの多いレポートを集約し、可能な限り真のグレードを近似する。
現在のシステムのほとんどは、報告された成績の平均または中央値を取り、他のシステムは確率モデルの下で生徒の成績の正確さを推定することを目的としている。
後者のアプローチでは,(1) 学生が戦略的に行動できることを認識すること(例えば,作業を行わずにクラス平均に近い成績を報告すること),(2) 離散的に評価されたグレーディング・ルーリックから生じる検閲されたデータを適切に扱うこと,(3) 混合整数プログラミングを用いて学生に割り当てられた学級の解釈性を向上させること,の3つの主要な手法で技術の現状を拡大する。
このモデルでベイズ推定を実践的にする方法を示し、我々の実装システムを用いて4つの大規模クラスで得られた合成データと実世界のデータの両方に対するアプローチを評価する。
これらの広範囲な実験により,本モデルを用いたグレードアグリゲーションは,真のグレード,非定型的なグレードを提出する確率,固有のグレーディングエラーの変動を正確に推定できることが示された。
関連論文リスト
- A Fair Post-Processing Method based on the MADD Metric for Predictive Student Models [1.055551340663609]
予測的学生モデルにおけるアルゴリズム的公正性を評価するために,新しい尺度が開発された。
本稿では,適切な予測モデルの結果の正確性を保ちつつ,公平性を向上することを目的とした後処理手法を提案する。
我々は、シミュレーションと実世界の教育データを用いて、オンラインコースにおける学生の成功を予測するタスクについて実験を行った。
論文 参考訳（メタデータ） (2024-07-07T14:53:41Z) - Modeling the Uncertainty with Maximum Discrepant Students for
Semi-supervised 2D Pose Estimation [57.17120203327993]
半教師付きポーズ推定タスクにおける擬似ラベルの品質を推定する枠組みを提案する。
提案手法は,3つのデータセットに対する半教師付きポーズ推定の性能を向上させる。
論文 参考訳（メタデータ） (2023-11-03T08:11:06Z) - Cognition-Mode Aware Variational Representation Learning Framework for
Knowledge Tracing [3.3036318543432417]
知識追跡タスクは、パーソナライズされた学習において重要な役割を果たす。
KTタスクはデータの分散に悩まされており、実践記録がほとんどない学生の堅牢な表現を学習することは困難である。
既存のKT手法に直接適用可能なCMVF(Cognition-Mode Aware Variational Representation Learning Framework)を提案する。
論文 参考訳（メタデータ） (2023-09-03T13:51:06Z) - Preserving Knowledge Invariance: Rethinking Robustness Evaluation of
Open Information Extraction [50.62245481416744]
実世界におけるオープン情報抽出モデルの評価をシミュレートする最初のベンチマークを示す。
我々は、それぞれの例が知識不変のcliqueである大規模なテストベッドを設計し、注釈付けする。
さらにロバスト性計量を解明することにより、その性能が全体の傾きに対して一貫して正確であるならば、モデルはロバストであると判断される。
論文 参考訳（メタデータ） (2023-05-23T12:05:09Z) - Robust Outlier Rejection for 3D Registration with Variational Bayes [70.98659381852787]
我々は、ロバストアライメントのための新しい変分非局所ネットワークベース外乱除去フレームワークを開発した。
そこで本稿では, 投票に基づく不整合探索手法を提案し, 変換推定のための高品質な仮説的不整合をクラスタリングする。
論文 参考訳（メタデータ） (2023-04-04T03:48:56Z) - Protected Attributes Tell Us Who, Behavior Tells Us How: A Comparison of
Demographic and Behavioral Oversampling for Fair Student Success Modeling [6.58879009604603]
リスクのある学生を識別するために行動データを利用するモデルの公正性を解析し、バイアス軽減のための2つの新しい前処理アプローチを提案する。
交差性の概念に基づいて、第一のアプローチは、人口統計特性の組み合わせによるインテリジェントなオーバーサンプリングである。
第二のアプローチは、人口統計学的属性の知識を一切必要とせず、そのような属性が学生の行動の(騒々しい)プロキシであるという仮定に基づいている。
論文 参考訳（メタデータ） (2022-12-20T11:09:11Z) - Efficient Action Recognition Using Confidence Distillation [9.028144245738247]
本研究では,教師の不確実性の表現を学生に教える信頼性蒸留フレームワークを提案する。
我々は3つの行動認識データセットに関する広範な実験を行い、我々のフレームワークが、行動認識精度(最大20%)と計算効率(40%以上)の大幅な改善を実現していることを示す。
論文 参考訳（メタデータ） (2021-09-05T18:25:49Z) - Integrating Semantics and Neighborhood Information with Graph-Driven
Generative Models for Document Retrieval [51.823187647843945]
本稿では,周辺情報をグラフ誘導ガウス分布でエンコードし,その2種類の情報をグラフ駆動生成モデルと統合することを提案する。
この近似の下では、トレーニング対象がシングルトンまたはペアワイズ文書のみを含む用語に分解可能であることを証明し、モデルが非関連文書と同じくらい効率的にトレーニングできることを示す。
論文 参考訳（メタデータ） (2021-05-27T11:29:03Z) - Scalable Personalised Item Ranking through Parametric Density Estimation [53.44830012414444]
暗黙のフィードバックから学ぶことは、一流問題の難しい性質のために困難です。
ほとんどの従来の方法は、一級問題に対処するためにペアワイズランキングアプローチとネガティブサンプラーを使用します。
本論文では,ポイントワイズと同等の収束速度を実現する学習対ランクアプローチを提案する。
論文 参考訳（メタデータ） (2021-05-11T03:38:16Z) - VaB-AL: Incorporating Class Imbalance and Difficulty with Variational
Bayes for Active Learning [38.33920705605981]
本研究では,クラス不均衡をアクティブラーニングフレームワークに自然に組み込む手法を提案する。
提案手法は,複数の異なるデータセットのタスク分類に適用可能であることを示す。
論文 参考訳（メタデータ） (2020-03-25T07:34:06Z) - Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。
本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。
4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
論文 参考訳（メタデータ） (2020-02-27T10:22:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。