論文の概要: Online Peer-Assessment Datasets
- arxiv url: http://arxiv.org/abs/1912.13050v1
- Date: Mon, 30 Dec 2019 18:48:55 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-09 07:04:11.852107
- Title: Online Peer-Assessment Datasets
- Title(参考訳): オンラインピアアセスメントデータセット
- Authors: Michael Mogessie Ashenafi
- Abstract要約: トレント大学の1年生と2年生を対象にピアアセスメント実験を行った。
実験は1学期にわたって行われ、2013年から2016年にかけて5つのコンピュータサイエンスコースで実施された。
データセットは解析可能なデータ構造として報告され、中間処理によってNLPまたはML対応データセットに成形することができる。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Peer-assessment experiments were conducted among first and second year
students at the University of Trento. The experiments spanned an entire
semester and were conducted in five computer science courses between 2013 and
2016. Peer-assessment tasks included question and answer submission as well as
answer evaluation tasks. The peer-assessment datasets are complimented by the
final scores of participating students for each course. Teachers were involved
in filtering out questions submitted by students on a weekly basis. Selected
questions were then used in subsequent peer-assessment tasks. However, expert
ratings are not included in the dataset. A major reason for this decision was
that peer-assessment tasks were designed with minimal teacher supervision in
mind. Arguments in favour of this approach are presented. The datasets are
designed in a manner that would allow their utilization in a variety of
experiments. They are reported as parsable data structures that, with
intermediate processing, can be moulded into NLP or ML-ready datasets.
Potential applications of interest include performance prediction and text
similarity tasks.
- Abstract(参考訳): トレント大学の1年生と2年生を対象にピアアセスメント実験を行った。
実験は1学期まで続き、2013年から2016年にかけて5つのコンピュータサイエンスコースで実施された。
ピアアセスメントタスクには質問と回答の提出、回答評価タスクが含まれていた。
ピアアセスメントデータセットは、各コースの参加者の最終的なスコアによって補完される。
教師は毎週、学生が提出した質問をフィルタリングすることに関わった。
選択された質問はその後、ピアアセスメントタスクに使用された。
しかし、エキスパートレーティングはデータセットには含まれない。
この決定の主な理由は、教師の監督を最小限にしたピアアセスメントタスクが設計されたことである。
このアプローチを支持する議論が提示される。
データセットは、さまざまな実験でその利用を可能にするように設計されている。
解析可能なデータ構造として報告され、中間処理によってNLPまたはML対応データセットに成形することができる。
潜在的な応用例としては、パフォーマンス予測とテキスト類似性タスクがある。
関連論文リスト
- Self-Training with Pseudo-Label Scorer for Aspect Sentiment Quad Prediction [54.23208041792073]
Aspect Sentiment Quad Prediction (ASQP) は、与えられたレビューに対して全てのクワッド(アスペクト項、アスペクトカテゴリー、意見項、感情極性)を予測することを目的としている。
ASQPタスクにおける重要な課題はラベル付きデータの不足であり、既存のメソッドのパフォーマンスを制限している。
そこで我々は,擬似ラベルスコアラーを用いた自己学習フレームワークを提案し,レビューと擬似ラベルの一致をスコアラーが評価する。
論文 参考訳(メタデータ) (2024-06-26T05:30:21Z) - Can LLMs Grade Short-Answer Reading Comprehension Questions : An Empirical Study with a Novel Dataset [0.0]
本稿では,Large Language Models (LLMs) の最新のバージョンが,形式的アセスメントのための短解問題に使用される可能性について検討する。
ガーナで150人以上の学生が実施した一連の読解評価から抽出した,短い回答読解質問の新しいデータセットを紹介した。
本論文は, 有能なヒトラッカーと比較して, 生成性LLMの児童短解反応の各種構成がいかに良好かを実証的に評価した。
論文 参考訳(メタデータ) (2023-10-26T17:05:40Z) - Dataset Bias Mitigation in Multiple-Choice Visual Question Answering and
Beyond [93.96982273042296]
視覚言語(VL)理解タスクは、複数の質問を通じて複雑な視覚シーンのモデルによる理解を評価する。
我々は、モデルが様々なVLタスクを適切に理解することなく正しく解決するために、ショートカットとして活用できる2つのデータセットバイアスを特定した。
本稿では,ADS(Adversarial Data Synthesis)を用いて,合成学習データと偏り評価データを生成する。
次に、サンプル内微分に着目して、合成したトレーニングデータ、特に対物データを利用するモデルを支援するために、サンプル内対物訓練(ICT)を導入する。
論文 参考訳(メタデータ) (2023-10-23T08:09:42Z) - Amortised Design Optimization for Item Response Theory [5.076871870091048]
教育における項目応答理論(IRT)は、学生の反応から学生の能力とテスト項目の特徴を推定するために用いられる。
そこで本研究では、IRTにアモートされた実験設計を取り入れることを提案する。
計算コストは、Deep Reinforcement Learning (DRL)エージェントを合成データでトレーニングすることにより、事前計算フェーズに移行する。
論文 参考訳(メタデータ) (2023-07-19T10:42:56Z) - Responsible Active Learning via Human-in-the-loop Peer Study [88.01358655203441]
我々は,データプライバシを同時に保持し,モデルの安定性を向上させるために,Pear Study Learning (PSL) と呼ばれる責任あるアクティブラーニング手法を提案する。
まず,クラウドサイドのタスク学習者(教師)から未学習データを分離する。
トレーニング中、タスク学習者は軽量なアクティブ学習者に指示し、アクティブサンプリング基準に対するフィードバックを提供する。
論文 参考訳(メタデータ) (2022-11-24T13:18:27Z) - A Predictive Model for Student Performance in Classrooms Using Student
Interactions With an eTextbook [0.0]
本稿では,学生がインタラクティブなオンラインeTextbookとどのように相互作用するかの分析に基づいて,学生のパフォーマンスを予測する新しいモデルを提案する。
提案モデルを構築するために,データ構造とアルゴリズムのコースから得られたデータに基づいて,最も一般的な分類アルゴリズムと回帰アルゴリズムを評価した。
論文 参考訳(メタデータ) (2022-02-16T11:59:53Z) - Extracting candidate factors affecting long-term trends of student
abilities across subjects [0.0]
学生の長期成績データは、学生のスキルが被験者の将来のトレンドにどのような影響を及ぼすかという研究の問題を定式化するのに有用な情報を提供する。
本研究では,被験者間の長期的傾向に影響を与える要因を長期的データから抽出する手法を提案する。
論文 参考訳(メタデータ) (2021-03-11T04:13:58Z) - Peer-inspired Student Performance Prediction in Interactive Online
Question Pools with Graph Neural Network [56.62345811216183]
本稿では,対話型オンライン質問プールにおいて,より優れた生徒のパフォーマンス予測を実現するために,グラフニューラルネットワーク(GNN)を用いた新しいアプローチを提案する。
具体的には,学生のインタラクションを用いた学生と質問の関係をモデル化し,学生のインタラクション・クエストネットワークを構築する。
1631の質問に対して4000人以上の学生の問題解決過程において生成した104,113個のマウス軌跡からなる実世界のデータセットに対するアプローチの有効性を評価した。
論文 参考訳(メタデータ) (2020-08-04T14:55:32Z) - How Useful is Self-Supervised Pretraining for Visual Tasks? [133.1984299177874]
我々は、総合的な合成データセットと下流タスクにまたがる様々な自己教師付きアルゴリズムを評価する。
我々の実験は、利用可能なラベルの数が増えるにつれて、セルフスーパービジョンの有用性がどう変化するかについての洞察を提供する。
論文 参考訳(メタデータ) (2020-03-31T16:03:22Z) - Improving Multi-Turn Response Selection Models with Complementary
Last-Utterance Selection by Instance Weighting [84.9716460244444]
我々は、データリソース自体の根底にある相関を利用して、異なる種類の監視信号を導出することを検討する。
2つの公開データセットで広範な実験を行い、両方のデータセットで大幅に改善した。
論文 参考訳(メタデータ) (2020-02-18T06:29:01Z) - R2DE: a NLP approach to estimating IRT parameters of newly generated
questions [3.364554138758565]
R2DEは、質問のテキストを見て、新しく生成された複数の選択の質問を評価することができるモデルである。
特に、各質問の難易度と識別度を推定することができる。
論文 参考訳(メタデータ) (2020-01-21T14:31:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。